Kalera News xin giới thiệu bài viết từ IBM Research trên Hugging Face, công bố ngày 30 tháng 6 năm 2026, về một dự án quan trọng mang tên ScarfBench.
Nghiên cứu được thực hiện bởi Raju Pavuluri, Rahul Krishna, Srikanth Govindaraj Tamilselvam, Bridget M, Ashita Saxena, George Safta, Advait Pavuluri, Michele Merler từ IBM Research. Mã nguồn có sẵn tại scarfbench/benchmark.
🚀 ScarfBench: "Tiêu Chuẩn Vàng" Đánh Giá Khả Năng Di Chuyển Framework Java Của AI
Modern hóa ứng dụng doanh nghiệp bằng cách di chuyển framework là một quá trình cực kỳ phức tạp và tốn kém (ví dụ: để cải thiện khả năng sẵn sàng trên đám mây hoặc khả năng bảo trì). Trong khi các tác nhân AI làm tốt việc sửa lỗi và tạo mã, thì di chuyển framework đặt ra một thách thức độc đáo.
ScarfBench (Self-Contained Application Refactoring Benchmark) là một tiêu chuẩn mở được thiết kế để đánh giá các tác nhân AI trong các tác vụ di chuyển giữa các framework trên ba hệ sinh thái Java lớn: Spring, Jakarta EE và Quarkus.
Điểm khác biệt lớn: ScarfBench không chỉ so sánh mã nguồn với tham chiếu, mà còn đánh giá liệu các ứng dụng đã di chuyển có thực sự biên dịch, triển khai và giữ nguyên hành vi hay không. ✅
🤯 Tại Sao Di Chuyển Framework Lại Khó Đến Vậy?
Di chuyển framework yêu cầu chuyển đổi ngữ nghĩa của framework và quản lý các phụ thuộc theo tầng, chứ không chỉ đơn thuần thay thế các chú thích (annotations) hay dịch mã nguồn. Chỉ một lần di chuyển kho lưu trữ cũng đòi hỏi những thay đổi phối hợp trên:
* Tiêm phụ thuộc (Dependency injection) * Cấu hình lưu trữ bền vững (Persistence configuration) * Truy vấn cơ sở dữ liệu (Database queries) * Mô tả framework (Framework descriptors)
📊 ScarfBench: Cái Nhìn Tổng Quan Về Tiêu Chuẩn
ScarfBench bao gồm một bộ dữ liệu đồ sộ để kiểm tra các tác nhân AI:
* Ứng dụng: 34 * Triển khai framework: 102 * Tác vụ di chuyển: 204 * Dòng mã: ~151.000 * Tệp nguồn và kiểm thử: ~2.000 * Kiểm thử do chuyên gia viết: 1.331
Quy trình xây dựng: Bắt đầu từ phân loại Java doanh nghiệp dựa trên JSR, các chuyên gia đã thực hiện di chuyển để tạo ra các triển khai tương đương, đã được xác minh trên Spring, Jakarta EE và Quarkus.
📉 AI Gặp Khó Khăn Như Thế Nào?
Kết quả từ ScarfBench cho thấy các tác nhân AI hàng đầu hiện nay gặp phải những thách thức đáng kể trong việc di chuyển framework:
* Tỷ lệ thành công hành vi thấp: Ngay cả các tác nhân mạnh nhất cũng chỉ đạt dưới 10% thành công về hành vi (vượt qua tất cả các bài kiểm thử và giữ nguyên hành vi ứng dụng). ❌ * Khoảng cách thành công lớn: Thành công trong việc biên dịch (build) đánh giá quá cao chất lượng di chuyển. Sự tiến bộ của tác nhân giảm sút đáng kể theo thứ tự: * Thành công Biên dịch >> Thành công Triển khai >> Thành công Hành vi * Sự khác biệt theo framework đích: Độ khó của việc di chuyển phụ thuộc nhiều vào framework đích, với Jakarta EE được chứng minh là đặc biệt thách thức. 🤯
🔍 Những Phát Hiện Chính Về Hành Vi Của AI Trong Hiện Đại Hóa
Nghiên cứu ScarfBench đã chỉ ra bốn phát hiện quan trọng về cách các tác nhân AI xử lý việc di chuyển framework:
#### 1. AI Quá Tự Tin
* Việc tự đánh giá của tác nhân không phải là một chỉ số đáng tin cậy về việc hoàn thành quá trình di chuyển. * Xác thực độc lập bằng cách biên dịch và kiểm thử vẫn là bắt buộc. * Ví dụ (Claude Code): Claude Code báo cáo biên dịch thành công 29 trong số 30 ứng dụng. Tuy nhiên, chỉ có 22 ứng dụng thực sự biên dịch thành công. Ngược lại, ứng dụng duy nhất mà tác nhân này phân loại là "thất bại" lại biên dịch đúng. 🤦♀️
#### 2. Di Chuyển Là Quy Trình Lặp, Không Tuyến Tính
* Di chuyển framework không diễn ra theo một đường thẳng. Các tác nhân liên tục chuyển đổi qua lại giữa các lớp khác nhau để giải quyết các phụ thuộc. * Các lớp được truy cập nhiều nhất: Cấu hình (Configuration), Web, Cơ sở dữ liệu (Database) và Dịch vụ (Service). * Các vòng lặp chuyển đổi phổ biến: Cấu hình <-> Web, và Dịch vụ <-> Cơ sở dữ liệu. 🔄
#### 3. Cấu Hình Chiếm Ưu Thế Về Nỗ Lực
* Sử dụng tần suất quay lại các lớp làm thước đo nỗ lực, các nhà nghiên cứu nhận thấy rằng các tác nhân dành phần lớn thời gian để liên tục quay lại các cấu phần liên quan đến cấu hình để giải quyết sự khác biệt của framework và các vấn đề phụ thuộc. 🧩
#### 4. Thử Thách Phi Mã Nguồn Cản Trở Thành Công
* Một phần đáng kể các thất bại di chuyển không phải do dịch mã Java mà do các vấn đề về vận hành, môi trường và công cụ. * Các tác nhân thường gặp khó khăn với: * Mất nhất quán bộ nhớ đệm Docker * Sự cố kết nối cổng * Các vấn đề về Maven wrapper và công cụ build 🛠️
🔑 Kết Luận Quan Trọng
> "Thách thức lớn nhất trong hiện đại hóa framework không phải là dịch mã Java. Đó là quản lý mạng lưới phụ thuộc phức tạp giữa cấu hình, cơ sở hạ tầng và môi trường thời gian chạy."
Mặc dù các tác nhân AI tiên tiến có thể tự động hóa phần lớn quá trình di chuyển, việc xác thực đáng tin cậy và lý luận kiến trúc vẫn đóng vai trò cực kỳ quan trọng để đạt được kết quả thành công.
🌐 Khám Phá Tài Nguyên ScarfBench
* Website: scarfbench.info * Bộ dữ liệu: Hugging Face Dataset * Space: Hugging Face Space * Kho lưu trữ GitHub: github.com/scarfbench/scarfbench * Bảng xếp hạng: scarfbench.info/leaderboard * Bài báo nghiên cứu: arXiv:2605.06754