Ngày 8 tháng 7 năm 2026, OpenAI đã công bố một báo cáo kiểm định chi tiết về SWE-Bench Pro, một trong những bộ dữ liệu đánh giá (benchmark) lập trình phổ biến nhất hiện nay cho các tác nhân AI (AI agents). Kết quả cho thấy khoảng 30% số nhiệm vụ trong bộ đánh giá này bị lỗi nghiêm trọng, có thể làm sai lệch kết quả đo lường năng lực của các mô hình ngôn ngữ lớn. Phát hiện này buộc OpenAI phải rút lại khuyến nghị trước đó về việc sử dụng SWE-Bench Pro để thay thế cho phiên bản tiền nhiệm SWE-bench Verified vốn cũng từng bị phát hiện nhiều lỗi tương tự.
Bối cảnh & Nguyên nhân
Trước đó, OpenAI từng khuyến khích cộng đồng công nghệ chuyển sang sử dụng SWE-Bench Pro sau khi phát hiện phiên bản SWE-bench Verified gặp nhiều vấn đề về thiết kế và rò rỉ dữ liệu (contamination). SWE-Bench Pro được kỳ vọng sẽ giải quyết các hạn chế này bằng cách kiểm tra mô hình trên các tác vụ lập trình thực tế và dài hạn hơn, thu thập trực tiếp từ lịch sử thay đổi của các kho lưu trữ mã nguồn mở và đóng. Tuy nhiên, do các nhiệm vụ này vốn được thiết kế cho sự tương tác giữa con người chứ không phải để đánh giá AI một cách cô lập, các mô hình khi thực hiện đúng yêu cầu đề bài vẫn bị đánh trượt bởi các bộ kiểm thử ẩn quá nghiêm ngặt hoặc không đồng nhất.
Phân tích kỹ thuật & Công nghệ
Để thực hiện cuộc kiểm định quy mô này, OpenAI đã sử dụng một quy trình phân tích dữ liệu tự động kết hợp với tác nhân điều tra (investigator agents) dựa trên Codex và đội ngũ chuyên gia con người. Hệ thống lọc tự động ban đầu đã gắn cờ cảnh báo 286 tác vụ có dấu hiệu bất thường trên tổng số 731 tác vụ công khai. Các lỗi này chủ yếu được phân loại thành bốn nhóm: bộ kiểm thử quá nghiêm ngặt (enforce chi tiết triển khai thay vì tính năng), đề bài thiếu dữ kiện (underspecified prompts), bộ kiểm thử có độ bao phủ thấp (low-coverage) khiến code lỗi vẫn vượt qua, và đề bài gây điều hướng sai lệch (misleading prompts).
Ý kiến chuyên gia & Nhận định
Theo báo cáo của OpenAI, các kỹ sư phần mềm giàu kinh nghiệm tham gia chiến dịch dán nhãn thủ công có xu hướng đánh giá khắt khe hơn và phát hiện nhiều lỗi phức tạp hơn so với các tác nhân AI tự động. Sự không đồng nhất giữa mô tả bài toán và bộ kiểm thử ẩn (hidden tests) là lỗi phổ biến nhất. Ví dụ, trong tác vụ OpenLibrary-77c16d5, đề bài yêu cầu định dạng khoảng trắng đơn, nhưng bộ kiểm thử ẩn lại bắt buộc phải có khoảng trắng kép, khiến bất kỳ mô hình nào làm đúng theo mô tả đều bị chấm điểm sai một cách oan uổng.
Tác động & Tương lai
Sự việc này cho thấy việc xây dựng các bộ benchmark lập trình vừa khó vừa công bằng là một thách thức cực kỳ lớn đối với ngành công nghiệp AI hiện nay. OpenAI nhấn mạnh tầm quan trọng của việc kiểm định nghiêm ngặt các công cụ đánh giá, vì kết quả của chúng ảnh hưởng trực tiếp đến các quyết định an toàn và định hướng nghiên cứu mô hình. Trong tương lai, OpenAI kỳ vọng cộng đồng sẽ phát triển các bộ đánh giá mới được thiết kế chuyên biệt bởi các lập trình viên chuyên nghiệp thay vì chỉ thu thập tự động từ GitHub, đồng thời tận dụng chính các AI agent thế hệ mới để hỗ trợ kiểm soát chất lượng dữ liệu ở quy mô lớn.