Vercel vừa chính thức công bố DeepsecBench, một bộ công cụ benchmark nguồn mở được thiết kế để đo lường và đánh giá hiệu quả phát hiện lỗ hổng bảo mật trong mã nguồn ứng dụng của các mô hình ngôn ngữ lớn (LLM). Động thái này diễn ra trong bối cảnh các mối đe dọa an ninh mạng ngày càng tinh vi, đặc biệt là sau các báo cáo về việc mô hình AI của OpenAI tự động khai thác lỗ hổng trong môi trường thử nghiệm sandbox. Bằng cách định lượng hóa hiệu suất của các mô hình từ OpenAI, Anthropic, xAI cho đến các đại diện từ Trung Quốc như Moonshot AI, DeepsecBench mang đến một góc nhìn thực tế về chi phí và hiệu năng cho các nhà phát triển.
Diễn biến chi tiết
Theo công bố từ Vercel, DeepsecBench được vận hành trên một kho lưu trữ mã nguồn mở ở trạng thái ngay trước khi hàng loạt lỗ hổng bảo mật được vá lỗi. Đội ngũ phát triển đã lựa chọn 50 tệp tin đầu vào (entry-point files) và xây dựng một tập dữ liệu chuẩn gồm 231 lỗi bảo mật đã được con người kiểm định kỹ lưỡng. Để đảm bảo tính khách quan và ngăn chặn tình trạng các mô hình học vẹt (data contamination), cấu trúc chi tiết của kho lưu trữ, các commit và tệp tin cụ thể đều được giữ bí mật tuyệt đối.
Kết quả thử nghiệm cho thấy các mô hình AI tiên tiến nhất hiện nay vẫn gặp không ít khó khăn trong việc phát hiện toàn diện lỗi bảo mật. Mô hình dẫn đầu bảng xếp hạng là GPT-5.6 Sol (ở cấu hình suy luận cực cao - xhigh) cũng chỉ đạt điểm số 35,58, phát hiện được 30,7% số lỗ hổng thực tế với chi phí 55,98 USD cho 50 tệp tin. Đáng chú ý, mô hình Fable 5 của Anthropic hoàn toàn vắng bóng trong bảng xếp hạng này do chính sách từ chối thực hiện các tác vụ liên quan đến an ninh mạng của hãng, kể cả các tác vụ mang tính phòng thủ.
Phân tích kỹ thuật & Công nghệ
Điểm số của DeepsecBench không chỉ dựa trên tỷ lệ phát hiện đơn thuần mà sử dụng công thức F2 tối ưu hóa (Recall-weighted F2). Công thức này tính toán bằng cách nhân đôi trọng số của độ phủ (Recall - khả năng tìm thấy lỗi) so với độ chính xác (Precision), bởi việc bỏ sót một lỗ hổng nghiêm trọng sẽ nguy hiểm hơn nhiều so với việc hệ thống đưa ra một cảnh báo sai (false positive). Các phát hiện nằm ngoài danh sách chuẩn 231 lỗi ban đầu sẽ được một mô hình giám sát (judge model) phân loại để xác định xem đó là lỗi thực tế hay cảnh báo giả.
Về mặt chi phí hiệu năng, các dòng mô hình giá rẻ đang rút ngắn khoảng cách một cách nhanh chóng. Điển hình như Grok 4.5 của xAI ở cấu hình cao đạt điểm số 15,58 nhưng chỉ tiêu tốn 5,60 USD, tức là chưa bằng 1/10 chi phí của mẫu dẫn đầu. Tương tự, Kimi K3 từ Moonshot AI đạt 17,56 điểm với chi phí 12,38 USD. Điều này cho thấy các nhà phát triển hoàn toàn có thể tối ưu hóa ngân sách bằng cách kết hợp nhiều phân khúc mô hình khác nhau cho từng quy trình phát triển phần mềm (CI/CD).
Ý kiến chuyên gia & Nhận định
Theo Vercel, mặc dù các tác nhân tấn công mạng có thể sử dụng AI để dò quét lỗ hổng từ bên ngoài, nhưng các đội ngũ phòng thủ luôn sở hữu lợi thế tuyệt đối là hiểu rõ cấu trúc hệ thống và có quyền truy cập toàn bộ mã nguồn nội bộ. Việc chủ động ứng dụng LLM để rà soát mã nguồn từ bên trong trước khi triển khai thực tế sẽ giúp triệt tiêu các rủi ro trước khi kẻ tấn công kịp khai thác.
Tuy nhiên, các chuyên gia bảo mật cũng khuyến cáo các doanh nghiệp cần cân nhắc kỹ về mặt chi phí vận hành thực tế. Theo ước tính từ Vercel, một dự án thương mại thực tế có thể lớn gấp 100 lần quy mô thử nghiệm của benchmark. Khi đó, một lượt quét toàn diện bằng Kimi K3 sẽ tốn khoảng 1.200 USD, trong khi việc sử dụng các mô hình frontier đắt đỏ nhất của OpenAI có thể đẩy chi phí vượt ngưỡng 5.000 USD cho mỗi lần quét.
Tác động & Tương lai
Sự xuất hiện của DeepsecBench cung cấp một thước đo thực tế giúp các doanh nghiệp xây dựng chiến lược rà quét bảo mật đa tầng. Thay vì phụ thuộc vào một mô hình duy nhất, các công ty khởi nghiệp có thể quét mọi nhánh mã nguồn được gộp (merge) bằng các mô hình tiết kiệm như Grok 4.5, và chỉ sử dụng các mô hình suy luận sâu như GPT-5.6 Sol cho các đợt kiểm toán định kỳ hoặc trước các đợt phát hành lớn. Đối với các kỹ sư công nghệ tại Việt Nam, đây là cơ hội lớn để tối ưu hóa quy trình DevSecOps thông qua việc tích hợp các cổng API hợp nhất (AI Gateway) để quản lý tải và chi phí một cách thông minh hơn.