Các mô hình ngôn ngữ lớn (LLM) đã đạt được những bước tiến đáng kể trong lĩnh vực chứng minh định lý tự động. Tuy nhiên, theo một nghiên cứu mới, các bộ tiêu chuẩn hình thức hiện có vẫn còn nhiều hạn chế về cả phạm vi toán học lẫn độ khó, thường chỉ tập trung vào các lĩnh vực dễ hình thức hóa hơn như đại số hay lý thuyết số sơ cấp. 🧑🏫
Để khắc phục khoảng trống này và đẩy ranh giới đánh giá, một bộ tiêu chuẩn đột phá đã ra đời: MA-ProofBench. Đây được biết đến là bộ tiêu chuẩn chứng minh định lý hình thức đầu tiên và duy nhất tính đến thời điểm hiện tại, dành riêng cho lĩnh vực Giải tích Toán học phức tạp.
MA-ProofBench Là Gì? Một Thách Thức Thật Sự! 📚
MA-ProofBench không phải là một bộ tiêu chuẩn thông thường. Nó bao gồm 200 định lý được hình thức hóa một cách tỉ mỉ, trải rộng qua:
- 6 chủ đề cốt lõi và 27 danh mục phụ khác nhau. - Các lĩnh vực chuyên sâu như lý thuyết độ đo và tích phân, giải tích phức, và giải tích hàm.
Đặc biệt, các bài toán được chia thành hai cấp độ khó rõ rệt:
- Cấp độ I (Đại học): Gồm 100 bài toán, tương đương kiến thức cấp độ cử nhân. - Cấp độ II (Thi Tiến sĩ): Gồm 100 bài toán, thách thức LLM ở cấp độ đủ điều kiện thi tiến sĩ.
Mỗi bài toán trong MA-ProofBench được xây dựng thông qua một quy trình nghiêm ngặt: do con người dẫn dắt, có sự hỗ trợ của LLM trong giai đoạn hình thức hóa, và cuối cùng được đánh giá độc lập bởi các chuyên gia. Điều này đảm bảo rằng các phát biểu hình thức vẫn trung thực và chính xác tuyệt đối so với toán học gốc. ✅
LLM Gặp Khó Với Toán Học Cao Cấp 📉
Nghiên cứu đã đánh giá một loạt các mô hình lý luận đa năng gần đây và các công cụ chứng minh định lý hình thức trên MA-ProofBench. Kết quả thật sự đáng báo động: hầu hết các mô hình đều hoạt động kém cỏi một cách rõ rệt.
- Ngay cả mô hình hoạt động tốt nhất là GPT-5.5, cũng chỉ đạt 16% tỷ lệ Đạt@8 ở Cấp độ I và vỏn vẹn 5% ở Cấp độ II. - Đáng lo ngại hơn, hầu hết các mô hình khác đều đạt tỷ lệ gần 0% ở Cấp độ II.
Phân tích sâu hơn đã chỉ ra hai lỗi phổ biến nhất trong quá trình thất bại của LLM:
1. "Ảo giác Mathlib" (Mathlib hallucinations): Khi mô hình tạo ra các cấu trúc hoặc khái niệm toán học không tồn tại hoặc không phù hợp. 2. Bằng chứng không đầy đủ (incomplete proofs): Mô hình không thể hoàn thành một chuỗi lý luận logic để đi đến kết luận cuối cùng.
Điều này nhấn mạnh một khoảng cách lớn giữa khả năng hiểu và xử lý ngôn ngữ tự nhiên với khả năng thực hiện lý luận toán học hình thức chặt chẽ. Một đánh giá trên phiên bản ngôn ngữ tự nhiên của bộ tiêu chuẩn đã phơi bày một cách rõ ràng sự khác biệt này, cho thấy việc nắm bắt ý nghĩa thông thường chưa đủ để giải quyết các vấn đề toán học đòi hỏi sự chính xác tuyệt đối. 🤯
Hướng Đi Mới Cho AI Trong Lý Luận Toán Học 🚀
MA-ProofBench được kỳ vọng sẽ trở thành một tài liệu tham khảo đáng tin cậy để theo dõi tiến độ trong lý luận toán học hình thức ở các lĩnh vực nâng cao. Đối với Kalera News, kết quả từ MA-ProofBench là một lời nhắc nhở quan trọng: dù LLM đã đạt được những thành tựu ấn tượng, chặng đường để chúng thực sự "hiểu" và "giải quyết" toán học cấp cao vẫn còn rất dài và đầy thách thức. Giới hạn hiện tại của AI trong các miền tri thức đòi hỏi sự chính xác tuyệt đối cần được công nhận và nghiên cứu sâu hơn để thực sự mở khóa tiềm năng của AI trong toán học. 🤔