Từ MIT Technology Review (Ngày 19 tháng 6 năm 2026) Tác giả: Will Douglas Heaven
---
Startup Subquadratic Tuyên Bố Phá Vỡ Nút Thắt 'Kìm Hãm' LLM Suốt Một Thập Kỷ! 🤯
Startup AI Subquadratic có trụ sở tại Miami đã chính thức lộ diện sau giai đoạn ẩn mình, tuyên bố đã giải quyết được nút thắt toán học bậc hai (quadratic bottleneck) vốn kìm hãm các Mô hình ngôn ngữ lớn (LLM) gần một thập kỷ qua. Mô hình mới của họ, mang tên SubQ, sử dụng kiến trúc "chú ý động thưa thớt" (dynamic sparse attention) độc đáo. Một đơn vị kiểm định độc lập, Appen, đã xác nhận một số tuyên bố của công ty, cho thấy những cải tiến đáng kể về tốc độ, chi phí và kích thước cửa sổ ngữ cảnh, đồng thời vẫn duy trì hiệu suất hàng đầu trên các tác vụ lập trình và truy xuất thông tin.
Tuy nhiên, cộng đồng AI vẫn tỏ ra thận trọng, đặc biệt khi SubQ được phát triển dựa trên việc tái sử dụng trọng số từ mô hình mã nguồn mở Qwen của Trung Quốc, thay vì được huấn luyện hoàn toàn từ đầu. Đây là một điểm đáng ngờ. 🤔
---
Nút Thắt Kỹ Thuật: 'Chú Ý Dày Đặc' (Dense Attention) so với 'Chú Ý Thưa Thớt' (Sparse Attention)
Vấn Đề: 'Chú Ý Dày Đặc' ($O(N^2)$ Complexity) 📉
Các LLM tiêu chuẩn dựa trên kiến trúc Transformer, sử dụng cơ chế chú ý dày đặc (dense attention). Để nắm bắt ý nghĩa, mô hình phải nhân mã hóa số của mọi token (từ hoặc một phần từ) với mọi token khác trong văn bản. * Về mặt toán học: Một văn bản 10.000 từ yêu cầu gần 50 triệu phép nhân. Tăng gấp đôi độ dài văn bản sẽ làm tăng gấp bốn lần số phép tính cần thiết (mở rộng bậc hai). * Tác động: Điều này khiến việc xử lý các tài liệu dài trở nên cực kỳ tốn kém về mặt tính toán và tiêu thụ năng lượng.
> "Nếu bạn muốn tóm tắt cuốn The Great Gatsby, bạn phải xem xét từ đầu tiên và từ cuối cùng cùng nhau, và sau đó bạn phải xem xét mọi sự kết hợp khác." > — Justin Dangel, Đồng sáng lập và CEO, Subquadratic
Giải Pháp: 'Chú Ý Động Thưa Thớt' (Dynamic Sparse Attention) ✨
Subquadratic thay thế cơ chế chú ý dày đặc bằng chú ý thưa thớt (sparse attention), chỉ nhân các token được chọn lọc, bỏ qua những mối quan hệ được coi là không quan trọng.
Trong khi các phương pháp chú ý thưa thớt trước đây thất bại vì chúng dựa vào các mẫu cố định, cứng nhắc (ví dụ: luôn so sánh từ thứ 1 và thứ 5), "bí quyết" của SubQ là lựa chọn động: * Mô hình tự tính toán những mối quan hệ token nào là quan trọng ngay lập tức. * Mẫu lựa chọn thay đổi linh hoạt cho mỗi đoạn văn bản duy nhất.
---
Các Chỉ Số Hiệu Suất Quan Trọng & Thử Nghiệm Thực Tế 🚀
Các đánh giá độc lập do Appen thực hiện cùng các bản demo nội bộ đã tiết lộ những chỉ số hiệu suất cực kỳ cạnh tranh:
* Tốc độ xử lý: Trong các thử nghiệm tốc độ cơ bản lý thuyết, SubQ thực hiện nhanh hơn 56 lần so với các mô hình sử dụng FlashAttention (một kỹ thuật chú ý thưa thớt hàng đầu trước đây). * Cửa sổ ngữ cảnh: SubQ có cửa sổ ngữ cảnh lên tới 12 triệu token (so với 1 triệu token tiêu chuẩn của hầu hết các mô hình cao cấp). * Truy xuất thông tin: Trong bài kiểm tra "kim trong đống rơm" (needle-in-a-haystack), SubQ đạt độ chính xác truy xuất 98% ở cả hai mức 6 triệu và 12 triệu token. * Hiệu suất lập trình: SubQ đạt 89.7% trên LiveCodeBench (các vấn đề lập trình cạnh tranh), xếp nó vào cùng đẳng cấp với các mô hình hàng đầu từ OpenAI, Google DeepMind và Anthropic. * Hiệu quả chi phí: Trong thử nghiệm RULER 128 của Nvidia (đánh giá truy xuất thông tin từ các bộ dữ liệu khổng lồ): * Chi phí Anthropic Opus 4.6: 2.600 USD * Chi phí SubQ: 8 USD
---
Hoài Nghi và Những Hạn Chế Cần Lưu Tâm 🧐
Mặc dù có những điểm chuẩn ấn tượng, các chuyên gia trong ngành vẫn kêu gọi thận trọng:
1. Trọng số Tái Sử Dụng (Bootstrapped Weights): Subquadratic không huấn luyện SubQ từ đầu. Thay vào đó, họ tái sử dụng trọng số từ mô hình mã nguồn mở Qwen của Trung Quốc để phát triển mô hình của mình. Các nhà phê bình cho rằng điều này làm suy yếu tuyên bố về việc phát minh lại hoàn toàn cách thức hoạt động của LLM. 2. Khả Năng Tiếp Cận Hạn Chế: Mô hình chưa được phổ biến rộng rãi. Dù có hơn 500 khách hàng doanh nghiệp và hàng chục nghìn người dùng đang trong danh sách chờ, nguồn lực hạn chế của Subquadratic có nghĩa là rất ít người thực sự đã thử nghiệm hệ thống. 3. Hạn Chế Của Điểm Chuẩn: Điểm số cao trên các điểm chuẩn cụ thể không đảm bảo mô hình sẽ hoạt động đáng tin cậy trên nhiều tác vụ đa dạng, trong thế giới thực.
---
Các Quan Điểm Đáng Chú Ý 🗣️
> "SubQ hoặc là bước đột phá lớn nhất kể từ Transformer... hoặc nó chỉ là 'AI Theranos' [ám chỉ một công ty lừa đảo công nghệ y tế]." > — Dan McAteer, Kỹ sư AI (trên X)
> "Họ có thể đã xây dựng một thứ gì đó có thật và hữu ích. Nhưng bằng chứng công khai vẫn chưa đủ để chứng minh tuyên bố mạnh mẽ rằng họ đã giải quyết nút thắt chú ý bậc hai." > — Will Depue, Nhà nghiên cứu AI độc lập (từng làm việc tại OpenAI)
> "Chúng tôi không nghĩ ai đó sẽ còn xây dựng trên kiến trúc transformer trong vài năm tới." > — Justin Dangel, Đồng sáng lập và CEO, Subquadratic