Bỏ qua đến nội dung chính
Về trang chủ
AI 2 phút đọc

BrainBind: Giải mã tín hiệu não đồng bộ EEG và fMRI qua video dài

Mô hình BrainBind ánh xạ đồng thời dữ liệu EEG và fMRI khi xem video dài vào không gian nhúng thị giác để nâng cao độ chính xác giải mã thần kinh.

Tier 2 · nguồn 95% độ tin cậy Đã được duyệt
Nguồn gốc arxiv.org

Nghiên cứu công bố ngày 5/11/2026 trên arXiv (mã số 2611.05581) giới thiệu BrainBind, khung giải mã thần kinh kết hợp dữ liệu điện não đồ (EEG) và chụp cộng hưởng từ chức năng (fMRI) được ghi nhận đồng bộ khi theo dõi video dài có bối cảnh tự nhiên. Phương pháp này hướng tới việc tận dụng đồng thời độ phân giải thời gian của EEG và độ phân giải không gian của fMRI trong các tác vụ giải mã thị giác phức tạp.

Phần lớn các hệ thống giải mã thần kinh hiện nay chỉ căn chỉnh từng phương thức đo lường riêng lẻ và chủ yếu thử nghiệm trên hình ảnh tĩnh hoặc các đoạn video ngắn. Trong điều kiện tiếp nhận thị giác tự nhiên với video dài, tín hiệu não đối mặt với bối cảnh diễn biến liên tục và sự xuất hiện của nhiều hình ảnh có ý nghĩa ngữ nghĩa tương đồng. Để xử lý bài toán này, BrainBind ánh xạ dữ liệu EEG và fMRI đồng bộ vào các không gian nhúng video dài dạng đóng băng (frozen long-form video embeddings), sử dụng không gian này làm hệ quy chiếu ngữ nghĩa thị giác chung thay vì cố gắng tái tạo trực tiếp mã thần kinh.

Thử nghiệm trên bộ dữ liệu CineBrain được thực hiện qua ma trận Recall@K 2x4 với 5 seed ngẫu nhiên trên hai mỏ neo video và bốn cấu hình hệ thống. Khi sử dụng mỏ neo Omni, phương thức fMRI thể hiện khả năng phân loại danh sách ứng viên tốt nhất với điểm MRR đạt 23,82 và nDCG@10 đạt 25,31. Trong khi đó, cấu hình kết hợp kép (Joint-Dual) đạt tỷ lệ thu hồi nhãn R@1 trung bình cao nhất ở mức 13,52%.

Nhóm nghiên cứu cũng tiến hành đánh giá phân tách theo tập (episode-disjoint) để định lượng sự đóng góp của tính lặp lại kích thích và bối cảnh cốt truyện đối với việc phân chia dữ liệu ngẫu nhiên. Mã nguồn và mô hình của BrainBind hiện được công bố mở trên GitHub tại kho lưu trữ Forainest789/Brainbind.