Các nhà nghiên cứu đã giới thiệu TIGER, một framework thực thi trong quá trình suy luận (inference-time) nhằm giải quyết vấn đề ảo giác trong các mô hình tạo nội dung đa phương thức. Thay vì dựa vào phản hồi tự do, TIGER tách biệt quy trình trích xuất đồ thị quan sát từ đầu vào và đồ thị khẳng định từ đầu ra để tính toán điểm rủi ro cho từng sự kiện thực tế.
Bối cảnh
Trong các mô hình tạo nội dung từ đa phương thức, một văn bản trôi chảy vẫn có thể chứa những thông tin sai lệch không được hỗ trợ bởi hình ảnh hoặc âm thanh đầu vào. Các phương pháp sửa lỗi hiện tại thường bị ảnh hưởng bởi chính các khẳng định sai lệch trong kết quả đầu ra, làm mô hình khó nhận diện được sự mâu thuẫn thực sự.
Vì sao đáng chú ý
TIGER sửa chữa các khẳng định có rủi ro cao trong khi vẫn giữ nguyên mô hình cốt lõi (frozen backbone). Thử nghiệm trên bốn loại dữ liệu (ảnh, âm thanh, video) cho thấy framework này giúp giảm đáng kể nội dung không có căn cứ mà không làm giảm chất lượng tổng thể của nhiệm vụ. Điều này mang lại sự minh bạch và khả năng kiểm chứng cao hơn cho các hệ thống AI đa phương thức.