MEMOPS: chẩn đoán sâu bộ nhớ dài hạn của đại mô hình ngôn ngữ

Khả năng ghi nhớ dài hạn đã trở thành một nền tảng thiết yếu cho các tác nhân AI dựa trên mô hình ngôn ngữ lớn (LLM-based agents), đặc biệt khi chúng đồng hành cùng người dùng qua các tương tác kéo dài, nhiều phiên. Tuy nhiên, các bộ benchmark hiện tại chủ yếu đánh giá khả năng này thông qua việc trả lời câu hỏi cuối cùng, chỉ chấm điểm sự đúng đắn của một câu trả lời duy nhất. Cách tiếp cận "hộp đen" này vô tình làm trộn lẫn nhiều nguyên nhân gây lỗi bộ nhớ khác nhau, như bỏ lỡ việc giới thiệu một dữ kiện liên quan, gán một thao tác vào mục tiêu sai, hoặc dựa vào các giá trị lỗi thời sau khi đã có chỉnh sửa. Kết quả là, một câu trả lời có vẻ đúng vẫn có thể được chấp nhận dù nó phụ thuộc vào trạng thái bộ nhớ không nhất quán hoặc không an toàn. Bài nghiên cứu mới nhất trên arXiv giới thiệu MemOps, một bộ benchmark đột phá, lập luận rằng trong các tương tác động kéo dài, bộ nhớ không phải là một tập hợp các dữ kiện tĩnh mà là một vòng đời của các thao tác rõ ràng, bao gồm ghi nhớ, quên, cập nhật, suy nghĩ và các kết hợp của chúng. MemOps tái định hình bộ nhớ đàm thoại thành một chuỗi các thao tác trong vòng đời, biểu thị mỗi sự kiện bộ nhớ bằng một dấu vết có cấu trúc chỉ rõ kích hoạt (trigger), mục tiêu (target), phạm vi (scope), chuyển đổi trạng thái (state transition) và bằng chứng hỗ trợ (supporting evidence). Điều này mở ra một cách tiếp cận minh bạch hơn để hiểu và chẩn đoán các vấn đề về bộ nhớ. Để tạo ra dữ liệu đánh giá, MemOps sử dụng một quy trình tạo có thể kiểm soát, nhúng các thao tác này vào các cuộc hội thoại dài, định hướng theo nhiệm vụ. Quy trình này tạo ra các dấu vết hoạt động "vàng" (gold operation traces) cùng với sáu danh mục thăm dò cấp độ hoạt động, được đánh giá trong cả hai cài đặt "adjacent-evidence" (bằng chứng lân cận) và "long-context" (ngữ cảnh dài). Khi áp dụng cho các hệ thống bộ nhớ ngữ cảnh dài, dựa trên truy xuất, tham số và được quản lý, MemOps đã thành công trong việc phân tách các chế độ lỗi mà độ chính xác của câu trả lời cu