MemConflict: khi fact cũ và fact mới cùng tồn tại, điểm câu trả lời không nói gì về retrieval

Zhen Tao et al. · 1 tác giả · Renmin University of China · 2026 · arXiv:2605.20926

Bộ nhớ trả lời sai dù retrieval đúng: lỗi nằm ở đâu?

Mở

Khách đổi số điện thoại, kho giữ cả hai bản, retrieval trả về cả hai, và agent trả lời theo cái sai. Đánh giá bộ nhớ hiện nay chủ yếu chấm điểm câu trả lời cuối hoặc khả năng cập nhật theo thời gian, gần như không soi cách hệ thống chọn và xếp hạng bằng chứng khi các ứng viên mâu nhau. MemConflict sinh ra đúng khoảng trống đó.

Paper này làm gì

MemConflict là framework chẩn đoán, coi tính hợp lệ của bộ nhớ là bài toán “fitness-for-use” phụ thuộc truy vấn. Framework hệ thống hóa ba loại xung đột (động, tĩnh, có điều kiện) trên ba trục: hiệu lực thời gian, chính xác dữ liệu, phù hợp ngữ cảnh. Lịch sử dài được mô phỏng từ hồ sơ người dùng có cấu trúc, có xung đột liên phiên được tiêm vào cùng distractor giống nghĩa để các ứng viên cạnh tranh. Benchmark cho phép chấm hộp đen ở câu trả lời cuối và soi hộp trắng ở khâu retrieval, xếp hạng bằng chứng hỗ trợ.

Phát hiện chính

  1. Điểm cuối không nói gì về chất lượng xếp hạng — Đánh giá hiện có dừng ở kết quả cuối hoặc cập nhật theo thời gian, thiếu bức tranh về việc hệ thống chọn ra bằng chứng nào khi các phương án cạnh tranh.

existing evaluations mainly assess outcome-level performance or temporal updating, providing limited insight into how systems retrieve and rank temporally valid, factually correct, and contextually applicable memory evidence under conflicting alternatives

  1. Xung đột được chia đúng ba loại trên ba trục — Thay vì nói chung chung về fact sai, framework tách xung đột động, tĩnh và có điều kiện, mỗi loại đặt trên hiệu lực thời gian, chính xác dữ liệu và phù hợp ngữ cảnh.

MemConflict formalizes dynamic, static, and conditional conflicts over temporal validity, factual correctness, and contextual applicability

  1. Lịch được dựng có kiểm soát, kèm nhiễu giống nghĩa — Tác giả mô phỏng lịch sử dài từ hồ sơ người dùng có cấu trúc, tiêm xung đột liên phiên và thêm distractor giống nghĩa để tạo cạnh tranh giữa các ứng viên bộ nhớ.

It simulates controlled long-horizon histories from structured user profiles, introduces cross-session conflicts, and injects semantically similar distractors

  1. Sáu hệ thống bộ nhớ, điểm câu trả lời đi lệch retrieval — Thí nghiệm trên sáu hệ thống đại diện cho thấy thế mạnh lệch theo loại xung đột, và độ chính xác của câu trả lời thường tách khỏi chất lượng retrieval với xếp hạng.

Experiments on six representative long-term memory systems show uneven strengths across conflict types, with answer correctness often diverging from memory retrieval and ranking

Caveat

Lịch sử được mô phỏng từ hồ sơ người dùng có cấu trúc thay vì ghi lại từ người dùng thật, và nghiên cứu đo mức chẩn đoán chứ không phải kết quả khi triển khai.

Áp vào 5ac thế nào

Dữ liệu SMB mâu thuẫn là chuyện thường ngày: giá cũ và giá mới, hai liên hệ ở cùng một khách, hợp đồng đã gia hạn mà kho vẫn giữ bản đầu. Câu hỏi tương ứng với lớp bộ nhớ của mình: khi fact cũ và fact mới cùng tồn tại, hệ thống xếp theo gì? Thực hành cụ thể: giữ thời điểm cập nhật bên cạnh mỗi fact, và thêm một case cố định (số điện thoại cũ và mới, giá cũ và mới) vào bộ kiểm thử agent để bắt lúc retrieval chọn sai. Các yếu tố sensitivity của paper chính là thứ nên bơm vào bộ test đó: lịch dài hơn, distractor dày hơn, truy vấn ngụ ý và khoảng cách xung đột lớn đều kéo kết quả xuống.

Nguồn