Agent đã tìm được bằng chứng mà vẫn trả lời sai — lỗi nằm ở đâu?

Xianxuan Long et al. · 1 tác giả · Michigan State University · 2026 · arXiv:2606.17328

Agent đã tìm được bằng chứng mà vẫn trả lời sai — lỗi nằm ở đâu?

Mở

Đo bộ nhớ của agent gần như luôn theo cùng một cách: một danh sách câu hỏi, mỗi câu một điểm, rồi tính trung bình. Tiện thật, nhưng cách đó giấu mất điều người dùng thật sự quan tâm — một fact về họ hành xử thế nào khi thời gian trôi đi, khi câu hỏi đổi cách đặt, hay khi bối cảnh chứa thông tin sai. Với người vận hành agent, độ chính xác tổng hợp cao không chứng minh được rằng agent theo dõi đúng thay đổi thay vì chỉ lặp lại điều cũ.

Paper này làm gì

MemTrace là benchmark đổi đơn vị đo: thay vì mỗi câu hỏi một điểm, đơn vị là điểm tri thức (knowledge point) — một fact có kiểu về người dùng. Mỗi điểm như vậy được dò theo ba chiều có kiểm soát: tuổi ký ức (fact xuất hiện ở phiên nào trong quá khứ), kiểu câu hỏi (trạng thái hiện tại, trạng thái trước đó, quỹ đạo thay đổi) và điều kiện bằng chứng (có mặt, thiếu, hoặc mâu thuẫn với tiền đề sai). Tác giả đánh giá 13 cấu hình memory system trên bốn paradigm để soi từng loại thất bại riêng.

Phát hiện chính

  1. Chấm từng câu hỏi giấu mất hành vi của fact — Vì mỗi câu được chấm độc lập, kể cả khi nhiều câu dò cùng một fact, điểm tổng không cho thấy fact đó phản ứng thế nào khi điều kiện đổi. Bạn có thể có bảng điểm đẹp mà vẫn không biết agent xử lý thay đổi ra sao.

Because this approach scores question rows independently, even when several questions probe the same fact, it cannot show how that fact behaves as conditions change

  1. Đơn vị đo mới là điểm tri thức — Benchmark lấy một fact có kiểu về người dùng làm gốc, nên cùng một fact có thể được soi ở nhiều điều kiện thay vì tách thành các câu hỏi rời rạc.

a benchmark whose unit of measurement is the knowledge point: a single typed fact about the user, rather than an individual question

  1. Nhớ hiện tại và quá khứ chưa chắc theo dõi được thay đổi — Hệ thống có thể truy hồi đúng trạng thái hiện tại và trạng thái trước đó của một fact mà vẫn không trả lời được fact đó đã đổi như thế nào; tương tự, từ chối an toàn không có nghĩa là hệ thống sửa được tiền đề sai.

recovering a fact’s current and earlier states does not imply tracking how it changed

  1. Nút thắt là dùng bằng chứng, không phải tìm bằng chứng — Khi hệ thống thất bại, bằng chứng thường vẫn nằm sẵn và truy hồi được, nhiều hơn hẳn số lần bằng chứng thật sự thiếu. Thêm storage hay retrieval không phải thuốc chữa cho lỗi này.

when systems fail, the evidence was retrievable 10 times more often than it was missing

Caveat

Chỉ 13 cấu hình trên một benchmark fact tổng hợp; đây là chẩn đoán về cách dùng bằng chứng, không phải bảng xếp hạng sản phẩm bộ nhớ thương mại.

Áp vào 5ac thế nào

Khi agent 5ac trả lời sai, bước đầu tiên không phải mua thêm retrieval hay mở rộng storage: trace xem bằng chứng đã nằm trong context lúc trả lời chưa. Nếu có mà vẫn sai, lỗi ở chỗ model dùng bằng chứng thế nào — sửa cách trích dẫn, cách ép trích nguồn, cách đặt lại câu hỏi; tiền bỏ thêm vào tầng retrieval sẽ không cứu. Bài đo này cũng gợi cách test nội bộ: đừng chấm các câu hỏi rời rạc, gom những câu dò cùng một fact và xem agent có theo dõi được thay đổi của fact đó không.

Nguồn