Memora: FAMA phạt agent vì vẫn dùng dữ liệu đã lỗi thời

Md Nayem Uddin et al. · 1 tác giả · Arizona State University · 2026 · arXiv:2604.20006

Agent vẫn dùng dữ liệu của quý trước, benchmark nào chấm được chuyện đó?

Mở

Một assistant cá nhân chạy suốt từ tuần này sang tháng khác, còn dữ liệu người dùng thì đổi: nơi ở mới, giá mới, cách làm việc mới. Benchmark bộ nhớ hiện nay phần lớn vẫn coi bài toán là truy xuất fact từ hội thoại quá khứ, nên số điểm đẹp không nói gì về việc agent có gom lại được ký ức theo thời gian hay xử lý được cập nhật liên tục. Memora đặt lại bài đo quanh đúng chỗ đó.

Paper này làm gì

Memora là benchmark bộ nhớ dài hạn cho hội thoại người dùng kéo dài từ tuần tới tháng, với ba tác vụ neo vào bộ nhớ: nhớ, suy luận và gợi ý. Chất lượng dữ liệu được kiểm bằng phép neo bộ nhớ tự động cùng đánh giá người. Tác giả đề xuất chỉ số mới tên là FAMA (Forgetting-Aware Memory Accuracy), phạt thẳng việc dựa vào ký ức đã lỗi thời hoặc bị vô hiệu. Đánh giá quét bốn mô hình LLM và sáu memory agent.

Phát hiện chính

  1. Bài đo quen thuộc dừng ở việc nhắc lại — Benchmark hiện có phần lớn định nghĩa bộ nhớ dài hạn là truy xuất fact từ hội thoại quá khứ, không nói gì về việc gom ký ức theo thời gian hay cập nhật kiến thức.

existing benchmarks predominantly frame long-term memory evaluation as fact retrieval from past conversations

  1. Memora chấm ba tác vụ neo vào bộ nhớ — Thay vì một kiểu hỏi đáp, benchmark chấm ba việc: nhớ, suy luận và gợi ý, trên hội thoại kéo dài nhiều tuần tới nhiều tháng.

The benchmark evaluates three memory-grounded tasks: remembering, reasoning, and recommending

  1. FAMA phạt việc xài dữ liệu đã cũ — Chỉ số mới trừng trị trực tiếp hành vi lấy ký ức đã lỗi thời hoặc bị vô hiệu ra để trả lời.

Forgetting-Aware Memory Accuracy (FAMA), a metric that penalizes reliance on obsolete or invalidated memory

  1. Memory agent chỉ cải thiện không đáng kể — Trên bốn mô hình và sáu memory agent, phần đánh giá cho thấy memory agent mang lại cải thiện rất nhỏ; tác giả còn ghi nhận việc dùng lại ký ức không còn hiệu lực và những thất bại khi hòa giải ký ức đang thay đổi.

Memory agents offer marginal improvements

Caveat

Benchmark còn mới và bước đánh giá người chỉ được mô tả ở mức phác thảo, nên kết luận “cải thiện không đáng kể” dựa trên đúng bộ dữ liệu này.

Áp vào 5ac thế nào

Câu hỏi nên hỏi nhà cung cấp bộ nhớ không phải “agent có nhớ không” mà là “có chỉ số nào phạt việc dùng dữ liệu đã lỗi thời không”, đúng tinh thần FAMA. Về vận hành, thêm một vòng audit định kỳ cho agent 5ac: lấy mẫu fact mà agent vừa dùng và đối chiếu với thực tế hôm nay. Nếu agent còn trích địa chỉ quý trước thì lỗi nằm ở tầng ghi và khả năng vô hiệu hóa bản cũ, không phải ở tầng retrieval, sửa bằng cách đánh dấu fact hết hiệu lực khi dữ liệu nguồn đổi.

Nguồn