MERIT: đo bộ nhớ bằng cả token lẫn đô-la, và phát hiện agent nhớ nhưng không hành động

Shweta Mishra et al. · 1 tác giả · Independent Research · 2026 · arXiv:2609.05441

Bộ nhớ có thật sự đổi cách agent làm việc, hay chỉ đổi điểm benchmark?

Mở

Đo một lớp bộ nhớ bằng cách hỏi lại lịch sử hội thoại cho số điểm đẹp, rồi đưa vào production và phát hiện agent vẫn làm y như trước. Khoảng trống đó là lý do MERIT ra đời: thay vì chỉ chấm câu trả lời, benchmark này đo xem trí nhớ có đổi hành vi của agent đang thực thi tác vụ hay không, và ghi lại giá của từng thao tác bằng token với đô-la.

Paper này làm gì

MERIT (Memory Evaluation for Realistic Instrumented Tasks) gồm benchmark và harness. Tác giả dựng tác vụ công cụ theo từng đoạn trong ba lĩnh vực, trong đó mức phụ thuộc vào fact của đoạn trước được xác minh bằng leak check tự động; thang độ khó kết thúc ở việc nhớ lại fact đã bị cập nhật; có điều khiển làm hỏng bộ nhớ; và metering đầy đủ token với đô-la cho mọi thao tác bộ nhớ. Thí nghiệm chạy trên 23.440 episode chấm điểm với tổng chi phí 42,57 USD, gồm pilot hai thế hệ mô hình trên gpt-4.1-mini và một lưới ba mô hình ba seed đã đăng ký trước, có GPT-4.1 và Claude Haiku 4.5.

Phát hiện chính

  1. Benchmark quen thuộc chấm nhầm chỗ — Các bộ đo phổ biến dừng ở việc trả lời câu hỏi trên lịch sử hội thoại, không kiểm tra xem fact nhớ có đổi cách agent đang chạy công cụ hành động hay không.

which measure question answering over dialogue history, not whether remembered facts change what a tool-using agent does

  1. MERIT tính cả lợi ích biên lẫn giá tiền — Benchmark và harness này đo tác dụng biên của bộ nhớ cho agent thực thi tác vụ, dưới kế toán chi phí tường minh.

a benchmark and harness that measures the marginal utility of memory for task-executing agents under explicit cost accounting

  1. Bộ nhớ nâng tác vụ phụ thuộc từ sàn 0,00 lên 0,55-1,00 — Sàn này đã qua leak check xác minh, tức tác vụ phụ thuộc không thể thắng khi thiếu trí nhớ, nên phần tăng đến từ chính lớp bộ nhớ.

memory lifts dependent-task success from a leak-verified floor of 0.00 to 0.55-1.00

  1. Nhớ đúng chưa chắc đã làm — Với fact đã cập nhật, agent chỉ hành động theo giá trị được retrieval đúng 55% thời gian, trong khi retrieval bằng embedding dao động khó đoán từ 0,30 tới 0,95 giữa các mô hình.

agents act on a correctly retrieved value only 55% of the time

Caveat

Lưới thí nghiệm gồm một harness với ba lĩnh vực và vài thế hệ mô hình, retrieval bằng embedding tự nó dao động từ 0,30 tới 0,95 giữa các mô hình; vì vậy “bộ nhớ giúp” là nhận định có điều kiện, tùy mức phụ thuộc của tác vụ và tần suất fact đổi.

Áp vào 5ac thế nào

Trước khi trả tiền hay dựng thêm lớp bộ nhớ, chạy thử bật tắt trên chính bộ tác vụ của mình: tác vụ nào không phụ thuộc phiên trước thì bộ nhớ không đổi được gì cho nó. Với giá, tồn kho, lịch hẹn, abstract cho thấy update-on-write giữ 0,70-1,00 trong khi hybrid tệ hơn kho fact đơn lẻ, nên ưu tiên kho fact ghi-đè-khi-ghi thay vì chỉ retrieval vector. Cuối cùng, cách cài đặt của một lớp bộ nhớ có thể dịch tỷ lệ thắng tới 60 điểm, chọn đúng kiến trúc quan trọng ngang việc mua thêm token.

Nguồn