Nạp ký ức vào context là một bài toán gợi ý: chọn bằng xếp hạng, không cần gọi LLM

Phát hiện chính

1. Chọn ghi nhớ là việc chạy mỗi truy vấn — giữa kho lớn và cửa sổ nhỏ, việc nhặt ra vài mẩu mang vào context là thao tác lặp lại vô số lần và nó định đoạt phần lớn câu trả lời.

must choose, for every request, the few stored memories that enter a limited context window

2. Bài toán được quy về bài toán gợi ý có ngân sách — truy vấn là người dùng, mẩu ghi nhớ là mục, cửa sổ context là slate; từ đó các thành phần của hệ thống nằm trong cùng một không gian thiết kế với cascade gợi ý.

we formalize agent memory as budgeted slate recommendation, with the request as the user, stored memories as items and the context window as a slate

3. Chọn ghi nhớ không cần call LLM nào — đây là điểm khác biệt chi phí lớn nhất: bước chọn lọc chạy bằng mô hình xếp hạng, không tiêu thêm token suy luận ở mỗi truy vấn vào.

selects memories without any LLM call

4. Ngang một reranker 64 call mỗi truy vấn với chi phí rẻ hơn 3.2 lần — hệ thống không mất chất lượng so với cách gọi LLM xếp hạng lại, trong khi chi phí phục vụ thấp hơn hẳn.

It matches an LLM reranker that makes 64 calls per query at 3.2 times lower serving cost