Chi phí dựng bộ nhớ nằm ở tần suất gọi model: gom hội thoại thành đoạn để cắt 86% token ghi

Dongfang Li et al. · 1 tác giả · Harbin Institute of Technology, Shenzhen · 2026 · arXiv:2608.12990

Chi phí dựng bộ nhớ nằm ở tần suất gọi model: gom hội thoại thành đoạn để cắt 86% token ghi

Mở

Mỗi lượt hội thoại với trợ lý có bộ nhớ dài hạn thường khép lại bằng một lượt gọi model để trích, tóm tắt hoặc cập nhật ghi nhớ. Hội thoại càng dài, số lượt gọi đó càng chồng lên nhau và chi phí dựng bộ nhớ tăng theo chiều hội thoại, trong khi phần lớn lượt gọi chỉ xử lý một mẩu thông tin nhỏ. Cắt bằng cách tóm tắt thô thì lại mất chi tiết, còn đẩy chi phí sang lúc truy vấn thì vẫn phải trả. Bài này đặt lại câu hỏi: nên ghi sau mỗi lượt, hay ghi sau mỗi đoạn hội thoại?

Paper này làm gì

Paper đề xuất LycheeMemory V2, khung bộ nhớ dài hạn thay thế việc củng cố theo từng lượt bằng việc củng cố theo đoạn ngữ nghĩa. Thay vì xử lý mỗi tương tác, hệ thống gom nhiều trao đổi thành các đoạn, rồi mã hóa mỗi đoạn đã hoàn tất thành các bản ghi nhớ có kiểu và độc lập ngữ cảnh. Các bản ghi được sắp xếp bằng chỉ mục cấu trúc nhẹ để truy vấn có thể lên kế hoạch lấy bằng chứng. Thử nghiệm chạy bằng GPT-4.1-Mini trên LoCoMo và LongMemEval-S.

Phát hiện chính

  1. Củng cố theo từng lượt gọi model sau mỗi tương tác — chính thói quen gọi model để trích, tóm tắt hoặc cập nhật sau mỗi lượt tương tác là thứ làm chi phí dựng tăng theo độ dài hội thoại.

invoking LLMs after each interaction to extract, summarize, or update memories

  1. Tóm tắt thô cắt được chi phí nhưng dễ mất bằng chứng mảnh — đó là cái bẫy của phương án rẻ: giảm số call lúc ghi bằng cách bóp hội thoại lại, đồng thời đánh rơi ngữ cảnh chi tiết mà truy vấn sau có thể cần.

Coarse summarization can reduce construction cost but risks discarding fine-grained contextual evidence

  1. Gom trao đổi thành đoạn ngữ nghĩa rồi mã hóa một lần — mỗi đoạn hoàn tất mới được chuyển thành bản ghi nhớ có kiểu, độc lập ngữ cảnh, nên số lần gọi model lúc ghi giảm theo số đoạn chứ không theo số lượt.

LycheeMemory batches multiple exchanges into segments and encodes each finalized segment into context-independent typed memory records

  1. Cắt 86.0% token dựng trên LoCoMo và 75.9% trên LongMemEval-S — so với A-Mem, việc gom theo đoạn giảm mạnh chi phí dựng mà không làm tăng token dùng lúc truy vấn.

it reduces construction tokens by 86.0% on LoCoMo and 75.9% on LongMemEval-S without increasing query-time token usage

Caveat

Mọi con số đến từ GPT-4.1-Mini trên hai benchmark hội thoại, nên cách xác định ranh giới đoạn và phần token tiết kiệm chỉ được chứng minh cho một model và một dạng tác vụ.

Áp vào 5ac thế nào

Với người chạy agent bằng ngân sách hạn chế, đây là đòn bẩy rẻ nhất vì nó nằm ở đường ghi, không đổi gì ở sản phẩm: thay vì gọi model sau mỗi lượt hội thoại với khách, hãy gom thành đoạn theo sự kiện rồi mã hóa mỗi đoạn khi nó khép lại. Hai việc phải làm kèm theo. Thứ nhất, giữ nguyên cách xác định ranh giới đoạn khi đổi model, vì phần tiết kiệm chỉ mới đo trên một model. Thứ hai, đo riêng token dựng và token truy vấn trước khi áp dụng, đúng như cách paper tách hai con số đó, để biết việc gom đoạn có thật sự chuyển tiền từ đường ghi sang nơi khác hay chỉ dời chi phí.

Nguồn