Giữ full lịch sử hay cắt còn 5 lượt gọi công cụ: cách nào vừa đúng vừa rẻ hơn?

Abhilasha Lodha et al. · 1 tác giả · Microsoft · 2026 · arXiv:2606.10209

Giữ full lịch sử hay cắt còn 5 lượt gọi công cụ: cách nào vừa đúng vừa rẻ hơn?

Mở

Agent doanh nghiệp gọi công cụ, mỗi lần gọi trả về response dài dòng, và context nhanh chóng phình to. Khi cửa sổ đầy, ba thứ đến cùng lúc: tràn context, lỗi do trạng thái cũ vẫn nằm trong prompt, và chi phí suy luận leo thang. Cách đối phó tự nhiên nhất là giữ hết lịch sử — nghiên cứu này cho thấy giữ hết vừa tốn vừa kém đúng hơn cách cắt gọn.

Paper này làm gì

Tác giả nghiên cứu vấn đề này trên workflow tự động phân loại chi phí trong Microsoft Dynamics 365 Finance and Operations, dùng công cụ theo Model Context Protocol. Họ so sánh bốn cấu hình GPT-5 trên benchmark 50 nhiệm vụ chi phí khách sạn: không có user model, giữ toàn bộ lịch sử hội thoại, cắt còn 5 cặp tool call/response gần nhất, và cắt cộng tóm tắt tự động. Kết quả được trung bình qua 5 lần chạy, với user model giữ cố định khi so sánh các cách kỹ thuật context.

Phát hiện chính

  1. Response dài dòng là gốc rễ — Công cụ từ hệ thống doanh nghiệp trả về văn bản dài có thể gây tràn context, lỗi trạng thái cũ và chi phí suy luận cao.

verbose tool responses from enterprise systems can cause context overflow, stale-state errors, and high inference cost

  1. Giữ hết lịch sử: đúng hơn nhưng đắt hơn — Giữ toàn bộ hội thoại nâng mức hoàn thành lên 71,0%, đổi lại benchmark tiêu tốn 1.480.996 token và 14,56 giờ.

Full-context retention improves completion to 71.0%, but consumes 1,480,996 tokens and 14.56 hours per benchmark

  1. Cắt còn 5 lượt gần nhất: vừa nhanh hơn vừa đúng hơn — Cắt bớt nâng mức hoàn thành lên 79,0% trong khi token xuống còn 535.274 và thời gian xuống 5,39 giờ.

Pruning to the last 5 tool calls improves completion to 79.0% while reducing token use to 535,274 and runtime to 5.39 hours

  1. Cắt rồi tóm tắt là cấu hình tốt nhất — Cộng tóm tắt tự động đạt 91,6% phân loại hoàn chỉnh và 99,64% số tiền được phân loại trung bình.

Adding summarization achieves the best result: 91.6% complete itemization and 99.64% average amount itemized

Caveat

Đây chỉ là một workflow doanh nghiệp — phân loại chi phí khách sạn trong Microsoft Dynamics 365 Finance and Operations với bốn cấu hình GPT-5 trên benchmark 50 nhiệm vụ — nên cửa sổ cắt là điểm bắt đầu để tinh chỉnh, không phải mặc định phổ quát.

Áp vào 5ac thế nào

Công thức gần như dựng sẵn cho agent back-office 5ac: giữ 5 lượt gọi công cụ gần nhất trong context, tóm tắt phần còn lại, không giữ full history. Kết quả là vừa tăng độ hoàn thành vừa cắt mạnh token và thời gian chạy — đúng nghĩa “ít context hơn, kết quả tốt hơn”. Khi tinh chỉnh, bắt đầu từ cửa sổ 5 rồi thử lại quanh nó, vì con số đến từ một workflow cụ thể; thứ mang về được là nguyên tắc, không phải con số tuyệt đối.

Nguồn