CTIM-Rover: thêm episodic memory cấp repository, không thắng nổi baseline ở bất kỳ cấu hình nào

Tobias Lindenbauer et al. · 1 tác giả · School of Computation, Information and Technology, Technical University of Munich · 2025 · arXiv:2505.23422

Gắn thêm bộ nhớ cho agent sửa bug, vì sao vẫn không thắng nổi bản không bộ nhớ?

Mở

Ai từng chạy agent sửa code cũng nghe lý lẽ này: agent đã từng thấy repository một lần thì lần sau nhanh hơn, càng nhớ càng giỏi. Tác giả dựng CTIM-Rover để thử nghiêm túc giả định đó, thêm episodic memory cấp repository vào AutoCodeRover rồi so với chính baseline của nó. Kết quả không theo hướng kỳ vọng, và phần phân tích chỉ ra thứ khiến nó hỏng: nhiễu.

Paper này làm gì

CTIM-Rover dựng trên AutoCodeRover, mở rộng framework suy luận bằng episodic memory cấp chung và cấp repository, tức Cross-Task-Instance Memory (CTIM). Tác giả lấy ExpeL làm nền, đề xuất cách tạo CTIM theo hướng pha cách Mixture-Of-Experts, với kỳ vọng hiểu biết cấp repository giúp tìm đủ mọi vị trí cần vá khi sửa bug. Thiết kế có bộ nhớ này được so với AutoCodeRover trên cùng cấu hình.

Phát hiện chính

  1. Các framework vẫn vứt bộ nhớ sau một tác vụ — Đây là khoảng trống CTIM lấp: phần lớn framework lập kế hoạch và suy luận hiện hành long-term memory chỉ dùng được một lần rồi bị bỏ đi.

all of these reasoning and planning frameworks inefficiently discard their long-term memory after a single task instance

  1. CTIM-Rover làm đúng những gì nó tuyên bố — Hệ thống thêm episodic memory chung và cấp repository vào framework suy luận, chứ không chỉ nong prompt ra cho dài.

extends agentic reasoning frameworks with an episodic memory, more specifically, a general and repository-level Cross-Task-Instance Memory (CTIM)

  1. Không thắng nổi baseline ở bất kỳ cấu hình nào — Đây là kết quả chính của paper: ở mọi cấu hình thử nghiệm, phiên bản có bộ nhớ không vượt được AutoCodeRover.

CTIM-Rover does not outperform AutoCodeRover in any configuration

  1. Nhiễu từ chính kho memory là nghi phạm — Phân tích chỉ ra item CTIM gây xao nhãng và các exemplar trajectory là nguồn nhiều khả năng nhất của hiệu suất kém đi.

noise introduced by distracting CTIM items or exemplar trajectories as the likely source of the performance degradation

Caveat

Đây chỉ là một thiết lập cấp repository với một baseline agent, nên kết quả phản bác thiết kế episodic memory cụ thể này, chứ không phải phản bác episodic memory nói chung.

Áp vào 5ac thế nào

Bài học rẻ nhất cho người chạy agent ngân sách hẹp: kho memory không miễn phí, nó kéo nhiễu vào đúng prompt đang cố giúp mình. Trước khi bật memory cho agent hỗ trợ 5ac, chạy A/B với bộ nhớ tắt trên tập ticket thật; không thắng rõ thì kho đó đang làm mình kém đi. Khi giữ kho, đầu tư vào lọc item gây nhiễu thay vì trữ càng nhiều càng tốt, vì điểm yếu được paper chỉ ra nằm ở chất lượng vật liệu nạp vào, không phải ở ý tưởng nhớ.

Nguồn