Agent tự sửa mình, cổng ngoài giữ cửa

Sina Tayebati et al. · 1 tác giả · University of Illinois Chicago and Capital Labs (Capital One) · 2026 · arXiv:2609.24130

Agent tự sửa mình, cổng ngoài giữ cửa

Mở

Agent có thể viết lại chính hướng dẫn vận hành của mình cho lần chạy sau. Câu hỏi vì vậy không phải có cho phép tự sửa hay không, mà là giữ lại thay đổi nào. Nếu để mặc, một sửa đổi sửa đúng chỗ đang lỗi có thể làm hỏng một chỗ đang chạy tốt — và người dùng chỉ phát hiện việc đó khi đã quá muộn.

Paper này làm gì

Tác giả coi việc agent tự sửa là bài toán admission control: agent đề xuất thay đổi cho instruction của chính mình, runtime gate bên ngoài quyết định thay đổi đó có được giữ lại hay không. Vòng Detect–Notice–Heal–Validate chạy quanh một agent không bị sửa đổi; thay đổi chạy thử tạm thời trong workspace ngoài và chỉ thành quy tắc có hiệu lực lâu dài sau khi được đo — lỗi kích hoạt được sửa, các case được bảo vệ không xấu đi quá một margin cố định. Replay tạo bằng chứng khớp cặp khi có, forward trial là phương án yếu hơn. Kết quả đến từ 16 cặp chạy Baseline–Harness trên AppWorld, Terminal-Bench và một benchmark sandbox thứ ba.

Phát hiện chính

  1. Cổng bên ngoài chặn 383 đề xuất tự sửa — trên 16 cặp chạy Baseline–Harness, gate loại bỏ 383 đề xuất được quyết định bằng replay.

the gate rejected 383 replay-decided proposals

  1. Hơn nửa số bị chặn sửa chỗ này, hỏng chỗ khác — 211 đề xuất, tương đương 55%, sửa được đúng lỗi kích hoạt nhưng làm xấu một case vốn đã chạy tốt.

Of these, 211 (55%) improved their triggering failure while degrading a case that previously worked.

  1. Chặn chặt mà điểm hoàn thành nhiệm vụ vẫn cao hơn ở cả 16 cặp — chỉ nhận thay đổi sau khi đo được cải thiện không làm mất năng lực.

Task-completion score is higher under the Harness in all 16 pairs

Caveat

Bài chỉ chạy trên các benchmark sandbox của bài với 16 cặp thử, và abstract nêu rõ chỉ hai cặp có bootstrap interval loại trừ số không — phần còn lại chưa đủ bằng chứng thống kê; chi phí của replay và forward trial không được nêu.

Áp vào 5ac thế nào

Hãy nhìn vào chỗ 5ac đang cho agent tự sửa: worker sửa skill, sửa prompt, sửa chính script chạy gate. Mỗi thay đổi đó nên đi qua một cổng replay bên ngoài trước khi được giữ lại — chạy lại bộ test cũ, giữ lại chỉ khi test đang lỗi khá hơn và test đang pass không xấu đi. Ở 5ac, bộ test đó không thiếu: các checker đang chạy hằng ngày chính là replay corpus, việc còn lại là bắt thay đổi tự sửa phải đi qua chúng trước khi được giữ. Cách làm này không đòi hỏi model mới, chỉ đòi hỏi một vòng đo trước — và nó biến câu «tôi đã cải thiện» thành bằng chứng.

Nguồn