Rethinking Verification: đặt verification vào đâu trong vòng đời agent

“Agent harnesses enable large language models to act through tools, observe the results, and iteratively work toward a task goal.”

Zhengxin Zhang, Erkang Zhu, Yin Lin +3 · 6 tác giả · Cornell University and Alibaba Group · 2026 · arXiv:2610.34577

Kiểm tra agent ở đâu trong vòng đời mới đáng đồng tiền?

Mở

Hầu hết harness kiểm agent ở một chỗ duy nhất, kiểu như dặn model đọc lại trước khi nộp, rồi coi đó là verification. Kiểm và sửa như vậy tiêu token lẫn thời gian, mà đặt sai chỗ thì vừa tốn vừa không chặn được lỗi. Paper này đặt verification thành một trục của test-time scaling và hỏi khi nào nên can thiệp, ai kiểm công việc, và kiểm xong thì sửa thế nào.

Paper này làm gì

Tác giả chia verification thành bốn lớp theo vòng đời agent: instruction ban đầu, reminder giữa chừng, completion gate khi nộp, và independent review bởi một critic riêng. Họ so 17 thiết kế trên bảy model coding hàng đầu bằng Terminal-Bench và SWE-bench Verified, đồng thời dựng VisualBench để chuyên gia chấm artifact thị giác và tương tác. Kết quả so sánh cho thấy instruction và reminder chỉ mang lại mức tăng vừa phải, phụ thuộc vào model, trong khi completion gate cho tăng lớn hơn nhưng đẩy chi phí lên rõ rệt, nên tác giả tách nó thành lựa chọn riêng thay vì gộp chung với các kiểu kiểm khác. Còn trên VisualBench, independent review vượt mọi thiết kế L0-L2 được đánh giá, và review thêm vòng còn nâng accuracy trung bình trên TB thêm tới 3.5 điểm.

Phát hiện chính

  1. Framework chia verification thành bốn lớp theo vòng đời agent, từ instruction ban đầu tới independent review. (Our framework spans four layers of the agent lifecycle: initial instructions, mid-turn reminders, completion gates, and independent review)

  2. So sánh 17 thiết kế trên bảy model coding hàng đầu bằng Terminal-Bench và SWE-bench Verified. (We compare 17 designs across seven frontier coding models on Terminal-Bench (TB) and SWE-bench Verified (SWE))

  3. Independent review nâng độ chính xác trung bình 5.9-9.5 điểm phần trăm trên TB và 3.9-6.6 trên SWE, với chi phí 1.13-1.25 và 1.00-1.04 lần baseline; trên VisualBench nó đạt net preference 13.2-23.8 điểm so với baseline. (improving average accuracy by 5.9-9.5 percentage points on TB and 3.9-6.6 on SWE at 1.13-1.25 and 1.00-1.04 times baseline cost, respectively)

Caveat

Đánh đổi tác giả nêu: completion gate có thể cho tăng lớn hơn nhưng có thể làm chi phí tăng đáng kể. Đó là lý do independent review nổi lên như phương án có lợi hơn về mặt độ chính xác so với chi phí, thay vì kết luận mọi kiểu kiểm đều đáng giá như nhau. Tác giả cũng lưu ý mức tăng còn phụ thuộc model, nên một thiết kế cho kết quả tốt với model này không mặc định tốt với model kia.

Áp vào 5ac thế nào

Kanban của 5ac đã chạy đúng trục này: card được tự kiểm trước, rồi một reviewer profile khác kiểm ở cửa sổ hoàn thành, và con số trong paper bảo vệ cách đó bằng dữ liệu thay vì bằng niềm tin. Thêm independent review tốn hơn một chút nhưng đổi lấy độ chính xác cao hơn, đúng loại chi phí mà 5ac chấp nhận cho lane quan trọng. Việc cần làm là đừng để mọi card cùng qua một cổng giống nhau: card thử nghiệm có thể dừng ở completion gate, còn card chạm tiền hay production phải có reviewer riêng. Khi một lane cần tăng độ chính xác thêm, thêm vòng review độc lập là phương án có dữ liệu ủng hộ, thay vì gia tăng các lời dặn dò trong prompt; artifact thị giác là chỗ independent review tỏ ra rõ nhất trong paper, và 5ac gặp đúng loại đó khi reviewer chấm trang, ảnh OG hay bản render thay vì chỉ chấm chữ.

Nguồn