Policy huấn luyện mang theo harness: so sánh bằng model cố định trộn lẫn hai thứ

“Language model agents are post-trained and deployed through a harness, the prompts, tools, and control logic that present a task to the model and execute its outputs.”

Jian Mu, Ruibo Shen, Yao Shu · 3 tác giả · The Hong Kong University of Science and Technology (Guangzhou) · 2026 · arXiv:2610.37255

Policy đã huấn luyện không bao giờ tách khỏi harness của nó

Mở

Harness thường được sửa và chấm điểm bằng cách nhìn một model đã trained hoạt động thế nào dưới nó, một thực hành ngầm giả định rằng những gì model học được ở harness cũ sẽ chuyển sang harness mới. Khi chọn harness cho agent, đội kỹ thuật thường chạy thử với một model cố định rồi chọn bản có điểm cao hơn, và cách đó âm thầm trộn lẫn hai thứ khác nhau: harness đó đưa ra được gì, cùng model đó dùng nó tốt đến đâu. Paper này chỉ ra một policy sau huấn luyện vẫn mang theo preference của harness, nên một phép so sánh đơn lẻ có thể kết luận sai về cả hai phía.

Paper này làm gì

Tác giả đặt câu hỏi policy học được gì từ harness, và điều gì còn lại khi harness đổi. Dưới khung kiểm soát bằng KL-regularized control, họ chứng minh log odds của policy tối ưu phản chiếu mức harness ưu tiên từng hành vi, tức policy mang theo preference của harness. Kết quả triển khai được tách thành hai vế: ceiling (trần lợi ích) của harness trừ mismatch (phần mất vì quyết định chưa tối ưu) của policy, và đổi harness thì cả hai vế cùng đổi. Thí nghiệm trên MiniWoB++ cho thấy hậu quả trực tiếp, còn trên các coding harness ở Terminal-Bench Lite thì ước lượng ceiling trừ mismatch với một model mạnh hơn làm stand-in cho optimum tái tạo được thứ hạng accuracy, trong khi riêng từng vế thì không tái tạo được.

Phát hiện chính

  1. Policy sau huấn luyện mang theo preference của harness mà nó được huấn luyện dưới. (so a trained policy carries the preferences of its harness)

  2. Kết quả triển khai bằng ceiling của harness trừ mismatch của policy; đổi harness thì cả hai vế cùng đổi. (Deployed return then equals the ceiling of the harness, the best return it offers, minus the mismatch of the policy, the return lost to its own suboptimal decisions)

  3. Chỉ đảo thứ tự các trường quan sát, mọi quyết định tối ưu không đổi, mà tỷ lệ thành công của model đã huấn luyện vẫn giảm từ 85.0% xuống 19.2%. (Reversing the order of the observation fields leaves every optimal decision unchanged yet lowers a trained model’s success from 85.0% to 19.2%)

Caveat

Giới hạn tác giả nêu mang tính phương pháp: so sánh hai harness bằng một model cố định sẽ trộn lẫn những gì từng harness cung cấp với mức model đó dùng chúng tốt đến đâu, nên một kết quả so sánh đơn lẻ không tách được hai vế. Đây chính là lý do họ đề xuất ước lượng ceiling và mismatch trước khi kết luận harness nào mạnh hơn. Nói cách khác, một điểm số cao hơn chưa đủ để kết luận harness đó tốt hơn, khi thứ thay đổi có thể chỉ là mức model đang dùng nó.

Áp vào 5ac thế nào

Với 5ac, đây là cảnh báo trực tiếp cho model routing: model A chạy tốt trên một skill không có nghĩa model B sẽ chạy tốt skill đó, vì prompt và mô tả tool của skill đã thành preference của model A. Mỗi thay đổi skill và mỗi lần đổi model đều được ghi vào Kanban card, để khi kết quả của một card tự đổi thì biết thay đổi nằm ở model hay ở harness. Ceiling minus mismatch còn cho một cách ước lượng trước: trước khi chốt model mới cho một lane, chạy một model mạnh hơn làm proxy để ước ceiling, rồi so với kết quả thật của model dự kiến. Khi khoảng cách giữa hai vế lớn, vấn đề nằm ở policy chứ không phải ở harness, và việc cần làm là sửa policy trước.

Nguồn