Chọn thời điểm can thiệp gần như không tin được: cả người lẫn LLM judge đều lệch nhau
Chọn thời điểm can thiệp gần như không tin được: cả người lẫn LLM judge đều lệch nhau
Mở
Bạn muốn một lớp an toàn runtime quyết định lúc nào cắt agent giữa chừng: pause khi nó bắt đầu lung tung, hỏi lại khi thiếu thông tin. Câu hỏi đó âm thầm giả định rằng “đúng lúc” là một đại lượng có thể gán nhãn. Paper này gõ vào giả định đó bằng ba mũi: trigger theo ngưỡng trạng thái bắn liên tục vì trạng thái bão hòa, ba annotator được huấn luyện cùng rubric vẫn đồng ý với nhau chỉ slightly above chance khi chọn điểm cắt, và LLM judge chỉ thoát khỏi sàn không-bắn khi được cho toàn bộ ngữ cảnh mà F1 vẫn thấp.
Paper này làm gì
Tác giả dùng engine động lực cảm xúc liên tục làm probe chẩn đoán, rồi đối chiếu bốn họ trigger — ngưỡng trạng thái tuyệt đối, mẫu trạng thái-hành động tổ hợp, trích xuất đặc trưng suy luận bằng regex, và LLM-as-judge zero-shot — với các điểm can thiệp do người gán trên trace gỡ lỗi SWE-bench-Verified. Mục tiêu của bài không phải thắng bằng một detector, mà là dựng bản đồ chung: con người đồng thuận tới đâu, detector nào bắn khi nào, và LLM judge giá bao nhiêu cho một phán đoán.
Phát hiện chính
- Bẫy bão hòa biến trigger thành chỉ báo gần như liên tục — trạng thái mô phỏng chạm ngưỡng rồi kẹt ở mức tối đa, khiến trigger theo ngưỡng trạng thái đổi từ máy dò khoảnh khắc thành chỉ báo gần như luôn bật, bắn trên 39-83% hành động qua năm quỹ đạo.
converting threshold-on-state triggers from moment detectors into near-constant indicators that fire on 39-83% of actions across five trajectories
- Con người không đồng ý với nhau về chỗ cần cắt — ba annotator được huấn luyện, cùng một rubric, trên một quỹ đạo 56 hành động, chỉ đồng ý slightly above chance về vị trí can thiệp, Krippendorff’s alpha = +0.047; cặp tốt nhất cũng chỉ Cohen’s kappa = +0.349.
three trained annotators using the same rubric on a 56-action trajectory agree on where to intervene only slightly above chance (location Krippendorff’s alpha = +0.047; best pairwise Cohen’s kappa = +0.349)
- LLM judge thoát sàn không-bắn bằng cách tốn nhiều hơn — model nhỏ gpt-5.4-mini không bao giờ bắn; model frontier và đa nhà cung cấp chỉ thoát khỏi sàn khi có ngữ cảnh toàn quỹ đạo, F1 0.17-0.40 với chi phí gấp tới 90 lần.
frontier and cross-vendor models escape the zero-firing floor only with full-trajectory context, reaching only F1 0.17-0.40 at up to 90x the cost
- Thời điểm can thiệp là đại lượng kém tin cậy — vì thế F1 trên một annotator duy nhất không phải mục tiêu tối ưu hợp lệ cho việc quyết định lúc nào cắt agent.
We conclude that intervention timing is a low-reliability construct, making single-annotator F1 an unsuitable optimization target.
Caveat
Toàn bộ kết quả nằm trên một tập trace gỡ lỗi duy nhất, với một engine cảm xúc làm probe chẩn đoán chứ không phải sản phẩm đã kiểm chứng, và chính abstract thừa nhận không có ground truth vững cho thời điểm can thiệp vì con người đã lệch nhau. Bài cũng không nêu chi phí bằng đô la ngoài hệ số 90x, nên chưa có con số nói rằng dựng một ground truth đa người đáng bao nhiêu tiền.
Áp vào 5ac thế nào
Bài học thẳng thắn cho vận hành bot: bất kỳ “guard tự biết lúc nào chặn agent” nào ở 5ac cũng phải đi kèm phép thử đồng thuận giữa ít nhất hai người. Nếu hai người chung rubric đã lệch nhau thì đừng chấm detector bằng F1 trên nhãn một người, vì bạn đang tối ưu theo một thứ không ai tái lập được. Thứ nên đo trước là tỷ lệ bắn: guard bắn trên phần lớn hành động thì nó là tiếng ồn, guard không bắn thì vô hại; cả hai đều hỏng theo kiểu khác nhau và đều rẻ hơn nhiều so với việc mua một model judge mạnh hơn.
Nguồn
- The Saturation Trap and the Subjectivity of Intervention Timing: Why Affect-Based Triggers and LLM Judges Fail to Time Interventions on Autonomous Agents — https://arxiv.org/abs/2606.04296