Thêm người duyệt không phải lúc nào cũng an toàn hơn: cổng giám sát có sức chứa
Thêm người duyệt không phải lúc nào cũng an toàn hơn: cổng giám sát có sức chứa
Mở
Bạn bật gate cho mọi lệnh shell đáng ngờ và tin rằng chừng nào còn người duyệt thì còn an toàn. Paper này đả đảo chính niềm tin đó bằng hai sự thật khó chịu. Thứ nhất, khi được cho cùng một tập hành động, các reviewer chỉ đồng ý với nhau ở mức trung bình về việc gì là rủi ro — nên không tồn tại một nhãn đúng duy nhất để guard học theo. Thứ hai, người duyệt mệt dần khi khối lượng escalate tăng, và ở một điểm nào đó, thêm escalate sẽ làm hệ thống kém an toàn thay vì an toàn hơn.
Paper này làm gì
Tác giả lấy một tập 125 hành động của agent được gán tay theo hướng adversarial, đo mức đồng thuận giữa người duyệt, rồi dựng mô hình người duyệt như một nguồn lực bị mệt theo tải escalate. Guard được đặt trong khung phân loại có chọn lọc với chi phí bất đối xứng, để giới hạn vận hành của nó trở thành đại lượng đo được thay vì phỏng đoán. Kết quả mô hình được dùng làm động cơ cho một chính sách biết tải, chống cuộc tấn công flooding đẩy hành động độc hại lọt qua reviewer đã mệt.
Phát hiện chính
- Không có nhãn đúng duy nhất cho “rủi ro” — trên tập 125 hành động được gán tay, người duyệt chỉ đồng ý mức trung bình với nhau, Fleiss’ kappa = 0.52, nghĩa là một nhãn đúng đơn nhất không tồn tại.
On a hand-labeled set of 125 adversarially-weighted agent actions we show that (i) reviewers only moderately agree on what is risky (Fleiss’ kappa = 0.52), so there is no single correct label
- Người duyệt mệt làm đường cong an toàn lật ngược — khi người duyệt được mô hình là nguồn lực nội sinh, mệt dần theo tải escalate, thì an toàn thực hiện thành hình chữ U ngược theo tỷ lệ escalate: thêm giám sát con người có thể làm hệ thống kém an toàn hơn.
when the reviewer is modeled as endogenous (fatiguing as escalation load grows), realized safety becomes an inverted-U in the escalation rate: more human oversight can make a system less safe
- Mức escalate tối ưu nằm dưới mức toàn phần — guard an toàn nhất không escalate hết mọi thứ, và chính sách biết tải dùng đúng mức đó để chống cuộc tấn công flooding lách một hành động độc hại qua reviewer mệt.
the safety-optimal guard escalates below full escalation - a setting a load-aware policy also uses to resist a flooding attack that slips a malicious action past a fatigued reviewer
- Cổng thì dễ, việc chọn action nào để chặn mới khó — vấn đề thật sự là phán đoán hành động nào phải dừng, tức là phân bổ một nguồn lực hữu hạn: sự chú ý của con người.
We argue the gate is the easy part; the hard part is the judgment - which actions to stop
Caveat
Tác giả tuyên bố rõ đường cong chữ U ngược và cuộc tấn công flooding là kết quả mô hình, chỉ đủ để động cơ cho một nghiên cứu người thật, chưa phải bằng chứng đã xảy ra. Abstract cũng không nêu chi phí bằng đô la, không cho biết bao nhiêu người duyệt hay mức đồng thuận trên các tập khác, nên đây là khung phân bổ tải, không phải bảng đo sẵn cho hệ thống của bạn.
Áp vào 5ac thế nào
Hàng chờ duyệt trên kanban chính là tải escalate. Ba việc cần làm ngay: đặt trần số card chờ duyệt mỗi ngày thay vì để mọi guard bắn hết vào một người; ghi lại tỷ lệ card bị approve vội theo giờ để thấy lúc nào reviewer đang mệt; và đừng chấm guard bằng số lượt escalate mà bằng tỷ lệ hành động xấu bị chặn cùng tỷ lệ card bị duyệt qua loa. Khi một guard chặn quá ít thì tăng ngưỡng, chặn quá nhiều thì giảm — điểm tối ưu nằm dưới toàn phần, và nó phải đổi theo khối lượng việc thực tế trong ngày.
Nguồn
- Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human — https://arxiv.org/abs/2606.08919