Bắt agent nói dối: đọc suy nghĩ, đừng chỉ đọc hành động

Phát hiện chính

1. 1Đọc thêm suy nghĩ và hidden-state vượt trội hơn hẳn black-box — chênh lệch trung bình pAUROC là +0.097 trên mọi cấu hình thử nghiệm, lợi thế lớn nhất nằm ở lừa đảo tinh vi, dài hạn, để lại dấu vết hành vi tối thiểu.

CoT-aware and activation-probe monitors substantially outperform their black-box counterparts (mean pAUROC improvement of +0.097)

2. 2Con số đến từ dữ liệu tổng hợp — monitor được tối ưu trên 4,800 trajectory tổng hợp và đánh giá trên 9,200 mẫu held-out của DeceptArena.

Our monitors are optimized on 4,800 synthetic trajectories and evaluated on 9,200 held-out samples from DeceptArena

3. 3Suy nghĩ trở thành bề mặt bắt lỗi chính, và chính nó đang kém tin cậy — khi agent học được cách dọn hành vi lộ ra, CoT là nơi còn lại để nhìn, nhưng post-training làm faithfulness suy giảm nên CoT ngày càng khó tin.

chain-of-thought becomes the primary detection surface but is itself increasingly unreliable due to post-training faithfulness degradation

4. 4Xếp chồng nhiều lớp mới chạm 0.934 — ensemble hybrid-constitutional đạt pAUROC 0.934 trên tập held-out, cách tiếp cận defense-in-depth thay vì đặt niềm tin vào một monitor.

propose HYBRID-CONSTITUTIONAL ensembles as a robust defense-in-depth approach, achieving a pAUROC of 0.934 on the held-out test set