Cờ an toàn bật rồi mà lệnh vẫn chạy: khoảng trống thực thi làm giám sát vô nghĩa

Yuhang Wang · 1 tác giả · Fudan University · 2026 · arXiv:2609.15293

Cờ an toàn bật rồi mà lệnh vẫn chạy: khoảng trống thực thi làm giám sát vô nghĩa

Mở

Đội của bạn tự hào vì có monitor: một auditor soi hành vi của agent và bật cờ khi thấy nguy hiểm. Rồi bạn thấy cờ bật, và hành động nguy hiểm vẫn chạy. Paper này gọi đó là khoảng trống thực thi — bộ điều khiển nhận được cờ an toàn rồi vẫn thực thi — và cho thấy đây không phải sự cố cá biệt mà là mặc định của mọi framework tác giả đã thử. Khi thực thi bằng không, chất lượng phát hiện trở thành vô nghĩa về mặt toán học với an ninh.

Paper này làm gì

Tác giả tách hai đại lượng thường bị gộp làm một: xác suất phát hiện, tức xác suất cờ được bật đúng, và xác suất thực thi, tức xác suất cờ thật sự chặn được hành động. Thí nghiệm can thiệp tối giản: ràng buộc cờ audit vào control flow của agent kiểu Reflexion mà không đổi chính auditor, rồi đo tỷ lệ tấn công còn lại. Bài sau đó đề xuất Audit Enforcement Specification gồm ba yêu cầu đóng từng mảnh residue còn sót, mỗi yêu cầu có thể nhận mà không phải thiết kế lại framework chủ.

Phát hiện chính

  1. Khoảng trống thực thi nằm ngay trong control flow — bộ điều khiển nhận cờ an toàn rồi vẫn thực thi; chỉ riêng việc ràng buộc cờ audit đã giảm mạnh tỷ lệ tấn công, xuống gần bằng không trên các model mà cờ của chúng parse được sạch sẽ.

Binding the audit flag in Reflexion-style agents — without changing the auditor — reduces attack success rate substantially, reaching near zero on models whose flags parse cleanly

the controller receives a safety flag and executes anyway

  1. Xác suất thực thi mặc định bằng không — tách xác suất phát hiện khỏi xác suất thực thi cho thấy xác suất thực thi xấp xỉ bằng không theo mặc định trên mọi framework đã thử.

Separating detection probability $p_d$ from enforcement probability $p_e$ establishes that $p_e \approx 0$ by default across every framework we tested

  1. Không có thực thi thì phát hiện vô nghĩa — khi thực thi vắng mặt, chất lượng phát hiện trở thành vô nghĩa một cách hình thức đối với an ninh, và đây được nêu là cơ chế phía sau các vụ sụp đổ của frontier agent chạy không giám sát.

making detection quality \emph{formally irrelevant} to security when enforcement is absent

  1. AES đóng gói ba yêu cầu, chưa ai dựng — Audit Enforcement Specification gói ba yêu cầu cụ thể đóng từng mảnh residue, mỗi primitive nhận được mà không phải thiết kế lại framework chủ, và không framework triển khai nào hiện thực hóa cả ba.

The Audit Enforcement Specification (AES) packages three concrete requirements that close each residue independently

Caveat

Bài không nêu chi phí đào tạo bộ điều khiển thực thi theo học tăng cường, không đặt tên framework nào ngoài phạm vi đã thử, và bằng chứng giữ ở mức agent kiểu Reflexion với cờ audit. Abstract cũng không cho thấy ba yêu cầu của AES đã được kiểm chứng trên hệ thống sản xuất, nên đây là yêu cầu đặc tả, chưa phải kết quả triển khai.

Áp vào 5ac thế nào

5ac chạy đầy cờ: pre-commit-guard chặn file bí mật, secret-triage chặn commit dính token, gate duyệt card chặn card hỏng. Bài học là mỗi cờ đó phải được ràng buộc vào control flow và có một test tự xác nhận: cố tình đẩy một case vi phạm, rồi kiểm chứng lệnh bị chặn thật sự không chạy. Chạy test mà chỉ thấy dòng log “blocked” trong khi worker vẫn tiếp tục job thì bạn đang ở đúng khoảng trống mà paper mô tả. Khi chọn guard cho bot ops hay cron, tiêu chí không phải độ chính xác báo cáo mà là tỷ lệ cờ được tuân thủ.

Nguồn