Chặn agent ở năm checkpoint thay vì chờ nó sai rồi xử lý

Segev Shlomov et al. · 1 tác giả · IBM Research, Haifa · 2026 · arXiv:2605.20874

Chặn agent ở năm checkpoint thay vì chờ nó sai rồi xử lý

Mở

Cách kiểm soát agent phổ biến là để nó chạy rồi chặn phần nguy hiểm ở đầu ra, hoặc treo một câu hỏi phê duyệt trước hành động nguy hiểm. Cả hai đều trễ: tới lúc can thiệp, kế hoạch đã hình thành và tool call đã được sinh ra. Paper này cho rằng governance phải nằm sẵn ở những điểm cấu trúc mà agent luôn đi qua — trước planning, trong system prompt, ở biên tool-call, ngoài reasoning loop, và ở đầu ra — chứ không phải dán thêm sau cùng.

Paper này làm gì

Demo policy system của CUGA: một modular policy-as-code layer ghép với generalist LLM agent để mang lại hành vi có thể dự đoán, auditable và tuân thủ policy trong compound workflows, hoàn toàn không fine-tune model. Layer chính sách can thiệp agent tại năm checkpoint: Intent Guard trước planning, Playbook trong system prompt, Tool Guide ở biên gọi công cụ, Tool Approvals ngoài reasoning loop cho hành động rủi ro cao, và Output Formatter ở cuối. Kịch bản minh họa là healthcare với enforcement nhiều tầng.

Phát hiện chính

  1. Chính sách cắt agent tại năm checkpoint cấu trúc — từ Intent Guard đặt upstream của planning đến Output Formatter, phủ kín pipeline thực thi thay vì coi governance là việc thêm vào sau.

policies intercept the agent at five structural checkpoints: upstream of planning (Intent Guard), within the system prompt to steer reasoning (Playbook), at the tool-call boundary to enforce proper usage (Tool Guide), outside the reasoning loop as a Human-in-the-Loop gate for high-risk actions (Tool Approvals), and at the output stage to filter and structure the final response (Output Formatter)

  1. Tool Approvals đặt cổng HITL ngoài vòng suy luận — hành động rủi ro cao dừng ở biên trước khi chạy, cùng lúc intent guard chặn yêu cầu có hại ngay từ đầu.

outside the reasoning loop as a Human-in-the-Loop gate for high-risk actions (Tool Approvals)

  1. Governance dựng từ khâu thiết kế, không cần fine-tune — policy-as-code ghép vào agent tổng quát vẫn cho hành vi predictable, auditable và compliance-aware trong workflow nhiều lớp.

a modular policy-as-code layer that composes with a generalist LLM agent to deliver predictable, auditable, and compliance-aware behavior in compound workflows without model fine-tuning

Caveat

Đây là demo, bài không báo số lỗi giảm được, không so với baseline nào và chỉ chạy trên một kịch bản healthcare, nên chưa chứng minh policy layer chặn được bao nhiêu ca nguy hiểm ngoài kịch bản minh họa.

Áp vào 5ac thế nào

Board 5ac hiện có đúng một chỗ chặn: cổng approve từng hành động. Bản đồ năm checkpoint cho thấy còn ba chỗ trống đáng lấp. Intent Guard cho phần chạy tự động — cron job, delegate card, scheduled task — chặn yêu cầu có hại trước khi nó thành kế hoạch. Output Formatter cho deliverable gửi khách, để mọi file rời đi đều qua một bước cấu trúc và lọc. Tool Guide cho worker gọi tool sai cách. Cả layer dựng bằng policy-as-code, nên team không cần đổi model hay fine-tune gì thêm.

Nguồn