Người dùng tự viết quy tắc: ít hỏi hơn nhưng chặn tệ hơn

Ting Yan · 1 tác giả · Independent Researcher · 2026 · arXiv:2608.27443

Người dùng tự viết quy tắc: ít hỏi hơn nhưng chặn tệ hơn

Mở

Mệt với việc bấm approve từng hành động, người dùng nghĩ ra cách khác: viết trước quy tắc “cho phép / hỏi / cấm” theo từng loại hậu quả, để lần sau agent tự quyết. Âm thanh hợp lý — quyết định trước, đỡ gián đoạn. Nhưng đặt cạnh hai cách giám sát kia, cơ chế tự viết quy tắc lại chặn được ít overreach hơn, và khoảng cách đủ lớn để nghi ngờ chính ý tưởng “quyết định trước thay cho từng hành động”.

Paper này làm gì

Một nghiên cứu với 113 người tham gia không có nền tảng phần mềm chuyên nghiệp, chia ba điều kiện giám sát: phê duyệt từng hành động (HITL), mô hình tự rà từng hành động (AUTO), hoặc chính sách do người dùng viết (POLICY) bằng ngôn ngữ thường với quy tắc theo nhóm hậu quả. Mọi người theo dõi một ngày giả lập gồm 18 hành động, trong đó có 7 hành động overreach; nhóm POLICY đặt một quy tắc cho mỗi nhóm sau khi xem ví dụ. Biến đo là bao nhiêu overreach bị chặn, bao nhiêu lần bị hỏi, và tổng thời gian can thiệp.

Phát hiện chính

  1. POLICY chặn overreach kém hơn cả hai cách kia — ít hơn HITL 20.1 điểm phần trăm và kém hơn AUTO 14.5 điểm, với khoảng tin cậy 95% của bài không chứa giá trị 0.

POLICY blocked less overreach than HITL (-20.1 percentage points, 95% CI [-32.1, -8.1]) and AUTO (-14.5 points, 95% CI [-25.8, -3.2])

  1. 113 người không chuyên phần mềm tham gia ba điều kiện giám sát — nhóm này chính là đối tượng mà cơ chế quy tắc ngôn ngữ thường được thiết kế để phục vụ.

We analyzed 113 participants without professional software backgrounds across three conditions

  1. Số câu hỏi runtime giảm từ 18.0 xuống 10.9, nhưng tổng thời gian can thiệp không tin cậy hơn — vì thời gian soạn quy tắc ban đầu bị cộng vào, phần tiết kiệm ở lúc chạy mất dần khi tính đủ chi phí.

POLICY lowered runtime prompts from 18.0 to 10.9, but total intervention time was not reliably lower when rule setup was included.

  1. 133 trên 148 hành động overreach chạy dưới POLICY vẫn qua bước người duyệt — 15 cái còn lại chạy tự động dưới quy tắc allow; tự viết quy tắc không tự nó tạo ra bảo vệ mạnh hơn.

Of the 148 overreach actions executed in POLICY, 133 followed human approval and 15 ran automatically under “allow” rules.

Caveat

Kết quả đến từ mô phỏng một ngày 18 hành động với người tham gia không chuyên phần mềm và không có tác vụ thật, nên chưa rõ khoảng cách này giữ nguyên khi quy tắc được viết cho workflow sản xuất; bài cũng không đo chất lượng quyết định sau nhiều tuần người dùng sửa quy tắc.

Áp vào 5ac thế nào

Bài giải thích vì sao 5ac không nên giao quyền cho worker qua một bộ allow/ask/never do người dùng soạn một lần rồi để đó. Trong chính nhóm POLICY, người tham gia chọn “ask” cho 114 trên 140 quy tắc — họ lại đẩy phần lớn quyết định về runtime, tức là về đúng chỗ HITL đang làm. Với bot ops, hệ quả thực dụng: giữ approve từng hành động, vì đó là thứ thực sự chặn overreach; nếu muốn tự động hóa thì tính thời gian soạn quy tắc vào chi phí, đừng mừng vội vì màn hình ít nhấp chuột hơn.

Nguồn