Reviewer không lười, chỉ không nhớ: oversight gãy vì thiếu thông tin lúc duyệt

Xinyu Fu et al. · 1 tác giả · Georgia State University · 2026 · arXiv:2609.01976

Reviewer không lười, chỉ không nhớ: oversight gãy vì thiếu thông tin lúc duyệt

Mở

Lỗi của LLM thường lọt qua khâu review, và phản xạ đầu tiên của mọi người là đổ cho người duyệt: thiếu chuyên môn, thiếu tập trung. Paper này lật hướng nhìn. Có thể người duyệt vẫn biết, vẫn muốn bắt lỗi, nhưng thông tin cần để bắt lỗi không có mặt đúng lúc họ cần nó. Biết mà không tra lại được thì cũng như không biết — đó là khoảng trống mà nhóm tác giả gọi là information retrievability, tách khỏi năng lực hay mức độ tận tâm của người duyệt.

Paper này làm gì

Hai thử nghiệm randomize kiểu lab-in-the-field trên 640 nhân viên trực tiếp làm việc với khách hàng, kiểm tra xem thông tin liên quan đến oversight có truy lại được tại thời điểm review hay không. Người tham gia được yêu cầu tự viết giải thích cho output trước khi duyệt, và ở lượt dùng LLM lặp lại thì nhận cue kích hoạt lại suy luận đã ghi trước đó. Từ kết quả, bài dựng hai cơ chế: generative encoding tạo ra thông tin, cue-supported reactivation giữ nó sống qua nhiều lần dùng.

Phát hiện chính

  1. Hai thử nghiệm randomize trên 640 nhân viên frontline — thiết kế lab-in-the-field đặt câu hỏi trực tiếp: người review có lấy lại được thứ họ từng biết lúc cần bắt lỗi không.

Across two randomized lab-in-the-field experiments with 640 customer-facing employees, we show that self-generated explanations improve error detection

  1. Tự viết giải thích nâng tỉ lệ bắt lỗi và củng cố trí nhớ về lý do kiểm chứng; cue kích hoạt lại giữ nhịp bắt lỗi khi dùng LLM lặp đi lặp lại — nghĩa là tác dụng không rơi vào lần đầu mà duy trì qua những lượt review tiếp theo.

self-generated explanations improve error detection and strengthen recall of verification-relevant reasoning, while cues that reactivate such reasoning help sustain detection under repeated LLM use

  1. Information retrievability là một tiền đề riêng của oversight hiệu quả — tách khỏi năng lực người review và mức độ tham gia của họ, nên thiếu nó thì tăng đào tạo cũng không cứu được khâu duyệt.

we identify information retrievability as a distinct precondition for effective oversight

Caveat

Bài không báo hiệu ứng theo tiền hay tỉ lệ lỗi giảm bao nhiêu trong sản xuất, và hai thử nghiệm chạy trên nhân viên chăm sóc khách hàng nên chưa rõ kết quả có chuyển sang team kỹ thuật duyệt output agent hay không.

Áp vào 5ac thế nào

Mỗi card 5ac giao reviewer mà chỉ có dòng “check lại kết quả” là đang đánh cược vào trí nhớ của họ. Cách rẻ hơn theo đúng bài: lúc tạo card, viết self-explanation — tiêu chí nào thì coi là pass, cái gì từng hỏng ở task trước; ở đầu mỗi turn review, ghim một cue nhắc lại đúng tiêu chí đó thay vì chờ reviewer tự nhớ. Đây là hai cơ chế bài đo được là hoạt động, và cả hai đều là văn bản trong template, không tốn thêm lượt gọi model nào.

Nguồn