Multi-Agent Verification: chiều scale rẻ — gọi nhiều verifier thay vì model mạnh hơn

Shalev Lifshitz, Sheila A. McIlraith, Yilun Du · 3 tác giả · ArdaLabs.AI, University of Toronto, Vector Institute for AI, and Harvard University · 2025 · arXiv:2502.20379

Muốn đầu ra tin hơn, phải gọi model mạnh hơn hay chỉ cần thêm người chấm?

Mở

LLM có thể khá hơn mà không cần huấn luyện thêm bằng cách tiêu nhiều tài nguyên hơn ở lúc test — và cách phổ biến nhất là dùng verifier để đánh giá các ứng viên đầu ra. Nhưng mọi người vẫn quen nghĩ việc đó là một trục duy nhất: gọi model mạnh hơn, hoặc sinh nhiều mẫu hơn. Paper này mở một trục thứ ba: thay vì một verifier mạnh, dùng nhiều verifier, và hỏi xem việc nhân số verifier có cho điểm tăng theo — kể cả khi từng verifier khá yếu.

Paper này làm gì

Tác giả đề xuất Multi-Agent Verification (MAV) như một paradigm test-time compute, kết hợp nhiều verifier để cải thiện hiệu năng. Một lựa chọn thực thi là Aspect Verifier (AV): các off-the-shelf LLM được prompt để verify những khía cạnh khác nhau của đầu ra, dễ ghép nối mà không cần huấn luyện thêm. Trên nền đó, thuật toán BoN-MAV kết hợp best-of-n sampling với nhiều verifier. Thí nghiệm so BoN-MAV với self-consistency và reward model verification, đồng thời kiểm tra hai hiện tượng: weak-to-strong generalization và self-improvement, nơi cùng một base model vừa sinh đầu ra vừa tự verify.

Phát hiện chính

Số verifier là một chiều scale riêng — Thay vì coi test-time compute như một trục (sinh nhiều mẫu hơn), MAV mở trục mới: nhân số verifier lên, mỗi verifier rà một khía cạnh của cùng đầu ra.

a novel scaling dimension for test-time compute: scaling the number of verifiers

BoN-MAV tăng điểm rõ hơn hai cách làm cũ — Kết hợp best-of-n sampling với nhiều verifier cho pattern scale mạnh hơn self-consistency và reward model verification, tức cùng ngân sách test-time nhưng biên lợi nhuận tốt hơn.

BoN-MAV demonstrates stronger scaling patterns than self-consistency and reward model verification

Verifier yếu ghép lại vẫn kéo model mạnh lên — Đây là phát hiện đáng giá nhất cho ngân sách hạn chế: chỉ cần kết hợp các verifier yếu là đã cải thiện được cả LLM mạnh hơn; cùng base model vừa sinh vừa verify cũng tự cải thiện.

combining weak verifiers improves even stronger LLMs

Caveat

Abstract không nêu hạn chế của chính MAV; tác giả nêu không có. Phần tóm tắt nêu bằng chứng gồm hai hiện tượng demonstrate (weak-to-strong generalization và self-improvement) và so sánh hai baseline, nhưng không nêu quy mô dữ liệu hay giới hạn phạm vi — nên phần đó cần đọc từ thực nghiệm đầy đủ.

Áp vào 5ac thế nào

Đây là cách tăng độ tin cậy đầu ra mà không tăng model mạnh hơn — đúng bài toán khách chạy agent trên VPS nhỏ với ngân sách token cố định. Áp vào pipeline 5ac: sau mỗi lần sinh (draft), thay vì một lượt review duy nhất, chia đầu ra thành các khía cạnh — factual accuracy, diacritics, format frontmatter — và cho từng verifier một lượt cheap riêng, rồi gộp kết quả. Card review có thể tách thành các card con verify độc lập thay vì một reviewer nặng. Chi phí mỗi verifier là token của model rẻ, nên đây là chỗ cắt budget hiệu quả: đổi một model đắt lấy ba lượt verify của model tầm trung.

Nguồn