Orchestration nhiều vòng: ngang model mạnh nhất, giao diện sinh thiên kiến

Aaron Xuxiang Tian, Ruofan Zhang, Jiayao Tang +12 · 15 tác giả · Independent Researcher, Arizona State University, and University of Pennsylvania · 2025 · arXiv:2509.23537

Cả nhóm bàn đi bàn lại có thắng nổi một người giỏi nhất không?

Mở

Nhiều agent ngồi bàn đi bàn lại rồi bỏ phiếu cho tới khi đồng thuận, nghe như cách chắc chắn nhất để tìm câu trả lời đúng. Nhưng nếu kết quả cuối cùng chỉ ngang với model mạnh nhất đang ngồi trong nhóm, thì cả vòng thảo luận đó trả lại gì? Và nếu cách sắp xếp giao diện — có cho biết câu trả lời của ai, có hiện phiếu đang chạy hay không — lại thay đổi kết quả, thì thứ đang được tối ưu rốt cuộc là chất lượng suy luận hay tâm lý đám đông? Bài này đo cả hai.

Paper này làm gì

Họ nghiên cứu multi-turn multi-agent orchestration: nhiều agent LLM luân phiên đề xuất đáp án hoặc bỏ phiếu cho tới khi đạt đồng thuận. Thí nghiệm dùng bốn model — Gemini 2.5 Pro, GPT-5, Grok 4 và Claude Sonnet 4 — trên ba benchmark GPQA-Diamond, IFEval và MuSR, với hai experiment: so orchestration với đường cơ sở từng model đơn, và trên GPQA-Diamond, lần lượt đổi việc agent có biết đáp án của ai cũng như có quan sát phiếu đang diễn ra hay không. Họ còn phân tích hiệu năng tốt nhất có thể đạt được của orchestration để xem còn dư địa tăng điểm nào.

Phát hiện chính

Orchestration chạm ngang hoặc vượt model mạnh nhất, và luôn vượt các model còn lại — Vòng phối hợp nhiều lượt không tạo khoảng cách với cá nhân xuất sắc nhất trong nhóm, nhưng đáng tin hơn phần còn lại. Đây là mức mà nhiều đội kỳ vọng “nhiều người bàn” sẽ vượt lên, và nó không xảy ra.

Orchestration matches or exceeds the strongest single model and consistently outperforms the others.

Lộ tác giả làm tăng tự bỏ phiếu cho mình và tăng tỉ lệ hoà — Khi agent biết đáp án đến từ đâu, họ thiên vị chính đáp án của mình, kéo theo nhiều kết quả hoà hơn. Cùng một mô hình bỏ phiếu, chỉ đổi một chi tiết giao diện là hành vi đã đổi.

revealing authorship increases self-voting and ties

Hiện phiếu đang chạy khuếch đại hành vi bầy đàn — Đồng thuận đến nhanh hơn, nhưng đôi khi là đồng thuận sớm: cả nhóm chốt khi chưa đủ bằng chứng. Tốc độ hội tụ vì vậy không phải lúc nào cũng là dấu hiệu của chất lượng.

showing ongoing votes amplifies herding, which speeds convergence but can sometimes yield premature consensus

Caveat

Tác giả không nêu hạn chế trong abstract. Kết quả dừng ở ba benchmark và bốn model được thử, cùng hai biến thiên giao diện đo trên GPQA-Diamond; các ngữ cảnh khác và các giao thức bỏ phiếu khác nằm ngoài phạm vi abstract, người muốn biết phải đọc phần nội dung đầy đủ của paper.

Áp vào 5ac thế nào

Bài này sửa trực tiếp cách 5ac thiết kế vòng chốt card: khi nhiều profile cùng góp ý, không đặt tên người đề xuất cạnh từng đề xuất — làm vậy chỉ tăng thiên vị tự bỏ phiếu và kéo theo tỉ lệ hoà. Live tally cũng vậy: nên gom đánh giá độc lập trước, công bố sau khi mọi người đã nộp, thay vì để mọi người thấy xu hướng và ngả theo. Về chi phí, orchestration không vượt model mạnh nhất một cách đáng kể, nên khi lane đã có một model mạnh thì đừng chi thêm cho nhiều vòng thảo luận; ngân sách đó dùng cho trắc nghiệm nội bộ sẽ hữu ích hơn.

Nguồn