MSEval: đổi topology là đổi hơn 30 điểm — tổ chức đội là biến đo được

Yanyu Ren, Yunfeng Bai, Xizheng Wang +2 · 5 tác giả · Tsinghua University and Zhongguancun Laboratory · 2026 · arXiv:2607.27877

Cùng model, cùng task, chỉ đổi cách tổ chức đội là đổi hơn 30 điểm?

Mở

Multi-agent vibe coding được hứa hẹn sẽ tăng tốc phát triển phần mềm, nhưng benchmark hiện có chạy trên môi trường giả dựng: không tính thời gian và tiền thật, trộn lẫn suy luận với giao tiếp, và chỉ thưởng phần hoàn thành bề mặt. Kết quả vì vậy khó nói gì về việc một đội agent thật xây một phần mềm thật. Paper này dựng chuẩn đo mới, và câu hỏi nó trả lời thẳng: khi giữ nguyên task và model, bản thân cách tổ chức đội ảnh hưởng nhiều đến tốc độ, chi phí và chất lượng đến đâu?

Paper này làm gì

MSEval chấm multi-agent coding trên 10 dự án full-stack thật thuộc 10 lĩnh vực, dùng yêu cầu phân tầng và rubric tất định. Engine thực thi LegoGent chạy 10 topology hợp tác, trong đó agent phối hợp theo nhịp sync định kỳ và deploy qua pipeline CI/CD gốc; grader tự động TAgent thăm dò implementation để đo đồng thời thành công chức năng, độ trễ và chi phí token tính theo prefix cache. Toàn bộ 100 lượt chạy cho phép tách hiệu ứng của topology khỏi hiệu ứng của model, thay vì báo chung một con số tổng.

Phát hiện chính

Tổ chức cạnh tranh với cả năng lực model — Topology mà đội chọn thay đổi trade-off giữa tốc độ, chi phí và chất lượng gần như việc đổi sang model khác: tổ chức là một biến thật, không phải nền.

organizational topology rivals model capability in shaping the speed–cost–quality trade-off

Đổi topology, đổi cả bài toán — Cùng task, cùng model, chỉ đổi cách tổ chức là điểm số lệch hơn 30 và thời gian wall-clock gấp đôi. Đây là con số giải thích vì sao hai đội cùng model cho ra kết quả rất khác nhau.

varying the topology shifts scores by over 30 points and doubles wall-clock time

Pipeline có cấu trúc thắng; giám sát dày đặc thua — Kiểu tổ chức hội tụ nhanh nhất và đạt chất lượng cao nhất là pipeline có cấu trúc, trong khi giám sát quản lý dày đặc — nhiều tầng duyệt, nhiều vòng kiểm — lại làm giảm hiệu năng.

Structured pipelines converge fastest with the highest quality, whereas heavy managerial oversight degrades performance.

Caveat

Giới hạn được nêu là của benchmark hiện có mà MSEval dựng để thay: môi trường giả dựng, không tính thời gian và tiền thật, trộn suy luận với giao tiếp, thưởng hoàn thành bề mặt. Kết quả của chính MSEval dừng ở 10 dự án và 10 topology, nên suy ra ngoài phạm vi đó cần thêm bằng chứng.

Áp vào 5ac thế nào

Kết luận giám sát dày đặc làm giảm hiệu năng là cảnh báo trực tiếp cho pipeline 5ac: mỗi tầng orchestrator thêm là một tầng giám sát, và card cha đọc lại toàn bộ output của card con chính là managerial oversight. Cách sửa cụ thể: tổ chức theo pipeline có cấu trúc — spec, viết, verify — thay vì vòng thảo luận nhiều tầng; giảm số vòng request_changes lồng nhau; để worker tự chốt trong phạm vi card thay vì đợi duyệt từng bước. Con số hơn 30 điểm chỉ vì topology cũng nhắc vì sao topology phải được khai báo trong card như một biến: cùng profile, cùng model, đổi cách tổ chức là đổi kết quả đo.

Nguồn