ClawArena-Team: đo khả năng quản lý subagent, tách khỏi năng lực model thô

Kaiwen Xiong, Haonian Ji, Shi Qiu +4 · 7 tác giả · UNC-Chapel Hill, University of California, Berkeley, and University of California, Santa Cruz · 2026 · arXiv:2606.31174

Model nào thật sự biết quản lý một đội, và chỉ biết làm việc một mình?

Mở

Production agent ngày càng không chạy như một người giải việc đơn lẻ, mà như một quản lý: model chính tạo subagent chuyên trách, uỷ việc, và điều phối các kết quả chạy song song bất đồng bộ qua workflow động. Nhưng một model có thật sự chạy được một đội vẫn gần như chưa được đo. Benchmark hiện tại hoặc chấm việc giải task của chính policy, hoặc chấm hành vi nổi lên của một hệ cố định, không gì tách được khả năng quản lý của LLM đứng đầu khỏi năng lực model thô.

Paper này làm gì

ClawArena-Team là benchmark gồm 41 kịch bản đa lượt, đa phương thức, đa thư mục — 258 vòng chấm và 72 cập nhật dàn dựng — đo đúng khả năng quản lý đó. Model chính bị cố ý hạn chế: chỉ nhận văn bản và chỉ truy cập một phần workspace, còn đội subagent là cố định và phục vụ tại chỗ, nên khác biệt điểm số phản ánh kỹ năng quản lý chứ không phải model mạnh yếu. Mọi chấm điểm theo execution, không có LLM judge: điểm tổng hợp (Subagent-Management Score) nhân độ chính xác tác vụ với hệ số least-privilege và routing theo phương thức. Thí nghiệm chạy trên mười hai model: proprietary, community-hosted và self-hosted.

Phát hiện chính

Quản lý đã là vai trò thật của agent production — Paper mô tả khung công việc quen thuộc với bất kỳ ai dựng đội agent: model chính tạo subagent chuyên trách, uỷ việc, rồi điều phối các kết quả trả về song song, bất đồng bộ qua workflow động.

a main model creates specialized subagents, delegates work, and orchestrates their parallel, asynchronous returns through dynamic workflows

Tách được kỹ năng quản lý khỏi năng lực thô — Với đội subagent cố định, mọi khác biệt điểm số đến từ cách quản lý — tạo việc, cấp quyền, routing — chứ không phải model nào mạnh hơn. Đây chính là phép đo mà các benchmark task-solving không có.

score differences reflect management skill, not raw capability

Nút thắt là cấp quyền, không phải tri giác — Không model nào vượt độ chính xác 50% khi cấp quyền workspace; chi phí API trải hơn 100 lần nhưng điểm tổng hợp chỉ chênh dưới 4 lần, và các model mở rẻ nhất nằm trên Pareto frontier.

the management bottleneck is privilege granting rather than perception (no model exceeds 50% workspace-permission precision)

Caveat

Giới hạn được nêu ngay trong thiết kế: model chính bị cố ý hạn chế, chỉ nhận văn bản và chỉ truy cập một phần workspace. Kết quả vì vậy đo khả năng quản lý dưới đúng ràng buộc đó, chứ không phải thứ hạng của một agent có toàn quyền workspace.

Áp vào 5ac thế nào

Đây là thứ 5ac bán: năng lực quản lý subagent — tạo việc, cấp quyền, routing — nên card và profile phải chấm riêng hai thứ: quản lý và model. Nút thắt cấp quyền trùng với điều kiện đang chạy thật: workspace của worker bị giới hạn ở scratch, host filesystem chỉ đọc qua read_file và search_files — đó là least-privilege trong thực tế. Việc cần sửa: precision cấp quyền là một metric phải đo. Mỗi lần cấp quyền sai (quá rộng hoặc quá hẹp) nên được ghi vào card như một escaped defect. Chi phí không mua điểm quản lý: chọn model rẻ cho lane quản lý, giữ model mạnh cho lane chuyên sâu.

Nguồn