Trial by Trace: benchmark chấm riêng độ tin cậy của harness, không chỉ của model

“LLM agents are increasingly used to solve real-world problems, and their effectiveness depends on both the underlying models and the harnesses that support their operation.”

Zhiyong Cao, Hengjie Zhu, Yongxin Wang +20 · 23 tác giả · Chinese Academy of Sciences, Tsinghua University, and Beijing Institute of Technology · 2026 · arXiv:2610.32285

Benchmark chấm model, nhưng harness hỏng thì ai chấm?

Mở

Agent chạy sai, đội thường đổ cho model, trong khi phần lớn thứ quyết định kết quả lại nằm ở phần quanh model: prompt, tool, vòng lặp, cổng kiểm, và phần đó gần như không có ai chấm riêng. Benchmark hiện có chủ yếu chấm model và tổng thể agent, nên một run vẫn có thể ra câu trả lời đúng trong lúc harness đã hỏng ở khâu nào đó. Paper này dựng benchmark để chấm thẳng harness, với ground truth chạy được thay vì cảm tính, và với bằng chứng lấy từ nhiều nguồn thay vì lời kể của agent.

Paper này làm gì

TraceTrial-Bench chia độ tin cậy của harness thành bảy thành phần: context, execution, governance, lifecycle, observability, tools và verification. Họ dựng 95 task mức chuyên gia theo cơ chế, với ground truth executable hoặc theo trạng thái, để so sánh ngữ nghĩa tương đương mà vẫn giữ hành vi gốc của từng harness, rồi chấm bằng hệ thống hai lớp tách riêng hiệu năng agent với độ tin cậy của harness, nên một run có thể hoàn thành task mà vẫn vi phạm một criterion harness. Ba module chạy song song: Trajectory Tracing ghi trace thực thi, Multi-source Evidence Acquisition lấy bằng chứng từ context, harness và môi trường chạy để LLM chấm, và Failure Attribution truy về cơ chế ở mức run. Đánh giá chạy trên 4 harness, 9 model và 95 task, và kết quả từng run truy ngược được về bằng chứng nên khi một run vi phạm criterion thì biết ngay chỗ nào trong harness đã hỏng chứ không chỉ biết tổng điểm.

Phát hiện chính

  1. Benchmark hiện có tập trung vào năng lực model và tổng thể agent, hầu như không chú ý tới việc chấm harness. (most existing benchmarks focus on model capabilities and overall agent performance, with limited attention to the evaluation of agent harnesses)

  2. TraceTrial-Bench chia độ tin cậy của harness thành bảy thành phần, từ context tới verification. (we introduce TraceTrial-Bench, which organizes harness reliability into seven components covering context, execution, governance, lifecycle, observability, tools, and verification)

  3. Trên 4 harness, 9 model và 95 task, 3,420 run cho điểm harness trung bình từ 59.8% tới 72.0%, trong khi 31.1% số run hoàn thành task thành công dù vi phạm ít nhất một tiêu chí harness. (Across 4 harnesses, 9 models, and 95 tasks, our evaluation of 3,420 runs yields macro-averaged harness scores ranging from 59.8% to 72.0%)

Caveat

Abstract không nêu hạn chế của paper; câu gần nhất thuộc loại gap statement, mô tả cái mà benchmark hiện có còn thiếu: chúng tập trung vào năng lực model và tổng thể agent, ít chú ý tới việc chấm harness. Tác giả dùng khoảng trống đó làm động cơ cho benchmark, nên phải đọc như lý do paper ra đời, không phải điểm yếu của nghiên cứu. Cũng vì thế, người đọc nên nhớ đây là khoảng trống của hệ sinh thái, không phải kết luận rằng benchmark cũ làm sai.

Áp vào 5ac thế nào

Bảy thành phần của paper ánh xạ thẳng vào stack 5ac: context là prompt và memory nạp vào, execution là sandbox và terminal, governance là gate và quyền, lifecycle là Kanban card, observability là log run, tools là skill và MCP, verification là script nghiệm thu. Với khung đó, mỗi profile có thể được chấm riêng thay vì gộp thành một đánh giá chung. Việc cần làm là một cron định kỳ chạy bộ câu hỏi theo từng thành phần trên mỗi profile và lưu kết quả vào Gbrain để soi theo thời gian. Khi một card fail, ta truy về đúng thành phần thay vì hỏi chung chung model có yếu không.

Nguồn