# Benchmark suite cho AI agent (SWE-bench, WebArena, GAIA)

> VI: https://5ac.vn/wiki/benchmark-suite/ · EN: https://5ac.vn/en/wiki/benchmark-suite/ · lang: vi · spec_as_of 2026-10-18 (spec no formal spec) · cluster C3

Bộ bài toán, môi trường chạy và cách chấm điểm đóng gói công khai để so sánh AI agent trên cùng một thước đo — điểm số chỉ có nghĩa khi kèm phiên bản bộ đo và scaffold.

---
## Định nghĩa

Bộ đo cho agent là bộ ba đóng gói công khai: tập bài toán, môi trường chạy, quy tắc chấm điểm. SWE-bench đo việc sửa issue GitHub thật, WebArena đo tác vụ web dài hơi, GAIA đo câu hỏi cần browsing và công cụ — điểm chỉ có nghĩa khi kèm bộ đo và phiên bản của nó.

## Cơ chế

Khác dataset hỏi–đáp, bộ đo cho agent cần ba tầng: (1) tập tác vụ có đáp án hoặc tiêu chí đúng/sai về chức năng; (2) môi trường để agent hành động — repo code, website chạy được, trình duyệt; (3) grader chấm kết quả cuối, không chấm văn phong. Ba bộ được ghim dưới đây minh họa ba hướng thiết kế:

| Bộ đo | Đo năng lực gì | Quy mô theo abstract gốc | Điểm công bố lúc ra mắt |
| --- | --- | --- | --- |
| SWE-bench (arXiv:2310.06770, nộp 10/10/2023, ICLR 2024) | sửa code cho issue thật | 2.294 bài toán từ issue và pull request của 12 repo Python | model dẫn đầu thời điểm đó (Claude 2) giải 1,96% |
| WebArena (arXiv:2307.13854, nộp 25/07/2023) | tác vụ web dài, site thật-like | 4 miền website chức năng: thương mại, forum, phát triển phần mềm, quản trị nội dung | agent GPT-4 dẫn đầu đạt 14,41% thành công end-to-end, con người 78,24% |
| GAIA (arXiv:2311.12983, nộp 21/11/2023) | trợ lý tổng quát: suy luận, đa phương thức, browsing, công cụ | 466 câu hỏi, giấu đáp án 300 câu sau leaderboard | người đúng 92% so với 15% của GPT-4 kèm plugin |

Vì sao điểm leaderboard không đứng yên: thứ thay đổi liên tục là *model và scaffold* (khung điều khiển, prompt, vòng công cụ), không chỉ bộ đo. Bộ đo cũng có phiên bản — trang arXiv của SWE-bench ghi ba lần nộp, v1 10/2023 → v3 11/2024. Chuẩn trích dẫn tối thiểu cho một con điểm: bộ đo + phiên bản/commit, scaffold và model, ngày chạy, nguồn tái lập. Thiếu một trong bốn, con điểm là quảng cáo chứ không phải đo lường.

## Neo chuẩn (spec anchor)

Bộ đo **không có spec hội đồng**: trường spec-version entry này ghi "no formal spec"; ngày as-of là ngày truy xuất nguồn, không phải ngày revision của chuẩn nào. Chuẩn mực thực tế của mỗi bộ đo là bài báo gốc cộng repo đi kèm: mục Datasets/Benchmarks định nghĩa tác vụ, cách chạy, cách chấm; leaderboard định nghĩa cách so hạng. Khác biệt căn bản với entry protocol trong wiki: MCP hay A2A có trang versioning ghi ngày tường minh, còn quyền lực của một bộ đo nằm ở tính tái lập — môi trường mở được, grader công khai, tập tác vụ đóng băng có phiên bản.

Nguồn đã truy xuất để dựng entry này:

- <https://arxiv.org/abs/2310.06770> — SWE-bench: title, abstract, lịch sử v1–v3, dòng ICLR 2024 — truy cập 18/10/2026 (HTTP 200)
- <https://arxiv.org/abs/2307.13854> — WebArena: abstract (4 miền site, 14,41% vs 78,24%), v1–v4 — truy cập 18/10/2026 (HTTP 200)
- <https://arxiv.org/abs/2311.12983> — GAIA: abstract (466 câu, 92% vs 15%), leaderboard nêu trong bài — truy cập 18/10/2026 (HTTP 200)
- <https://arxiv.org/abs/2507.21504> — survey "Evaluation and Benchmarking of LLM Agents: A Survey" — truy cập 18/10/2026 (HTTP 200)

## Neo học thuật

- *SWE-bench* — arXiv:2310.06770 (Jimenez và cộng sự): trục đánh giá là code thật, test thật.
- *WebArena* — arXiv:2307.13854 (Zhou và cộng sự): môi trường web chức năng, chấm functional correctness.
- *GAIA* — arXiv:2311.12983 (Mialon và cộng sự): triết lý ngược trào lưu — câu hỏi "đơn giản với người", khó với AI.
- *Evaluation and Benchmarking of LLM Agents: A Survey* — arXiv:2507.21504 (Mohammadi và cộng sự, nộp 29/07/2025): xếp cả lĩnh vực theo trục mục tiêu (hành vi, năng lực, độ tin cậy, an toàn) và trục quy trình (tương tác, dataset, chỉ số, công cụ) — khung để đọc mọi bộ đo ở trên.

## Câu hỏi thường gặp

**Bộ đo khác dataset thông thường ở đâu?** Dataset chỉ có câu hỏi–đáp án; bộ đo cho agent có thêm *môi trường để hành động* và *grader chấm trạng thái cuối*. WebArena dựng website chạy được thật; SWE-bench áp patch rồi chạy test của repo.

**Vì sao hai bài cùng trích SWE-bench mà điểm khác xa?** Vì khác model, khác scaffold, có thể khác phiên bản bộ đo (dải tác vụ và repo đổi giữa v1 và v3). So hai con điểm khi các biến trên không cùng là vô nghĩa.

**Kiểm tra gì trước khi tin một tuyên bố điểm số?** Bốn mục: bộ đo + phiên bản/commit; scaffold và model được chạy; ngày chạy; nguồn tái lập công khai. Số chỉ xuất hiện trên slide bán hàng — mặc định chưa tin.

**Bộ đo nào hợp với loại agent nào?** Sửa code: SWE-bench (hoặc biến thể Lite). Tác nghiệp trên web: WebArena. Trợ lý tổng quát đa công cụ: GAIA. Muốn phủ cả lĩnh vực: survey 2507.21504 phân loại theo hai trục.

**Điểm thấp ngày ra mắt nghĩa là gì?** Đó là *khoảng cách chủ ý*: 1,96%, 14,41% và 15% của 2023 biến thành thước đo khi các thế hệ model sau leo dần trên cùng bộ đo và cùng quy tắc chấm.

## Liên quan

- [Agent memory là gì](/wiki/agent-memory/)
- [Agentic RAG là gì](/wiki/agentic-rag/)
- [Model Context Protocol (MCP)](/wiki/mcp/)
- [Các thời kỳ của giao thức MCP](/wiki/mcp-eras/)
- [Hệ thống điều hành multi-agent là gì](/blog/he-thong-dieu-hanh-multi-agent-la-gi/)