OSWorld: đo agent trên chính máy tính thật thay vì môi trường giả dựng

“Autonomous agents that accomplish complex computer tasks with minimal human interventions have the potential to transform human-computer interaction, significantly enhancing accessibility and productivity.”

Tianbao Xie, Danyang Zhang, Jixuan Chen +14 · 17 tác giả · The University of Hong Kong · 2024 · arXiv:2404.07972

Demo agent bấm chuột mượt, cho thử trên máy tính thật thì sao?

Mở

Benchmark cho agent máy tính lâu nay hoặc thiếu môi trường tương tác, hoặc bị đóng khung trong riêng một ứng dụng, một lĩnh vực. Kết quả trên môi trường như vậy khó nói gì về việc dùng máy tính thật, nơi người dùng mở xen kẽ trang web, ứng dụng desktop và file trên đĩa. OSWorld ra đời để đo đúng cảnh đó: cho agent thao tác máy tính thật và chấm theo kết quả chạy được.

Paper này làm gì

OSWorld là môi trường máy tính thật có khả năng mở rộng dành cho agent đa phương thức (multimodal), hỗ trợ thiết lập tác vụ, chấm điểm theo execution và học tương tác trên nhiều hệ điều hành như Ubuntu, Windows và macOS. Trên nền môi trường đó, tác giả dựng bộ benchmark gồm 369 tác vụ máy tính thật, phủ ứng dụng web và desktop, thao tác file trên hệ điều hành, và quy trình làm việc xuyên nhiều ứng dụng. Mỗi ví dụ lấy từ trường hợp dùng máy tính thật, kèm cấu hình trạng thái khởi tạo chi tiết và script chấm riêng để kết quả tái lập được. Họ chạy đánh giá nhiều agent dựa trên LLM/VLM rồi báo cáo khoảng cách với con người.

Phát hiện chính

  1. OSWorld là môi trường máy tính thật scalable đầu tiên cho agent đa phương thức, hỗ trợ thiết lập task, chấm theo execution và học tương tác trên Ubuntu, Windows, macOS. (we introduce OSWorld, the first-of-its-kind scalable, real computer environment for multimodal agents, supporting task setup, execution-based evaluation, and interactive learning across various operating systems such as Ubuntu, Windows, and macOS)

  2. Bộ benchmark có 369 tác vụ; mỗi task mang cấu hình trạng thái khởi tạo và script chấm theo execution riêng để kết quả đáng tin, tái lập được. (Each task example is derived from real-world computer use cases and includes a detailed initial state setup configuration and a custom execution-based evaluation script for reliable, reproducible evaluation)

  3. Khoảng cách với người rộng: con người làm được hơn 72.36% số task, model hàng đầu chỉ đạt 12.24%, phần lớn vướng ở việc xác định vị trí trên GUI và kiến thức thao tác. (While humans can accomplish over 72.36% of the tasks, the best model achieves only 12.24% success, primarily struggling with GUI grounding and operational knowledge)

Caveat

Abstract không nêu hạn chế của chính benchmark; điều tác giả nêu là một kết quả đo được: đánh giá rộng rãi trên OSWorld cho thấy các agent LLM/VLM hiện đại còn thiếu đáng kể để làm trợ lý máy tính. Đọc đúng, đây là phát hiện về năng lực agent, và chính khoảng cách giữa con người với model là thước đo mà benchmark này được dựng ra để theo dõi.

Áp vào 5ac thế nào

OSWorld chứng minh chấm theo execution trong môi trường thật là khả thi, và đó đúng là mô hình 5ac dùng khi verify card: worker phải chạy lệnh thật trong workspace rồi dán output, không được tự chấm theo lời kể. Chi tiết đáng học là cấu hình trạng thái khởi tạo riêng cho từng task: mỗi loại card trong Kanban nên có sandbox với trạng thái đầu vào cố định, để lần chạy sau so được với lần chạy trước. Script chấm riêng cho từng loại task tương ứng với acceptance criteria khai báo ngay khi tạo card, thay vì một tiêu chí chung chung. Hai thứ đó biến câu “agent làm được việc” thành một con số tái lập được. Trạng thái đầu vào cố định cũng khiến phép so sánh giữa hai lần chạy có ý nghĩa: cùng một card, cùng một điểm xuất phát, khác nhau chỉ ở thay đổi của lần chạy này.

Nguồn