WebArena: môi trường web thật để đo agent làm được việc hay không

“With advances in generative AI, there is now potential for autonomous agents to manage daily tasks via natural language commands.”

Shuyan Zhou, Frank F. Xu, Hao Zhu +9 · 12 tác giả · Carnegie Mellon University · 2023 · arXiv:2307.13854

Agent khoe làm được việc trên web giả, đưa vào web thật thì sao?

Mở

Các agent điều khiển web thường được dựng và thử trên môi trường tổng hợp đơn giản, nên kết quả trên bản demo không nói lên nhiều điều về công việc thật. Một khi đưa vào website thật với dữ liệu, tài khoản và quy trình của người dùng, cách đo cũ phản ánh rất ít điều xảy ra thực tế. Người vận hành tự hỏi một câu thực dụng: làm sao biết agent làm được việc hay không, thay vì chỉ nghe nó kể rằng mình đã làm được, và con số nào chứng minh điều đó trước khi giao việc thật cho nó.

Paper này làm gì

WebArena dựng môi trường cho agent điều khiển bằng ngôn ngữ, với các website hoạt động thật thuộc bốn domain: thương mại điện tử, thảo luận diễn đàn, phát triển phần mềm cộng tác, và quản trị nội dung. Môi trường được trang bị công cụ như bản đồ và kho kiến thức bên ngoài như tài liệu người dùng, để khuyến khích cách giải quyết tác vụ giống người hơn. Trên nền môi trường đó, tác giả phát hành một bộ nhiệm vụ đo mức hoàn thành đúng về mặt chức năng, với các tác vụ mô phỏng việc con người làm trên internet hàng ngày. Họ thử nhiều agent nền tảng, có kỹ thuật suy luận trước khi hành động, rồi báo cáo lại tỷ lệ thành công.

Phát hiện chính

  1. WebArena dựng môi trường cho agent ngôn ngữ ở mức thực tế và có thể tái lập, với website hoạt động thật trải trên bốn domain khác nhau thay vì trang giả dựng riêng cho từng thí nghiệm. (In this paper, we build an environment for language-guided agents that is highly realistic and reproducible. Specifically, we focus on agents that perform tasks on the web, and create an environment with fully functional websites from four common domains: e-commerce, social forum discussions, collaborative software development, and content management.)

  2. Môi trường được trang bị công cụ và kho kiến thức bên ngoài, ví dụ bản đồ và tài liệu người dùng, để thúc đẩy cách giải quyết tác vụ giống người thay vì chỉ chạy đúng mỗi lệnh được đưa cho. (Our environment is enriched with tools (e.g., a map) and external knowledge bases (e.g., user manuals) to encourage human-like task-solving)

  3. Kết quả đo được cho thấy khoảng cách còn xa: trong số các agent thử nghiệm, agent dựa trên GPT-4 đạt tỷ lệ thành công đầu-cuối 14.41%, thấp hơn nhiều so với mức 78.24% của con người. (our best GPT-4-based agent only achieves an end-to-end task success rate of 14.41%, significantly lower than the human performance of 78.24%)

Caveat

Abstract không trình bày hạn chế của paper; con số tác giả nêu ở đây là một kết quả đo được, và cách hiểu đúng là tác vụ web thực tế vẫn nằm ngoài tầm với của agent vào thời điểm công bố. Nó nên đọc như một thước đo hơn là một thất bại, bởi chính khoảng cách giữa agent và con người mà WebArena được đưa ra để theo dõi tiến bộ. Paper không cam kết khoảng cách đó đã thu hẹp, cũng không nêu giới hạn của chính môi trường thí nghiệm.

Áp vào 5ac thế nào

Bài học của WebArena là chấm bằng kết quả thật thay vì lời kể của agent. Trong pipeline Kanban, verification gate yêu cầu worker dán output lệnh thật làm bằng chứng trước khi card được coi là xong, thay vì tự chấm bài mình; đó chính là functional correctness theo nghĩa của paper. 5ac có thể dựng sandbox tái lập cho từng loại card, mỗi lần chạy với cấu hình khởi tạo giống nhau, để so được kết quả giữa các lần chạy thay vì phán theo cảm tính. Cách làm này tách hẳn khỏi ấn tượng “agent nói hay”: nếu tỷ lệ hoàn thành thấp như WebArena đo được, khâu chấm điểm mới là thứ quyết định niềm tin.

Nguồn