Voyager: tích lũy năng lực ở skill library thay vì tinh chỉnh model

“We introduce Voyager, the first LLM-powered embodied lifelong learning agent in Minecraft that continuously explores the world, acquires diverse skills, and makes novel discoveries without human intervention.”

Guanzhi Wang, Yuqi Xie, Yunfan Jiang +5 · 8 tác giả · NVIDIA, Caltech, and UT Austin · 2023 · arXiv:2305.16291

Voyager giữ năng lực ở thư viện skill, không giữ ở model

Mở

Agent đổi sang môi trường mới hay nhiệm vụ mới thường phải làm lại từ đầu, và cách để giữ lại năng lực đã có thường là tinh chỉnh model (fine-tune), vừa tốn chi phí vừa khiến khả năng cũ bị quên dần. Đó là vấn đề thật với bất kỳ ai chạy agent dài hạn: hôm nay agent làm được việc, tuần sau nó lại không nhớ cách đã làm, trong khi người dùng vẫn đòi cùng một chất lượng. Voyager trả lời bằng cách tách phần tích lũy năng lực khỏi model hoàn toàn, để việc học diễn ra ở lớp bên ngoài.

Paper này làm gì

Voyager là agent học cả đời trong Minecraft: nó tự khám phá thế giới, tự vạch mục tiêu qua automatic curriculum, lưu các hành vi phức tạp dưới dạng code thực thi được vào skill library, và cải thiện chương trình của mình bằng cách lặp prompt với ba nguồn tín hiệu là phản hồi môi trường, lỗi thực thi, và tự kiểm chứng. Nó trò chuyện với GPT-4 qua blackbox query, hoàn toàn không cần tinh chỉnh tham số model. Nhờ vậy năng lực nằm ở thư viện skill: code đã viết vẫn chạy được ở lần sau, ở thế giới mới, mà không mất khả năng cũ. Tác giả so sánh Voyager với các phương pháp trước đó ngay trên môi trường Minecraft.

Phát hiện chính

  1. Voyager gồm ba thành phần: automatic curriculum để tối đa hoá khám phá, skill library là kho code thực thi được dùng để lưu và tái sử dụng hành vi phức tạp, cùng cơ chế lặp prompt đưa phản hồi môi trường, lỗi thực thi và tự kiểm chứng vào vòng cải thiện. (Voyager consists of three key components: 1) an automatic curriculum that maximizes exploration, 2) an ever-growing skill library of executable code for storing and retrieving complex behaviors, and 3) a new iterative prompting mechanism that incorporates environment feedback, execution errors, and self-verification for program improvement)

  2. Voyager tương tác với GPT-4 qua blackbox query, tức chỉ gọi mô hình như một dịch vụ bên ngoài, nên bỏ hẳn nhu cầu tinh chỉnh tham số model; đổi mô hình không làm mất kỹ năng đã tích lũy. (Voyager interacts with GPT-4 via blackbox queries, which bypasses the need for model parameter fine-tuning)

  3. So với SOTA trước đó, Voyager thu được nhiều vật phẩm độc nhất hơn 3.3 lần, đi xa hơn 2.3 lần, và mở khoá mốc công nghệ chính nhanh hơn tới 15.3 lần. (It obtains 3.3x more unique items, travels 2.3x longer distances, and unlocks key tech tree milestones up to 15.3x faster than prior SOTA)

Caveat

Tác giả không nêu hạn chế trong abstract. Phần tóm tắt nêu kết quả trên Minecraft và nói toàn bộ code cùng prompt được công khai, nhưng không cho biết phương pháp có chuyển sang môi trường khác được hay không, mỗi phiên gọi model tốn bao nhiêu, hay thư viện skill lớn thì truy vấn ra sao. Người đọc muốn biết ranh giới đó phải xem phần nội dung đầy đủ của paper.

Áp vào 5ac thế nào

Skill system của Hermes chính là ever-growing skill library: mỗi kỹ năng viết ra một lần dưới dạng quy trình thực thi được, rồi tích lũy dần ở layer harness thay vì nằm trong model. Gbrain giữ vai trò kho tri thức bên cạnh, tương ứng cách Voyager lưu và tái sử dụng kỹ năng cũ. Vì năng lực nằm ngoài model, 5ac đổi model ở tầng model routing mà không mất đi những gì đã xây, tương ứng cách Voyager gọi GPT-4 qua blackbox query mà không đụng tới trọng số model. Card Kanban hoàn thành kèm handoff metadata cũng là một dạng skill tích lũy: lần chạy sau đọc nó và đỡ phải làm lại từ đầu.

Nguồn