Đặc tả portable cho harness agent: model nào đã chạy trong harness nào

“Large language models act only through the infrastructure that surrounds them.”

Nicolas Gertler, Claudio Novelli, Luciano Floridi · 3 tác giả · Yale University (Digital Ethics Center) and University of Bologna · 2026 · arXiv:2610.40917

Kết quả benchmark thay đổi theo harness, nhưng không ai ghi lại harness nào

Mở

Cùng một model, đổi cách dựng vòng lặp tool, đổi prompt hệ thống hay đổi cấu hình runtime là kết quả báo cáo thay đổi theo hướng có lợi cho người đo. Thế nhưng đến nay vẫn chưa có một chỗ chuẩn để ghi lại cấu hình đó, nên người đọc báo cáo không biết model đã chạy bên trong thứ gì. Paper này bắt đầu từ chính khoảng trống đó.

Paper này làm gì

Tác giả lập luận rằng model ngôn ngữ chỉ hành động thông qua hạ tầng bao quanh nó, và hạ tầng đó, tức harness, quyết định model làm được gì cùng cách nó hỏng đi, trong khi thuật ngữ này chưa có định nghĩa ổn định. Để trả lời, họ phân rã harness thành tám thành phần có thể đặc tả và so sánh giữa các hệ thống, rồi đề xuất một khung đặc tả portable, ghi lại model nào đã chạy trong harness nào. Ba lý do được nêu cho bản ghi đó: cấu hình harness khác nhau có thể khiến điểm của cùng một model chênh nhau nhiều lần, phần lớn attack surface của agent nằm ở harness, và model card hay agent card hiện có không ghi chuỗi cấu hình có hiệu lực bên trong một run.

Phát hiện chính

  1. Model chỉ hành động qua hạ tầng quanh nó; harness quyết định model làm được gì và hỏng thế nào, nhưng thuật ngữ này chưa có định nghĩa ổn định. (Large language models act only through the infrastructure that surrounds them. That infrastructure, the harness, determines what a model can accomplish and how it fails, yet it has no settled definition)

  2. Harness được phân rã thành tám thành phần có thể đặc tả và so sánh giữa các hệ thống, thay vì để mỗi đội tự hiểu harness theo cách của mình. (we decompose the harness into eight functional components that can be specified and compared across systems)

  3. Cấu hình harness khác nhau có thể khiến điểm số báo cáo của cùng một model chênh nhau nhiều lần, tức bản tin model không thể đứng một mình. (different harness configurations can yield several-fold differences in reported scores for the same model)

Caveat

Abstract không nêu hạn chế của paper; câu gần nhất thuộc loại gap statement, mô tả cái mà công cụ hiện có còn thiếu: model card và agent card cung cấp thông tin phát hành và vận hành nhưng không xác lập chuỗi cấu hình có hiệu lực trong một run. Tác giả dùng câu này làm động cơ cho đề xuất hồ sơ harness versioned, nên phải đọc như một khoảng trống của hệ sinh thái, không phải điểm yếu của chính nghiên cứu.

Áp vào 5ac thế nào

Đây là thứ 5ac cần chốt cho G-Company OS: mọi phiên bản agent phải ghi lại harness version để tái lập được kết quả. Trong thực tế, các mảnh của bản ghi đó đã nằm sẵn ở vài chỗ: Kanban card lưu model và cấu hình chạy cho từng run, skill cùng cron định nghĩa vòng lặp quanh model, Gbrain giữ bối cảnh các lần chạy trước. Việc cần làm là gom chúng thành một bản ghi thống nhất cho mỗi phiên bản, thay vì để rải trong nhiều file như hiện tại. Khi kết quả một card tự đổi sau khi nâng skill hay đổi model routing, chính bản ghi đó cho biết đã thay đổi gì. Nó cũng trả lời câu hỏi hay gặp khi đưa một model mới vào vận hành: thay đổi này nằm ở model hay ở harness, và nếu nằm ở harness thì ai đang giữ cấu hình đó.

Nguồn