Build hay adopt? Volvo so harness tự dựng với harness tổng quát cùng model và tool

“As general-purpose LLM agent harnesses mature, organizations must decide whether to continue developing in-house systems or adopt existing alternatives.”

Arsham Gholamzadeh Khoee, Ruyu Fu, Jiaqi Wei +4 · 7 tác giả · Chalmers University of Technology and Volvo Group · 2026 · arXiv:2610.33636

Tự giữ harness nội bộ hay nhận harness có sẵn: Volvo đã chạy thử cả hai

Mở

Mỗi đội dùng agent lâu rồi đều tới ngã rẽ: tiếp tục tự phát triển harness nội bộ, hay nhận harness tổng quát có sẵn, và mỗi bên đều có lý do chính đáng. Câu hỏi đó thường được trả lời bằng cảm tính về chi phí license và mức kiểm soát, trong khi chi phí thật lại nằm ở nơi ít ai tính. Paper này trả lời bằng cách chạy cả hai phía trên đúng bài test, đúng model và đúng bộ tool.

Paper này làm gì

Tác giả so harness tự dựng đang chạy production của Volvo Group với hai harness tổng quát là Claude Code và OpenCode, giữ nguyên tool (qua MCP) và model. Họ chạy tới bốn model trên các test case IVI của Volvo và các task mở với app công cộng, rồi phỏng vấn mười chuyên gia gồm developer, product owner và tester. Kết quả so sánh tách ra tỷ lệ thành công, chi phí inference mỗi task, và tổng chi phí tháng gồm cả công sức kỹ thuật, thay vì nhìn mỗi một con số. Trên phần task mở, harness tổng quát thành công thường hơn, chủ yếu nhờ chúng hồi phục tốt hơn sau hành động sai.

Phát hiện chính

  1. So harness tự dựng đang chạy production với Claude Code và OpenCode, giữ nguyên tool qua MCP và model. (We compare a production, custom-built harness with two general-purpose harnesses, Claude Code and OpenCode, keeping the tools, accessed through the Model Context Protocol (MCP), and the models the same)

  2. Chi phí inference mỗi task cao hơn 2.6-10.7 lần, nhưng công kỹ thuật tiết kiệm được lớn hơn phần chi phí inference tăng thêm: tổng chi phí tháng cho bộ regression IVI chạy hằng đêm thấp hơn 3-66%. (Their inference cost per task is 2.6-10.7 times higher, yet the engineering effort they save outweighs this: for a nightly IVI regression suite, total monthly cost, including engineering effort and inference, is 3-66% lower)

  3. Tiến bộ bên ngoài có thể biến harness nội bộ thành technical debt dù nó không hề xấu đi. (Interviews suggest that external advances can turn an in-house harness into technical debt even without deterioration)

Caveat

Đánh đổi tác giả nêu: nhận harness tổng quát đẩy việc bảo trì từ agent loop sang tools và instruction, nhưng đổi lại đội có ít kiểm soát hơn với những gì model nhận vào. Đó là lý do tester trong phỏng vấn vẫn muốn xem được hành động của agent và chắc chắn nó đi theo kịch bản test đã định.

Áp vào 5ac thế nào

5ac đang ở đúng ngã rẽ này: tự giữ vòng lặp agent và skill thì kiểm soát được mọi thứ model nhìn thấy, nhưng phải tự bảo trì; dùng harness có sẵn như OpenCode thì chuyển gánh bảo trì sang tools và instruction. Quyết định phù hợp với stack này là giữ Hermes làm vòng lặp chính vì nó kiểm soát được prompt và gate, và dùng OpenCode cho lane coding, nơi kiểm soát lỏng hơn là chấp nhận được. Bài học từ Volvo là đừng so bằng inference cost đơn lẻ: con số thật cần so là tổng chi phí tháng, gồm cả công sức người, và mọi lane dùng harness adopt đều phải giữ đường kiểm chứng riêng, tức Kanban card ghi lại từng hành động của agent để reviewer soi được thay vì chỉ nhận đầu ra cuối cùng. Khi harness nội bộ không còn theo kịp tiến bộ bên ngoài, đó là lúc cân nhắc lại, chứ không phải chờ nó hỏng.

Nguồn