# Mixture of Experts (MoE — kiến trúc chuyên gia thưa)

> VI: https://5ac.vn/wiki/moe/ · EN: https://5ac.vn/en/wiki/moe/ · lang: vi · spec_as_of 2026-10-22 (spec no formal spec) · cluster C16

Kiến trúc mỗi lớp gồm nhiều expert và một bộ định tuyến chỉ đánh thức vài expert cho mỗi token: MoE model lớn về weights chứa trong bộ nhớ, nhẹ về tính toán trên từng token.

---
## Định nghĩa

Mixture of Experts (MoE) là kiến trúc mạng nơ-ron trong đó mỗi lớp xử lý không phải một khối đơn nhất (monolithic) mà gồm nhiều mạng con cùng chức năng — các expert — và một bộ định tuyến nhỏ (router) quyết định vài expert cần cho mỗi token đi qua. Độ thưa nằm ở chỗ chỉ một phần nhỏ tham số tham gia tính trên mỗi token, nên một model hàng trăm tỷ tham số tổng nhẹ về tính toán hơn hẳn model dense cùng quy mô. Sự đánh đổi nằm ở chỗ MoE mua năng lực bằng bộ nhớ chứa weights, không bằng phép tính trên mỗi token. Ví dụ 5ac ghi trong recipe của mình: "DeepSeek V4 Flash là model Mixture of Experts với khoảng 284 tỷ tham số".

## Cơ chế

Kiến trúc được chuẩn hóa trong bài báo *Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer* (arXiv:1701.06538, Noam Shazeer và cộng sự, 2017): mỗi lớp xếp nhiều expert cạnh nhau, một cổng softmax đã huấn luyện chọn mỗi token đi vào vài expert, các expert còn lại nghỉ ở bước đó. Ba hệ quả thiết kế đi kèm:

- toàn bộ weights của mọi expert phải thường trú trong bộ nhớ dù mỗi bước chỉ ít expert làm việc;
- tải giữa các expert dao động theo batch, nên hệ phục vụ phải lo cân bằng;
- việc vận chuyển token qua lại giữa các expert, chứ không phải thuần phép tính, định hình thông lượng trên cấu hình nhiều máy.

Cách engine (vLLM, SGLang) phục vụ MoE — nạp weights, điều phối, đo đạc — thuộc phạm vi entry [Inference engine](/wiki/inference-engine/); việc so sánh model cho máy chủ cục bộ nằm ở [Local LLM deployment](/wiki/local-llm-deployment/). Entry này chỉ định nghĩa kiến trúc, không định nghĩa lại hai phần kia.

## Bối cảnh ứng dụng

Với doanh nghiệp tự host, MoE là lý do model cỡ lớn bước được vào khoảng giá phần cứng nguồn mở — đồng thời đổi lại bài toán phần cứng. Recipe 2× DGX Spark của 5ac ghi: mỗi node có 128GB unified memory và CUDA thấy "khoảng 121,7 GiB"; chạy mô hình 284 tỷ tham số trên một node là bất khả thi vì "tổng weights và KV cache vượt bộ nhớ". Lời giải bài viết nêu là chia model qua hai máy và lượng tử hóa cache về dạng NVFP4 — hai việc này có entry riêng, ở đây chỉ cần biết rằng chúng tồn tại vì model là MoE.

## Nguồn đã truy xuất

- [Deploy DeepSeek V4 Flash trên 2× DGX Spark — recipe](/blog/deploy-deepseek-v4-flash-2x-dgx-spark/) — model Mixture of Experts ~284 tỷ tham số, bộ nhớ 128GB mỗi node, CUDA thấy ~121,7 GiB, tổng weights và KV cache vượt bộ nhớ một node — truy cập 22/10/2026
- <https://arxiv.org/abs/1701.06538> — bài báo gốc về lớp MoE có cổng thưa (v1) — xác minh qua arXiv API ngày 22/10/2026

## Liên quan

- [Inference engine](/wiki/inference-engine/)
- [Local LLM deployment](/wiki/local-llm-deployment/)