# Local LLM deployment (triển khai LLM cục bộ) > VI: https://5ac.vn/wiki/local-llm-deployment/ · EN: https://5ac.vn/en/wiki/local-llm-deployment/ · lang: vi · spec_as_of 2026-10-19 (spec no formal spec) · cluster C18 Chạy mô hình ngôn ngữ lớn trên hạ tầng doanh nghiệp tự sở hữu thay vì API bên thứ ba: công thức VRAM, lượng tử hóa, inference engine, bài toán chi phí với dữ liệu ở lại trong biên. --- ## Định nghĩa Local LLM deployment (triển khai LLM cục bộ, on-prem AI, self-hosted AI) là chạy mô hình ngôn ngữ lớn trên hạ tầng doanh nghiệp tự sở hữu: máy trạm, VPS riêng, cụm nhỏ trong văn phòng, thay vì gửi từng yêu cầu tới API bên thứ ba. 5ac mô tả đây là một stack hoàn chỉnh, không phải "mua GPU về là chạy": phần cứng, inference engine và mô hình weights mở, đủ trưởng thành để một máy trạm giá phải chăng thay thế loạt lời gọi cloud hằng ngày. Ba động lực lặp lại: chi phí đường dài khi khối token đủ lớn; kiểm soát dữ liệu, code khách hàng và hợp đồng không rời khỏi biên; và sự chủ động trước bảng giá, chính sách của vendor API. ## Cơ chế Dung lượng quyết định thứ gì vừa, còn bandwidth quyết định nó chạy nhanh tới mức nào; nhầm hai số này là lỗi phổ biến nhất của người mới. Công thức VRAM gọn: GB ≈ số tham số (tỷ) × (số bit hiệu dụng ÷ 8) — FP16 ~2 GB cho mỗi 1B tham số, FP8/INT8 ~1 GB, 4-bit ~0.5 GB. Card 24 GB (RTX 3090/4090) nhờ vậy chạy được lớp 35–40B ở 4-bit, đủ cho công việc văn phòng, code và agent; KV cache cộng thêm 10–30% mỗi lần chạy. Mảng tối ưu suy luận, kèm phân tích roofline, được hệ thống hóa trong *LLM Inference Unveiled: Survey and Roofline Model Insights* (arXiv:2402.16363, Zhihang Yuan và cộng sự, 2024). Cấp doanh nghiệp nhỏ trong các bài 5ac xoay quanh NVIDIA DGX Spark: chip Grace Blackwell GB10, 128 GB bộ nhớ hợp nhất, 273 GB/s bandwidth, ~38 W khi inference, ~4.000 USD mỗi node, nhiều node nối thẳng không cần switch. Mô hình MoE khiến cấp này đáng tiền vì mỗi token chỉ kích hoạt một phần tham số: | Model | Cấu trúc | Cần bao nhiêu | Kết quả đo (bài 5ac) | | --- | --- | --- | --- | | Qwen3.8 Flash Next | 176B, 6B active | quant 78 GB | 64 tok/s đỉnh (vLLM NVFP4), ~43 tok/s code thực tế, 1 node | | Ling-3.0-flash | 124B MoE, 5.1B active | ~72 GB INT4 | 141 tok/s @ 8 luồng, 1 node | | DeepSeek V4 Flash | 284B MoE, 13B active | ~149 GB FP8 | ~350 tok/s, 2 node TP=2, context 1M | Từ ba–bốn node trở lên xuất hiện phân vai vận hành: mô hình lớn làm orchestrator nhận và chia việc, mô hình nhỏ làm worker thực thi từng phần. ## Bối cảnh ứng dụng Ba ngả đường phần cứng 5ac vẽ cho SMB: một card 24 GB cho thử nghiệm và RAG cỡ vừa; máy Apple bộ nhớ hợp nhất khi cần chứa model rất to trong một box yên lặng; cụm DGX Spark khi muốn cả "công ty AI" chạy trên bàn. Chọn model theo ba câu hỏi: context cần dài bao nhiêu, mấy agent chạy song song, ngân sách bao nhiêu — đừng chọn theo con số in trên giấy. ## Nguồn đã truy xuất - [DeepSeek V4 Flash hay Ling-3.0-flash — chọn model nào để chạy AI local?](/blog/local-llm-deploy-comparison/) — ba động lực, số đo hai model, phép cân đối context và ngân sách — truy cập 19/10/2026 - [Local AI 2026: Từ RTX 3090 đến on-prem enterprise](/blog/local-ai-2026-from-rtx3090-to-enterprise/) — công thức VRAM, các mốc quant, bản đồ bandwidth, thuế KV cache — truy cập 19/10/2026 - [DGX Spark — cấu hình mô hình 2026](/blog/vi-ai-local-dgx-spark-cau-hinh-2026/) — GB10, 128 GB hợp nhất, 38 W, recipe 1→6 node, phân vai orchestrator/worker — truy cập 19/10/2026 - — LLM Inference Unveiled (v6) — xác minh qua arXiv API ngày 19/10/2026 ## Liên quan - [AI Agent (tác nhân AI)](/wiki/ai-agent/) - [Agentic RAG](/wiki/agentic-rag/) - [Agent governance (quản trị agent)](/wiki/agent-governance/)