# Speculative decoding (suy luận suy đoán) > VI: https://5ac.vn/wiki/speculative-decoding/ · EN: https://5ac.vn/en/wiki/speculative-decoding/ · lang: vi · spec_as_of 2026-10-21 (spec no formal spec) · cluster C16 Mô hình phụ phỏng trước vài token rồi mô hình chính kiểm dồn một lần: giữ nguyên kết quả, giảm số vòng — lợi thế lớn nhất trên phần cứng bị chặn bởi băng thông bộ nhớ. --- ## Định nghĩa Speculative decoding (suy luận suy đoán) là cách tăng tốc sinh token: một mô hình phụ — hoặc nhánh multi-token prediction — phỏng trước vài token, rồi mô hình chính kiểm tra dồn một lần; token nào đúng thì giữ, sai thì bỏ và tính lại. Điểm mấu chốt do chính paper gốc nêu: thuật toán đổi tốc độ chứ không đổi kết quả — nó sinh song song nhiều token mà không thay đổi phân bố đầu ra. Trên T5-XXL, paper đo nhanh gấp 2 đến 3 lần cách chạy chuẩn của T5X với đầu ra giống hệt (arXiv:2211.17192, ICML 2023 Oral). ## Cơ chế Bài về stack inference production của DeepSeek mô tả vòng chạy cụ thể: draft sinh 5 token mỗi bước, confidence head chọn số token cần kiểm theo biến độ dài của chuỗi, và cả cụm này cộng thêm +4 đến +7% thông lượng ở điểm chạy production. Bản recipe deploy DeepSeek V4 Flash trên 2× DGX Spark dựng lại cùng logic với MTP_NUM_TOKENS=5 — dự đoán nhiều token rồi xác nhận một lần — và theo bài đó, cách này thắng lớn trên phần cứng bị giới hạn bởi băng thông bộ nhớ như GB10, nơi mỗi vòng sinh token đều phải đọc lại trọng số. llama-server của llama.cpp cũng đưa speculative decoding vào danh sách tính năng chạy sẵn, bên cạnh continuous batching và JSON schema. ## Bối cảnh ứng dụng Không có kẻ thắng tuyệt đối: benchmark thực tế trên DGX Spark (GB10), đo n=5 cùng bộ weights NVFP4, ghi DSpark thắng ở việc code (51,5 so với 34,5 tok/s, gấp khoảng 1,5×) và chat ngắn (23,2 so với 21,0), trong khi MTP thắng ở essay dài (24,1 so với 18,3 tok/s, khoảng 1,3×). Nền so sánh là vLLM không bật speculative: 8,2 tok/s mỗi luồng, 57,9 tok/s ở 10 luồng. Khi model chạy ở chế độ suy luận, chuỗi token khó đoán hơn nên lợi thế thu hẹp lại. Điểm cần giữ trong đầu khi chọn cấu hình cho agent: cấu hình nhanh nhất từng đo (NVFP4 cộng MTP, 105,8 tok/s tổng) cũng là cấu hình từng làm máy hard-reboot ở ngữ cảnh dài và đồng thời cao. Agent chạy liên tục thì một lần crash giữa ca vận hành đắt hơn mức chênh lệch vài tok/s trên bảng. ## Nguồn đã truy xuất - [DeepSeek mở stack inference production: thay đổi gì cho người tự host](/blog/deepseek-mo-stack-inference-production/) — draft 5 token/bước, confidence head, +4–7% thông lượng — truy cập 21/10/2026 - [DSpark vs MTP trên DGX Spark — benchmark thực tế](/blog/dspark-vs-mtp-benchmark-gb10/) — đo n=5 trên NVFP4, 51,5/34,5 và 24,1/18,3 tok/s, nền 8,2 tok/s — truy cập 21/10/2026 - [Deploy DeepSeek V4 Flash trên 2× DGX Spark — recipe](/blog/deploy-deepseek-v4-flash-2x-dgx-spark/) — MTP_NUM_TOKENS=5, thắng trên phần cứng bị chặn bởi băng thông — truy cập 21/10/2026 - — paper gốc của speculative decoding, ICML 2023 Oral (v2) — xác minh qua arXiv API ngày 21/10/2026 ## Liên quan - [Inference engine (vLLM, engine suy luận)](/wiki/inference-engine/) - [Local LLM deployment (triển khai LLM cục bộ)](/wiki/local-llm-deployment/)