# NVFP4 (định dạng lượng tử 4-bit cho weights và KV cache)

> VI: https://5ac.vn/wiki/nvfp4/ · EN: https://5ac.vn/en/wiki/nvfp4/ · lang: vi · spec_as_of 2026-10-22 (spec no formal spec) · cluster C16

Định dạng FP4 của NVIDIA cho cả trọng số lẫn cache KV: tốc độ tổng cao nhất bảng đo trên GB10, nhưng cần backend Marlin vì SM121 không có lõi FP4 gốc.

---
## Định nghĩa

NVFP4 là định dạng FP4 của NVIDIA — FP4 tức số thực 4 bit — dùng để lượng tử hóa (quantization) cả trọng số lẫn cache KV của một mô hình. Nén xuống 4 bit thì mô hình chứa vừa bộ nhớ nhỏ hơn và mỗi lượt sinh token đọc ít byte hơn — hai thứ quyết định tốc độ trên phần cứng bị chặn bởi băng thông bộ nhớ. Trong các bài đo của 5ac, tên này luôn đi theo ba dạng: weights NVFP4, KV cache NVFP4 và NVFP4 + MTP. Cách một engine sắp nó vào pipeline lượng tử hóa nằm ở entry [Inference engine (vLLM, engine suy luận)](/wiki/inference-engine/).

## Cơ chế

Bảng benchmark GB10 (Kubesimplify, 14–17/08/2026) xếp NVFP4 vào nhóm nhanh: NVFP4 chạy vLLM đạt 11,5 tok/s một luồng và 84,3 tok/s tổng, nhưng bắt buộc phải có backend Marlin; NVFP4 + MTP lên 22,0 tok/s một luồng và 105,8 tok/s tổng — nhanh nhất bảng nhưng từng làm máy hard-reboot hai lần ở ngữ cảnh dài và đồng thời cao. KV cache NVFP4 chạy dưới tên cấu hình nvfp4_ds_mla, text util 0.835 (~2,49 triệu token). Rào cản nằm ở phần cứng: chip SM121 không có lõi tensor FP4 gốc, nên NVFP4 đi qua backend flashinfer/triton thay vì đường native.

## Bối cảnh ứng dụng

Chọn NVFP4 là đánh đổi tốc độ lấy độ ổn định. Cùng trên GB10, FP8 thường chỉ đạt 8,2 tok/s nhưng sạch và ổn định; FP8 + DFlash đạt 17,2 tok/s khi sinh tự do và khoảng 65,6 tok/s tổng; còn NVFP4 + MTP cho tổng cao nhất nhưng từng làm máy reboot. Với agent chạy liên tục, một lần crash giữa ca đắt hơn khoảng chênh lệch vài tok/s trên bảng.

NVFP4 cũng làm cửa sổ 1 triệu token khả thi: DeepSeek V4 Flash trên hai DGX Spark dùng KV cache NVFP4 để giữ 1M context, trong khi tổng weights cộng cache vẫn vượt bộ nhớ một node — nên cấu hình tối thiểu là hai máy (bảng model lượng tử ở entry [Local LLM deployment (triển khai LLM cục bộ)](/wiki/local-llm-deployment/)). Cache KV đã lượng tử vẫn phình theo độ dài hội thoại ([KV cache (bộ nhớ khóa–giá trị của LLM)](/wiki/kv-cache/)), còn việc giữ cố định một bộ weights NVFP4 giữa các lượt đo A/B nằm ở [Speculative decoding (suy luận suy đoán)](/wiki/speculative-decoding/).

## Nguồn đã truy xuất

- [DSpark vs MTP trên DGX Spark — benchmark thực tế cho speculative decoding](/blog/dspark-vs-mtp-benchmark-gb10/) — bảng FP8 / NVFP4 / NVFP4 + MTP, backend Marlin, hai lần hard-reboot — truy cập 22/10/2026
- [Deploy DeepSeek V4 Flash trên 2× DGX Spark — recipe đầy đủ, đo thật](/blog/deploy-deepseek-v4-flash-2x-dgx-spark/) — nvfp4_ds_mla, text util 0.835, SM121 không có lõi FP4 gốc — truy cập 22/10/2026

## Liên quan

- [Inference engine (vLLM, engine suy luận)](/wiki/inference-engine/)
- [KV cache (bộ nhớ khóa–giá trị của LLM)](/wiki/kv-cache/)
- [Local LLM deployment (triển khai LLM cục bộ)](/wiki/local-llm-deployment/)
- [Speculative decoding (suy luận suy đoán)](/wiki/speculative-decoding/)