# Tách prefill/decode (PD disaggregation)

> VI: https://5ac.vn/wiki/prefill-decode-disaggregation/ · EN: https://5ac.vn/en/wiki/prefill-decode-disaggregation/ · lang: vi · spec_as_of 2026-10-21 (spec no formal spec) · cluster C16

Kiến trúc đặt hai pha suy luận LLM, prefill và decode, trên hai cụm GPU riêng nối bằng router và đường chuyển KV cache; bài toán tách cụm, khác tối ưu trong một engine.

---
## Định nghĩa

LLM có hai pha trái nhau về phần cứng: prefill đọc trọn prompt trong một lượt, nặng về compute; decode sinh từng token một, mỗi bước đọc lại trọng số và cache KV nên bị chặn bởi băng thông bộ nhớ. Tách prefill/decode (PD disaggregation) là kiến trúc đặt hai pha lên hai cụm GPU riêng, nối bằng một router và một đường chuyển cache KV. Entry này phủ bài toán tách cụm; kỹ thuật xử lý trong cụm như chunked prefill hay prefix caching do entry [inference engine](/wiki/inference-engine/) định nghĩa.

## Cơ chế

Hai loại việc chung một cụm sẽ giao thoa: batch prefill lớn chiếm hardware và kéo dài latency decode của các request khác. Paper nền là DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving (arXiv:2401.09670) — tách hai pha sang hai nhóm instance để tối ưu goodput, tức request hoàn thành trong ngưỡng latency cam kết, thay vì đếm token mỗi giây thô.

Số production từ stack DeepSeek mở ngày 20/10/2026: đơn vị hiệu quả nhỏ nhất của DeepInfer là 64 GPU prefill cộng 64 GPU decode, khoảng 633,6 đến 1.423,36 USD mỗi giờ theo giá thuê B200 trên Google Cloud. Disaggregation, cùng cache bền vững và load balancing, nằm trong tầng chưa mở: muốn có phải tự xây ba mảnh — router giữa cụm, đường chuyển KV, kiểm soát cửa vào (admission control).

## Bối cảnh ứng dụng

Bài toán chỉ chạm đội hạ tầng lớn. 5ac khuyến nghị coi KV store và P/D disaggregation là dự án tự xây nhiều quý khi sở hữu từ 128 GPU dòng Blackwell hoặc cluster Ascend, kèm đội systems chuyên trách. Mã nguồn mở đã có đường: vLLM và SGLang đưa PD disaggregation vào stack serving online. Doanh nghiệp nhỏ Việt Nam đi tuyến rẻ — mua API theo giá cache-hit, để nhà cung cấp lo việc phân cụm.

## Nguồn đã truy xuất

- [DeepSeek mở stack inference production](/blog/deepseek-mo-stack-inference-production/) — ngưỡng 64+64 GPU, sàn 633,6 đến 1.423,36 USD mỗi giờ, tầng chưa mở — truy cập 21/10/2026
- [Local AI 2026: từ RTX 3090 đến on-prem](/blog/local-ai-2026-from-rtx3090-to-enterprise/) — prefill và decode: hai chế độ, hai bài toán — truy cập 21/10/2026
- <https://arxiv.org/abs/2401.09670> — paper DistServe (v3) — xác minh qua arXiv API ngày 21/10/2026

## Liên quan

- [Inference engine](/wiki/inference-engine/)
- [Local LLM deployment](/wiki/local-llm-deployment/)
- [AI token cost](/wiki/ai-token-cost/)