# TTFT (thời gian tới token đầu tiên)

> VI: https://5ac.vn/wiki/ttft/ · EN: https://5ac.vn/en/wiki/ttft/ · lang: vi · spec_as_of 2026-10-22 (spec no formal spec) · cluster C16

Thời gian từ lúc gửi yêu cầu đến lúc token đầu tiên xuất hiện — chỉ số quyết định cảm giác phản hồi của chat. Benchmark 5ac đo 8,3 giây cho prompt 16K đã warm trên DGX Spark.

---
## Định nghĩa

TTFT (Time To First Token — thời gian tới token đầu tiên) là khoảng chờ từ lúc một yêu cầu được gửi đi đến lúc engine nhả ra token đầu tiên. Với người dùng chat, đây là một trong hai con số của cùng một trải nghiệm: TTFT quyết định thời gian nhìn con trỏ nhấp nháy, còn tốc độ sinh văn bản (tokens/giây) quyết định câu trả lời trải ra nhanh hay chậm. Một assistant có tốc độ chữ cao nhưng TTFT dài vẫn tạo cảm giác ì hơn một assistant tốc độ thấp hơn mà phản hồi gần tức thì.

## Cơ chế

Trong một lượt sinh, thời gian trước token đầu gồm nhiều đoạn cộng lại: chờ hàng đợi, xử lý toàn bộ prompt, rồi mới tính token đầu tiên. Cách tách việc xử lý prompt (prefill) và việc sinh chữ (decode) thành hai pha — kể cả chuyện đặt chúng trên cụm riêng — là chủ đề của entry [Tách prefill/decode](/wiki/prefill-decode-disaggregation/), còn việc TTFT nằm trong bộ chỉ số mà hệ phục vụ phải báo cáo thuộc entry [Inference engine](/wiki/inference-engine/). Ở đây chỉ giữ nguyên một định nghĩa: TTFT đo tới token đầu, không đo trọn câu trả lời.

Số liệu 5ac thực đo là từ bài benchmark DSpark vs MTP trên DGX Spark, với phép lặp "đo n=5" trên cùng bộ weights NVFP4: "TTFT khoảng 8,3 giây cho prompt 16K đã warm", đặt cạnh tốc độ decode "17,2–20,5 tok/s (thinking) và 21,6–22,7 tok/s (non-thinking)". Chữ "đã warm" đáng chú ý: con số 8,3 giây không phải cho một cụm vừa bật lên lạnh, và bài viết không đưa số cho trạng thái đó. Chuẩn đo lặp như n=5 là chuyện phương pháp benchmark, xem [Benchmark suite](/wiki/benchmark-suite/).

## Bối cảnh ứng dụng

TTFT quan trọng nhất ở nơi câu hỏi mở đầu phải kèm nhiều ngữ cảnh: agent nhét kết quả công cụ vào prompt, bot trả lời có đọc tài liệu. Khi độ dài prompt tăng, đoạn chờ trước token đầu thường dài ra theo — vì vậy mọi so sánh giữa các stack chỉ có nghĩa khi TTFT và tok/s được báo cáo cùng cặp, trên cùng cách đo. Hai con số của bài benchmark trên GB10 minh họa đúng điều đó: chờ 8,3 giây, rồi chữ chạy 17–23 tok/s tùy chế độ suy nghĩ.

## Nguồn đã truy xuất

- [DSpark vs MTP trên DGX Spark — benchmark thực tế](/blog/dspark-vs-mtp-benchmark-gb10/) — TTFT khoảng 8,3 giây cho prompt 16K đã warm, decode 17,2–20,5 tok/s (thinking) và 21,6–22,7 tok/s (non-thinking), đo n=5 cùng weights NVFP4 — truy cập 22/10/2026

## Liên quan

- [Inference engine](/wiki/inference-engine/)
- [Benchmark suite](/wiki/benchmark-suite/)
- [Tách prefill/decode](/wiki/prefill-decode-disaggregation/)