TTFT (Time To First Token)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”ระยะเวลาตั้งแต่ส่ง prompt จนโมเดลเริ่มสร้าง token แรก
TTFT ส่วนใหญ่คือเวลาของขั้น Prefill ที่โมเดลต้องประมวลผล prompt ทั้งหมดก่อนเริ่มตอบ ยิ่ง prompt หรือ context ยาว TTFT ยิ่งนาน และเพราะ Prefill เป็นงานที่ใช้การคำนวณหนัก ค่านี้จึงสะท้อนกำลังประมวลผลของ GPU มากกว่าความเร็วหน่วยความจำ
TTFT ต่างจาก tokens/s ซึ่งวัดความเร็วช่วงสร้างคำตอบ (Decode) การรายงาน TTFT ควรระบุความยาว prompt ควบคู่เสมอ เช่น prompt สั้นราว 50 token เทียบกับยาวราว 2,000 token ตามแนวทางทดสอบของ AIPCMAG