KV Cache
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”หน่วยความจำที่เก็บผลคำนวณระหว่างทางของ token ก่อนหน้า เพื่อไม่ต้องคำนวณซ้ำทุกครั้งที่สร้าง token ใหม่ และจะโตขึ้นตามความยาว context
KV Cache อยู่นอกไฟล์โมเดล จึงเป็นเหตุผลที่โมเดลไฟล์ขนาดเท่าเดิมใช้ RAM หรือ VRAM มากขึ้นเมื่อตั้ง context ยาวขึ้น ขนาดของมันขึ้นกับความยาว context ขนาดและโครงสร้างของโมเดล และความละเอียดที่ใช้เก็บ cache
เมื่อ VRAM ไม่พอสำหรับทั้งโมเดลและ KV Cache ส่วนหนึ่งจะล้นไปที่ RAM แล้วความเร็วตกลง คู่มือวัด tok/s ของ AIPCMAG จึงจำกัด context ไว้ที่ค่าคงที่ เพื่อให้ผลวัดไม่ปนกับผลของ KV Cache ที่โตขึ้น