Concurrent (Concurrency)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”การที่ระบบรับและประมวลผลหลายคำขอในช่วงเวลาเดียวกัน เช่น หลายผู้ใช้หรือหลาย agent เรียกโมเดลตัวเดียวพร้อมกัน
ตอนใช้คนเดียว โมเดลรับคำขอทีละอัน แต่เมื่อมีหลายคนหรือหลาย agent ใช้โมเดลบนเครื่องเดียวกัน คำขอจะซ้อนกัน จำนวนคำขอที่ทำพร้อมกันเรียกว่า concurrency
ผลกระทบหลักคือ VRAM เพราะแต่ละคำขอมี KV Cache ของตัวเองที่ต้องเก็บไว้ และความเร็วต่อคำขอ ซึ่งมักลดลงเมื่อ concurrency เพิ่ม ขณะที่ Throughput รวมอาจเพิ่ม ซอฟต์แวร์ที่รองรับ Batching จะรับมือได้ดีกว่า ส่วนโปรแกรมที่ประมวลผลคำขอทีละอันจะให้คิวรอแทน ผลทดสอบจึงต้องระบุระดับ concurrency ที่ใช้