Flash Attention
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”วิธีคำนวณ attention ที่แบ่งงานเป็นก้อนเล็กเพื่อลดการอ่านเขียนหน่วยความจำ ทำให้ใช้หน่วยความจำน้อยลงและมักเร็วขึ้นเมื่อ context ยาว
Attention แบบปกติต้องสร้างตารางความสัมพันธ์ระหว่างทุก token ซึ่งโตตามกำลังสองของความยาว context Flash Attention เลี่ยงการเก็บตารางทั้งก้อน โดยคำนวณทีละส่วนในหน่วยความจำที่เร็วกว่า และเป็นการคำนวณแบบแม่นยำ ไม่ใช่การประมาณ
ใน LM Studio มีสวิตช์เปิดปิดค่านี้ และคู่มือวัด tok/s ของ AIPCMAG ตั้งเป็น ON การรองรับขึ้นกับ backend และฮาร์ดแวร์ จึงต้องบันทึกค่านี้ทุกครั้งที่ทดสอบ