Quantization
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”การลดความละเอียดของตัวเลข weights ในโมเดล (เช่น จาก 16-bit เหลือ 4-bit) เพื่อให้ไฟล์เล็กลงและใช้ RAM/VRAM น้อยลง โดยแลกกับคุณภาพที่อาจลดลง
ชื่อที่เจอบ่อยอย่าง Q4_K_M หรือ Q8_0 บอกระดับความละเอียดโดยประมาณ ขนาดไฟล์คำนวณได้จากสูตร จำนวน parameters × บิตต่อ weight ÷ 8 (ใช้ 1GB = 10⁹ ไบต์) เช่น โมเดล 7B แบบ FP16 (16 บิต) ได้ 7×10⁹ × 16 ÷ 8 = 14GB ส่วนถ้าลดเหลือ 4 บิตพอดีจะได้ 3.5GB เฉพาะ weights
ไฟล์ Q4_K_M จริงใหญ่กว่าค่าคำนวณนี้ เพราะบางส่วนของโมเดลใช้ความละเอียดสูงกว่า 4 บิต และไฟล์มี metadata ด้วย เช่น Llama 3.1 8B Q4_K_M ราว 4.9GB ตามหน้า Methodology ซึ่งย้อนคำนวณได้เฉลี่ยราว 4.9 บิตต่อ weight
Quantization เป็นการแลกกันระหว่างขนาดไฟล์ ความเร็ว หน่วยความจำ และคุณภาพ Q4 เป็นการลดขนาดที่ได้รับความนิยมสูง เพราะยังรักษาคุณภาพของโมเดลไว้ได้ดีเมื่อเทียบกับขนาดที่ประหยัดได้ แต่ผลจริงขึ้นกับชนิดโมเดลและระดับ quant จึงควรดูผลทดสอบเป็นกรณีไป