bpw (Bits per Weight)
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”จำนวนบิตเฉลี่ยที่ใช้เก็บ weight หนึ่งตัวในไฟล์โมเดล ยิ่งต่ำไฟล์ยิ่งเล็ก
bpw ใช้เทียบ quantization ต่างชนิดด้วยหน่วยเดียวกัน และคำนวณขนาดไฟล์ได้จาก parameters × bpw ÷ 8 เช่น FP16 คือ 16 bpw ส่วน Q4_K_M เฉลี่ยราว 4.9 bpw ตามที่ย้อนคำนวณจากไฟล์ Llama 3.1 8B ราว 4.9GB
ค่า bpw จริงของไฟล์มักสูงกว่าตัวเลขในชื่อ quant เล็กน้อย เพราะบางส่วนของโมเดลใช้ความละเอียดสูงกว่า จึงควรดูจากไฟล์จริงมากกว่าเดาจากชื่อ