NVFP4
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”รูปแบบตัวเลขทศนิยม 4 บิต (4-bit floating point) ของ NVIDIA ที่ออกแบบมาให้ Tensor Core ของ GPU สถาปัตยกรรม Blackwell คำนวณได้โดยตรง ใช้ลดขนาดโมเดลและ memory ที่ต้องอ่านตอนรัน
NVFP4 เป็นรูปแบบหนึ่งของ quantization ที่เก็บแต่ละค่าด้วย 4 บิตแบบ floating point แทนที่จะเป็นจำนวนเต็มอย่างที่พบในชื่อ Q4 ทั่วไป และใช้ค่า scale ร่วมกันเป็นกลุ่มเล็ก ๆ เพื่อช่วยรักษาคุณภาพ จุดเด่นคือฮาร์ดแวร์ Blackwell รองรับรูปแบบนี้ในตัว จึงไม่ต้องแปลงกลับเป็นความละเอียดสูงก่อนคำนวณเสมอไป
ข้อควรรู้สำหรับ Local AI คือ NVFP4 ผูกกับ GPU NVIDIA รุ่นใหม่ที่ใช้ CUDA และซอฟต์แวร์ที่รองรับรูปแบบนี้ ไม่ใช่รูปแบบเดียวกับ Q4_K_M ในไฟล์ GGUF ส่วนคุณภาพและความเร็วจริงขึ้นกับโมเดล ซอฟต์แวร์ และการ์ดที่ใช้ จึงควรดูผลทดสอบเป็นกรณีไป