คู่มือ VRAM 16GB: โมเดล 12B สบาย แต่ 27B ที่ Q4 ยังไม่พอดีบนการ์ดใบเดียว

ประเภท: Guide · วันที่: 2026-10-12

VRAM 16GB เป็นระดับที่ “โมเดลระดับ 12B ใช้ quant สูงได้สบาย” แต่เส้นที่ต้องรู้คือ โมเดล 26–27B ที่ Q4 ไฟล์ ~16.8 GB ใกล้เต็ม VRAM ของการ์ดใบเดียว จนไม่เหลือที่ให้ KV cache นี่คือเหตุผลที่ Lab ทดสอบการต่อการ์ด 16GB สองใบเพื่อรวมเป็น 32GB

สรุปสั้น

• Gemma 4 12B ที่ Q4–Q6 สบาย และ Q8 พอใช้ บนการ์ด 16GB ใบเดียว
• Qwen3.8-27B Q4_K_M (~16.8 GB) และ Gemma 4 26B A4B Q4_K_M (~16.8 GB) ไม่พอดีบนใบเดียว น้ำหนักอย่างเดียวก็เกือบเท่า VRAM ของการ์ด (RX 9070 XT รายงาน 16,304 MiB) ไม่เหลือที่ให้ KV cache
• ถ้าต้องการโมเดลกลุ่มนี้ ทางที่ Lab ทดสอบแล้วคือ ต่อการ์ด 16GB สองใบแล้วแบ่งชั้น (layer split)
• ผลวัดด้านล่างเป็นของ การ์ดสองใบ ไม่ใช่ใบเดียว

พื้นที่ VRAM 16GB ใช้ไปกับอะไรบ้าง

ที่ว่างเหลือ ≈ VRAM − ขนาดไฟล์โมเดล
ต้องเผื่อ KV cache + overhead ประมาณ 2.5 GB ขึ้นไป (ตัวอย่างสมมติใน VRAM Budget: KV 1.5 + overhead 1.0)

ตัวเลข 2.5 GB เป็นค่าสมมติสำหรับ context ราว 8K ของโมเดลหนึ่ง อ่านรายละเอียดที่ VRAM Budget และ GPU Offload และ Context Window และ KV Cache

ความพอดีของโมเดลบน VRAM 16GB (การ์ดใบเดียว)

ขนาดไฟล์มาจากตารางใน เครื่องฉันรัน AI ได้ไหม และจากรายงานทดสอบของ Lab (Qwen3.8-27B Q4_K_M ~16.8 GB)

โมเดล	Quant	ไฟล์ (GB)	เหลือใน 16GB (GB)	ความพอดี
Gemma 4 12B	Q4_K_M	7.66	~8.3	สบาย
Gemma 4 12B	Q6_K	10.2	~5.8	สบาย
Gemma 4 12B	Q8_0	12.7	~3.3	พอใช้
Gemma 4 26B A4B	Q4_K_M	16.8	ไม่เหลือ	ไม่พอดี
Qwen3.8-27B (dense)	Q4_K_M	~16.8	ไม่เหลือ	ไม่พอดี
Gemma 4 31B	Q4_K_M	21.5	ติดลบ	ไม่พอดี

เกณฑ์: เหลือ ≥ 4 GB สบาย, 2.5–4 GB พอใช้, 0–2.5 GB ตึง, ติดลบหรือไม่เหลือ ไม่พอดี

ผลทดสอบจริง: เมื่อต่อการ์ด 16GB สองใบ

RX 9060 XT 16GB สองใบ (รวม 32GB) กับ Qwen3.8-27B Q4_K_M

ที่มา: รายงานทดสอบ Dual RX 9060 XT (PromptMark v0.4.0, context เป้าหมาย 12,288 โทเคน, ค่ามัธยฐาน)

เวิร์กโหลด	Decode ROCm ปกติ	Decode Vulkan ปกติ	Decode Vulkan + MTP	Prefill ROCm ปกติ
Content Generation (512/256)	14.22 tok/s	17.16	32.10	462.9 tok/s
Summarization Long (8K/256)	14.65 tok/s	16.66	31.23	883.4 tok/s

RX 9070 XT + RX 6800 XT (16GB + 16GB) กับ Q4_K_M

ที่มา: รายงานทดสอบ Dual GPU ข้ามสถาปัตยกรรม (Vulkan, context 512 โทเคน)

โมเดล	Decode (Vulkan)	Prefill (Vulkan)
Qwen3.6-35B-A3B (MoE)	117.10 tok/s	1,410.3 tok/s
Qwen3.8-27B (dense)	27.55 tok/s	400.2 tok/s

อ่านผลอย่างไร

1. dense 27B ช้ากว่า MoE มาก บนคู่การ์ดเดียวกัน (27.55 เทียบ 117.10 tok/s) เพราะ decode ถูกจำกัดด้วย bandwidth และ dense อ่านน้ำหนักทั้งก้อนต่อโทเคน ดู MoE vs Dense
2. การ์ดที่ bandwidth ต่ำกว่าได้ decode ต่ำกว่า คู่ 9060 XT ได้ 14–17 tok/s กับ dense 27B ขณะที่คู่ 9070 XT + 6800 XT ได้ราว 27 tok/s ขนาดไฟล์ใกล้กัน
3. backend ที่เร็วที่สุดขึ้นกับงาน Vulkan นำเรื่อง decode และ ROCm นำเรื่อง prefill/TTFT ในรายงานทั้งสอง ถ้างานคือแชตให้ดู decode ถ้างานคือ RAG หรือเอกสารยาวให้ดู prefill ดู Prefill และ TTFT
4. ความเสถียรไม่เท่ากัน ในคู่ 9070 XT + 6800 XT, ROCm มีรอบวัดที่ใช้ไม่ได้ (timing drop) บน dense 27B ส่วน Vulkan ผ่านครบ 30/30 รอบ อ่านรายละเอียดในรายงานต้นฉบับ
5. MTP ช่วย decode บน Vulkan ได้มาก (16.66–17.16 เป็น 30.3–32.1 tok/s บนคู่ 9060 XT) แต่ไม่ช่วย prefill

เมื่อ 16GB ใบเดียวไม่พอ มีสามทาง

ทาง	ข้อดี	ข้อเสีย
ลดขนาด (quant ต่ำลงหรือโมเดลเล็กลง)	ยังเร็วเต็มบน GPU ใบเดียว	คุณภาพหรือความสามารถลดลง
offload บางชั้นไป CPU/RAM	รันโมเดลใหญ่ได้	ช้าลงชัดเจน
ต่อการ์ดสองใบ	รันโมเดลใหญ่เต็ม GPU ได้	ต้องมีสล็อต/PSU/ระบายความร้อนเพิ่ม และเลือก backend ให้เหมาะ

อ่านเรื่องโมเดล 32GB ในใบเดียวที่ VRAM 32GB

ข้อจำกัดของหน้านี้

• ตารางความพอดีคำนวณจากขนาดไฟล์ GGUF ในบทความ เครื่องฉันรัน AI ได้ไหม ลบด้วยขนาด VRAM เป็นการประมาณ ไม่ใช่ผลทดสอบ
• หน้านี้ผลวัดในหน้านี้เป็นของการต่อการ์ดสองใบ ยังไม่มีผลวัดการ์ด 16GB ใบเดียว
• หน้านี้เป็นร่าง (draft) รอตรวจตัวเลขกับต้นฉบับก่อนเผยแพร่

แหล่งอ้างอิง

• เครื่องฉันรัน AI ได้ไหม (ตารางขนาดไฟล์ GGUF)
• รายงานทดสอบ Dual RX 9060 XT
• รายงานทดสอบ RX 9070 XT + RX 6800 XT
• https://github.com/ggml-org/llama.cpp