ข้ามไปยังเนื้อหา
aipcmag

โหมด

ชุดสี

AMD Radeon AI PRO R9700

รวมข้อมูลแนวทางการใช้งาน AMD Radeon AI PRO R9700 32 GB VRAM ทำงาน AI ในเครื่อง ทั้ง LLM, การสร้างภาพ, Speech-to-Text, RAG และการพัฒนาโมเดล ส่วนผลทดสอบอย่างละเอียดอยู่ใน รีวิว R9700

Radeon AI PRO R9700 น่าสนใจสำหรับ Local AI ด้วยเหตุผลที่ชัดที่สุดคือ VRAM 32GB บนการ์ดใบเดียวในรูปแบบ 2 สล็อตที่ใส่เครื่องทั่วไปได้ แต่การตัดสินใจซื้อจริงขึ้นกับอีกสองเรื่องที่สเปคบอกไม่ได้ คือความเร็วที่วัดได้จริง และความพร้อมของซอฟต์แวร์บนสถาปัตยกรรม RDNA 4

สเปคที่เกี่ยวกับงาน AI

หัวข้อที่มีชื่อว่า “สเปคที่เกี่ยวกับงาน AI”

คัดเฉพาะที่ส่งผลต่อ Local AI จากหน้าสเปคทางการของ AMD (AMD Radeon AI PRO R9700)

รายการ ค่า
สถาปัตยกรรม AMD RDNA 4
Compute Units / Stream Processors 64 / 4,096
AI Accelerators 128
หน่วยความจำ 32 GB GDDR6, bus 256-bit
Memory bandwidth สูงสุด 640 GB/s
Infinity Cache 64 MB
FP16 Matrix สูงสุด 191 TFLOPs (383 เมื่อใช้ structured sparsity)
INT8 Matrix สูงสุด 383 TOPs (766 เมื่อใช้ structured sparsity)
Total Board Power 300 W
PSU ขั้นต่ำที่ AMD แนะนำ 750 W
ช่องต่อไฟ 12V-2x6
อินเทอร์เฟซ PCIe 5.0 x16
รูปแบบการ์ด 2 สล็อต ระบายความร้อนแบบ active
ECC รองรับ (เฉพาะ Linux)
ระบบปฏิบัติการ Windows 10/11 64-bit, Linux x86 64-bit

ตัวเลขเหล่านี้เป็นค่าสูงสุดตามทฤษฎี ไม่ใช่ความเร็วที่ได้จริงตอนรันโมเดล ตัวเลขที่ต้องดูสำหรับ LLM คือ VRAM และ bandwidth เพราะ decode ต้องอ่านน้ำหนักโมเดลทุกครั้งที่สร้างหนึ่งโทเคน จึงถูกจำกัดด้วย bandwidth เป็นหลัก ส่วน prefill ใช้พลังประมวลผลมากกว่า ดู Prefill vs Decode

เหมาะกับงาน AI แบบไหน

หัวข้อที่มีชื่อว่า “เหมาะกับงาน AI แบบไหน”
ประเภทงาน ความเหมาะสม ตัวอย่างการใช้งาน
แชทกับ LLM ในเครื่อง ดีมาก Qwen 32B, Gemma 27B, DeepSeek-R1-Distill 32B
Coding assistant ดีมาก Qwen Coder, DeepSeek-Coder, โมเดล MoE สำหรับ coding
สร้างภาพ ดีมาก Flux.1 Schnell, Stable Diffusion 3.5, ComfyUI
Speech-to-Text ดีมาก Whisper medium/large และโมเดล speech แบบ quantized
RAG และงานเอกสาร ดีมาก LLM 27B–32B + vector database + long context
Fine-tuning หรือ LoRA ทำได้ โมเดล 7B–14B หรือ 32B แบบ quantized/LoRA ตาม VRAM ที่เหลือ
โมเดล 70B+ dense ไม่เหมาะในการ์ดเดียว ต้องใช้ multi-GPU หรือ quantization ระดับสูง

โมเดลที่แนะนำ

หัวข้อที่มีชื่อว่า “โมเดลที่แนะนำ”
โมเดล Quantization แนะนำ VRAM โดยประมาณ เหมาะกับ
Llama 3.1 8B Instruct Q5_K_M / Q6_K / FP8 6–12 GB แชท, สรุป, งานเขียน
Qwen 14B Q5_K_M / Q6_K / FP8 10–16 GB reasoning, coding, งานเอกสาร
Gemma 27B Instruct Q4_K_M ~ 25 GB แชทคุณภาพสูง, งานเอกสาร
Qwen 32B Q4_K_M ~ 23 GB reasoning, coding, วิเคราะห์
DeepSeek-R1-Distill Qwen 32B Q6 ~ 28 GB reasoning และ coding
Mistral Small 24B Q8 ~ 27 GB แชท, งานเอกสาร, งานทั่วไป
Qwen3 35B-A3B หรือ MoE ใกล้เคียง Q4 GGUF ~ 22 GB coding และงานที่ต้องการความเร็วสูง

แนวทางเลือกโมเดล

หัวข้อที่มีชื่อว่า “แนวทางเลือกโมเดล”
  • สำหรับงานทั่วไป เริ่มจากโมเดล 8B–14B แบบ Q5/Q6 หรือ FP8 เพื่อให้มี VRAM เหลือสำหรับ context ยาว
  • หากต้องการคุณภาพคำตอบและ reasoning ที่ดีขึ้น ให้ใช้โมเดล 27B–32B แบบ Q4_K_M
  • สำหรับ coding ที่ต้องการความเร็ว ให้พิจารณาโมเดล MoE ที่มี active parameters น้อย เช่น 35B-A3B
  • หากต้องการ context ยาว เช่น 128K tokens ควรเลือกโมเดลที่มีขนาดไฟล์และ KV cache ต่ำกว่า เพื่อไม่ให้ VRAM เต็ม

ผลทดสอบของเรา

หัวข้อที่มีชื่อว่า “ผลทดสอบของเรา”

ทดสอบด้วย PromptMark v0.4.0 บน Windows 11 โดยใช้ llama.cpp b10362 เป็นตัวรันโมเดล (VRAM ที่ระบบมองเห็น 32,624 MiB) ทดสอบเมื่อ 20 ส.ค. 2026 ตารางด้านล่างคือ decode ในหน่วย tokens/s รายละเอียด TTFT ที่ 8K, prefill ตามความยาว context และ concurrency 1–16 อยู่ใน

โมเดล Vulkan ROCm
Qwen3.6-35B-A3B 159.14 103.39
Ornith-1.0-35B 158.99 104.63
Gemma-4-26B-A4B 140.72 101.78
Nemotron NVFP4 119.69 121.49
Gemma-4-12B 64.39 60.11
Muse-Glimmer 36.95 34.02
Qwen3.8-27B 33.08 29.39
Gemma-4-31B 28.53 25.78

อ่านผลสั้น ๆ

  • โมเดล MoE (active น้อย) ได้ 100+ tok/s ส่วน dense ระดับ 27–31B อยู่ราว 26–33 tok/s ดู MoE vs Dense
  • บน R9700 Vulkan เร็วกว่า ROCm ในโมเดลส่วนใหญ่ มีข้อยกเว้นคือ Nemotron NVFP4 ที่ ROCm นำเล็กน้อย
  • ผลขึ้นกับแบ็กเอนด์และเวอร์ชันซอฟต์แวร์ ผลวัดนี้ใช้ได้กับ build และเวลาที่ระบุเท่านั้น

ซอฟต์แวร์ที่แนะนำ

หัวข้อที่มีชื่อว่า “ซอฟต์แวร์ที่แนะนำ”
ซอฟต์แวร์ ใช้ทำอะไร Backend ที่แนะนำ
Ollama รัน LLM ง่ายที่สุด ROCm บน Linux, Vulkan/HIP บน Windows
llama.cpp ควบคุมการตั้งค่าสูง รองรับ GGUF ROCm/HIP หรือ Vulkan
LM Studio ใช้งานแบบ GUI Vulkan หรือ ROCm ตาม build ที่ใช้
vLLM เสิร์ฟโมเดลแบบ API และ workload หลายผู้ใช้ ROCm
PyTorch + ROCm พัฒนา, inference และ fine-tuning ROCm
ComfyUI สร้างภาพและทำ workflow ROCm/PyTorch
Whisper.cpp แปลงเสียงเป็นข้อความ ROCm หรือ Vulkan
Open WebUI หน้าแชทคล้าย ChatGPT เชื่อมกับ Ollama, vLLM หรือ API

เทียบกับ Intel Arc Pro B70: VRAM 32GB เท่ากัน bandwidth 640 กับ 608 GB/s TBP 300 W กับ 230 W ดู Intel Arc Pro B70

บทความที่เกี่ยวข้อง

หัวข้อที่มีชื่อว่า “บทความที่เกี่ยวข้อง”

แหล่งอ้างอิง

หัวข้อที่มีชื่อว่า “แหล่งอ้างอิง”