คำศัพท์ · หน้า 2

← กลับหน้าแรกของหมวด

• ROCm

  แพลตฟอร์มคำนวณบน GPU ของ AMD แบบโอเพนซอร์ส เป็นคู่เทียบของ CUDA ฝั่ง AMD

• Speculative Decoding

  เทคนิคที่ใช้โมเดลเล็ก (draft) เดา token ถัดไปหลายตัวล่วงหน้า แล้วให้โมเดลใหญ่ตรวจทีเดียว เพื่อให้สร้างคำตอบได้เร็วขึ้น

• SYCL

  มาตรฐานเปิดสำหรับเขียนโปรแกรมคำนวณบนอุปกรณ์หลายชนิด (CPU, GPU) ด้วยโค้ด C++ ชุดเดียว ฝั่ง Intel ใช้เป็นเส้นทางหลักสำหรับ GPU ผ่าน oneAPI

• Temperature

  ค่าที่ปรับความสุ่มของการเลือก token ถัดไป ค่าต่ำให้คำตอบนิ่งและคาดเดาได้ ค่าสูงให้คำตอบหลากหลายและสร้างสรรค์กว่า

• Throughput

  ปริมาณงานที่ระบบทำได้ต่อหน่วยเวลา ในงาน LLM มักวัดเป็นจำนวน token ที่สร้างได้ต่อวินาที รวมทุกคำขอที่ทำพร้อมกัน

• Top-p / Top-k

  วิธีจำกัดกลุ่ม token ที่โมเดลเลือกได้ในแต่ละก้าว Top-k เลือกจากจำนวน k อันดับแรก ส่วน Top-p เลือกจากกลุ่มที่ความน่าจะเป็นรวมถึงค่า p

• TPS (Tokens per Second)

  จำนวน token ที่โมเดลประมวลผลหรือสร้างได้ต่อวินาที ใช้บอกความเร็วของทั้ง Prefill และ Decode

• TTFT (Time To First Token)

  ระยะเวลาตั้งแต่ส่ง prompt จนโมเดลเริ่มสร้าง token แรก

• Vulkan

  API กราฟิกและคำนวณบน GPU มาตรฐานเปิด ที่ใช้ได้กับ GPU หลายยี่ห้อ (NVIDIA, AMD, Intel) โปรแกรม AI นำมาใช้เป็น backend กลางได้

← ก่อนหน้า12ถัดไป →