Speculative Decoding
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”เทคนิคที่ใช้โมเดลเล็ก (draft) เดา token ถัดไปหลายตัวล่วงหน้า แล้วให้โมเดลใหญ่ตรวจทีเดียว เพื่อให้สร้างคำตอบได้เร็วขึ้น
ถ้าโมเดลใหญ่เห็นด้วยกับ token ที่เดามา ก็รับหลายตัวในรอบเดียว ถ้าไม่เห็นด้วยก็ใช้ token ของตัวเองแทน โดยหลักการผลลัพธ์จึงเท่ากับที่โมเดลใหญ่สร้างเอง แต่ใช้เวลาน้อยลง
ความเร็วที่ได้ขึ้นกับอัตราที่โมเดลใหญ่รับ token ที่เดา และต้องใช้หน่วยความจำเพิ่มสำหรับโมเดลเล็กอีกตัว ผลทดสอบจึงต้องระบุคู่โมเดลที่ใช้ และชนิดของงาน เพราะอัตรารับต่างกันตามงาน