Top-p / Top-k
ความหมาย
หัวข้อที่มีชื่อว่า “ความหมาย”วิธีจำกัดกลุ่ม token ที่โมเดลเลือกได้ในแต่ละก้าว Top-k เลือกจากจำนวน k อันดับแรก ส่วน Top-p เลือกจากกลุ่มที่ความน่าจะเป็นรวมถึงค่า p
ทั้งสองเป็นการตั้งค่า sampling ที่ตัด token ที่ไม่น่าจะเป็นออกก่อนสุ่มเลือก เพื่อลดโอกาสได้คำแปลกหลุดมา
- Top-k เก็บไว้เฉพาะ k อันดับที่น่าจะเป็นที่สุด จำนวนคงที่ไม่ว่าโมเดลจะมั่นใจแค่ไหน
- Top-p (nucleus sampling) เก็บ token ตามลำดับความน่าจะเป็นไปจนผลรวมถึงค่า p จำนวนที่เก็บจึงเปลี่ยนตามความมั่นใจของโมเดลในแต่ละก้าว
ใช้ร่วมกับ Temperature ได้ โดยปกติ temperature ปรับความสุ่ม ส่วน top-p และ top-k กำหนดขอบเขตตัวเลือก ค่าที่แนะนำต่างกันไปตามโมเดล ควรดูจากหน้าโมเดลของผู้พัฒนาและระบุค่าที่ใช้ทุกครั้งที่รายงานผลทดสอบ การปรับค่าเหล่านี้ช่วยลด Hallucination ได้บางส่วนแต่ไม่ได้แก้ที่ต้นเหตุ