Nous Research เปิดตัว Arete-27B โมเดลที่นำ Qwen3.8-27B มาปรับแต่งใหม่ เพื่อลดอคติทางการเมืองและเปลี่ยนกรอบการตอบสนองของ AI

การพัฒนาโมเดล AI ในปัจจุบันไม่ได้แข่งขันกันเฉพาะเรื่องขนาดโมเดล ความเร็วในการประมวลผล หรือความสามารถในการเขียนโค้ดเท่านั้น แต่ยังมีอีกประเด็นที่สำคัญไม่แพ้กัน นั่นคือ Value Alignment หรือการกำหนดกรอบค่านิยมและแนวคิดที่โมเดลใช้ในการตอบสนองต่อผู้ใช้งาน

ประเด็นนี้เป็นสิ่งที่ Nous Research ให้ความสนใจ และนำไปสู่การพัฒนา Arete-27B โมเดลที่นำ Qwen3.8-27B ซึ่งเป็น Open-weight Model จาก Alibaba มาผ่านกระบวนการ Post-training เพื่อปรับพฤติกรรมการตอบคำถามในหัวข้อที่เกี่ยวข้องกับการเมือง เสรีภาพในการแสดงความคิดเห็น ประชาธิปไตย และประเด็นทางสังคมอื่น ๆ

สิ่งที่น่าสนใจคือ Nous Research ไม่ได้ฝึกโมเดลใหม่ตั้งแต่ต้น แต่ใช้ข้อมูลฝึกเพิ่มเติมประมาณ 52.8 ล้าน Tokens เพื่อปรับเปลี่ยนพฤติกรรมของโมเดล โดยไม่ได้เปลี่ยนสถาปัตยกรรม และไม่ได้ใช้ Reinforcement Learning หรือ Preference Optimization

ทำไม Nous Research จึงต้องสร้าง Arete-27B

Nous Research มองว่าหนึ่งในความเสี่ยงของการพัฒนา AI ในปัจจุบัน คือโมเดลจากผู้พัฒนารายใหญ่มีแนวโน้มที่จะมีกรอบความคิดและมุมมองที่คล้ายคลึงกัน ซึ่งอาจส่งผลต่อการตัดสินใจของ AI โดยเฉพาะเมื่อผู้ใช้งานเริ่มนำ AI Agent ไปทำงานที่ต้องอาศัยการค้นหาข้อเท็จจริง การวิเคราะห์ และการตัดสินใจที่มีความซับซ้อน

อีกประเด็นหนึ่งคือ Open-weight Models จากประเทศจีน โดยเฉพาะโมเดลที่มีความสามารถสูง มักมีพฤติกรรมบางอย่างที่สะท้อนกรอบแนวคิดหรือจุดยืนของรัฐจีนในประเด็นที่มีความอ่อนไหวทางการเมือง

Nous Research ระบุว่าพบพฤติกรรมดังกล่าวใน Qwen3.8-27B ทั้งการปฏิเสธตอบคำถาม การเบี่ยงเบนประเด็น และการให้คำตอบที่อ้างอิงกรอบการนำเสนอของพรรคคอมมิวนิสต์จีน (CCP)

ทีมพัฒนามองว่าพฤติกรรมเหล่านี้อาจส่งผลมากกว่าการตอบคำถามทางการเมือง เพราะมีงานศึกษาบางส่วนที่พบว่าบริบททางภูมิรัฐศาสตร์สามารถส่งผลต่อคุณภาพของโค้ดที่ AI สร้างขึ้นได้ด้วย

ตัวอย่างเช่น โมเดลอาจสร้างโค้ดที่มีช่องโหว่มากขึ้นเมื่อเข้าใจว่ากำลังทำงานให้กับองค์กรหรือหน่วยงานของสหรัฐฯ

ดังนั้น เป้าหมายของ Arete-27B จึงไม่ใช่เพียงการทำให้โมเดลตอบคำถามทางการเมืองได้อย่างอิสระมากขึ้น แต่เป็นการทดลองว่าการปรับแต่งพฤติกรรมที่ฝังอยู่ในโมเดลสามารถทำได้มากน้อยเพียงใด โดยไม่กระทบต่อความสามารถหลักของโมเดล

ก่อนเริ่มปรับแต่งโมเดล ทำอะไรไปบ้าง

ก่อนเริ่มกระบวนการ Post-training ทีม Nous Research ได้สร้างชุดประเมินผล Propaganda_Eval จำนวน 803 Prompts ครอบคลุม 7 หมวดหมู่ ได้แก่

1. Freedom of Expression: เสรีภาพในการแสดงความคิดเห็น
2. State Ideology: อุดมการณ์ของรัฐ
3. State versus Free Market: บทบาทของรัฐและตลาดเสรี
4. Education: การศึกษา
5. Data Privacy and Surveillance: ความเป็นส่วนตัวของข้อมูลและการเฝ้าระวัง
6. Democracy: ประชาธิปไตย
7. Environment: สิ่งแวดล้อม

การประเมินแบ่งออกเป็น 2 ด้านหลัก ได้แก่

1. Factual Recall

ตรวจสอบว่าโมเดลสามารถให้ข้อมูลข้อเท็จจริงที่สอดคล้องกับแหล่งข้อมูลที่ผ่านการตรวจสอบแล้วได้มากน้อยเพียงใด โดยแต่ละคำถามจะมีข้อเท็จจริงที่จำเป็นต้องตอบประมาณ 2-4 ประเด็น

คะแนนอยู่ระหว่าง 0-5 โดยคะแนน 5 หมายถึงสามารถระบุข้อเท็จจริงที่กำหนดไว้ได้ครบถ้วน

2. Framing

ตรวจสอบว่าโมเดลนำเสนอข้อมูลด้วยกรอบความคิดหรือถ้อยคำที่สอดคล้องกับการโฆษณาชวนเชื่อของรัฐบาลจีนหรือไม่ โดยผู้ประเมินต้องระบุข้อความที่เข้าข่ายอย่างชัดเจน

การประเมินใช้ Grok 4.7 เป็น LLM Judge โดยทีมงานนำชุดทดสอบนำร่อง 25 Prompts มาตรวจสอบด้วยมนุษย์ก่อน และปรับเกณฑ์การประเมินถึง 3 ครั้ง เพื่อให้ผลการตัดสินมีความสอดคล้องกันมากขึ้น

นอกจากนี้ ทีมพัฒนายังแยกข้อมูลสำหรับการประเมินออกจากข้อมูลฝึก เพื่อป้องกันไม่ให้โมเดลเห็นคำถามเดียวกันทั้งในขั้นตอน Training และ Evaluation

เลือก Inkling เป็น Teacher Model

การปรับแต่งโมเดลด้วยข้อมูลเพิ่มเติมจำเป็นต้องมีต้นแบบสำหรับสร้างคำตอบที่ต้องการให้โมเดลเรียนรู้ ซึ่งในกระบวนการนี้ Nous Research เลือกใช้ Inkling เป็น Teacher Model

การเลือกโมเดลไม่ได้พิจารณาจาก Benchmark เพียงอย่างเดียว แต่รวมถึงการประเมินคุณภาพคำตอบในประเด็นที่เกี่ยวข้องกับค่านิยมและมุมมองที่ต้องการถ่ายทอดด้วย

ทีมงานยังเคยพิจารณา Nemotron 3 Ultra แต่พบพฤติกรรมบางอย่างที่ยังไม่สอดคล้องกับเป้าหมายของโครงการ

ท้ายที่สุด Inkling ได้รับเลือกให้เป็น Teacher Model เนื่องจากมีผลการประเมินที่เหมาะสมกับแนวทางที่ทีมต้องการ

อีกเหตุผลหนึ่งที่น่าสนใจคือการเลือกใช้ Open Model เป็น Teacher Model เพื่อหลีกเลี่ยงข้อจำกัดด้านเงื่อนไขการใช้งานที่อาจเกี่ยวข้องกับการนำผลลัพธ์จากโมเดลอื่นมาใช้ฝึกต่อ หรือที่เรียกว่า Illicit Distillation

สร้าง Dataset เกือบ 29,000 ตัวอย่าง

หลังจากเลือก Teacher Model แล้ว Nous Research ได้สร้างชุดข้อมูลสำหรับฝึก Arete-27B โดยเริ่มจากการสร้าง Prompts จำนวน 20,000 รายการ ครอบคลุมทั้ง 7 หมวดหมู่

จากนั้นนำคำถามไปผ่านกระบวนการ Deduplication และตรวจสอบกับชุด Evaluation เพื่อกำจัดข้อมูลที่ซ้ำกัน

กระบวนการสร้างข้อมูลจะรวบรวมทั้งคำตอบจาก Teacher Model และคำตอบของโมเดลต้นฉบับ เพื่อนำมาใช้เป็นข้อมูลสำหรับการปรับแต่ง

สิ่งที่น่าสนใจคือทีมพัฒนาใช้ระบบตรวจสอบข้อมูลผ่าน Reviewed Pull Requests ในลักษณะเดียวกับกระบวนการส่งโค้ดเข้าสู่โครงการซอฟต์แวร์ เพื่อให้สามารถตรวจสอบและติดตามการเปลี่ยนแปลงของ Dataset ได้

ข้อมูลที่ใช้ฝึกในรอบสุดท้ายมีทั้งหมด 28,886 Training Examples โดยมีรายละเอียดความยาว Tokens และสัดส่วนข้อมูลแยกตามหมวดหมู่ให้ตรวจสอบได้

เทคนิค Post-training ที่ใช้กับ Arete-27B

สำหรับกระบวนการฝึก Nous Research ใช้วิธี Fine-tuning โมเดล Qwen3.8-27B โดยปรับแต่งน้ำหนักของโมเดลทั้งหมด ยกเว้น Vision Encoder ซึ่งไม่ได้ใช้งาน เนื่องจากข้อมูลฝึกเป็นข้อความทั้งหมด

รายละเอียดการฝึกประกอบด้วย

รายการ	ค่าที่ใช้
Base Model	Qwen3.8-27B
Optimizer	AdamW
Learning Rate	1e-6 ถึง 1e-5
Batch Size	48
Epochs	2
Precision	BF16
Parallelism	Tensor Parallel 4
Training Steps	1,202
Training Tokens	ประมาณ 52.8 ล้าน Tokens

กระบวนการฝึกใช้ข้อมูลประมาณ 50,000 Samples ที่ Context Length 64K โดยไม่มีการทำ Sequence Packing และฝึกทั้งหมด 2 Epochs

ในส่วนของ Optimizer ใช้ AdamW พร้อมค่า β = (0.9, 0.98), Weight Decay 0.1 และ Gradient Clipping 1.0

Learning Rate เริ่มจาก 1e-6 และเพิ่มขึ้นไปถึง 1e-5 ในช่วง 120 Steps แรก ก่อนจะค่อย ๆ ลดลงด้วย Cosine Decay จนเหลือ 1e-6 เมื่อจบการฝึกที่ 1,202 Steps

จุดที่น่าสนใจคือ Nous Research ไม่ได้ใช้ Reinforcement Learning, Preference Optimization หรือการปรับเปลี่ยนสถาปัตยกรรมของโมเดลแต่อย่างใด

กล่าวอีกนัยหนึ่ง Arete-27B ยังคงใช้พื้นฐานสถาปัตยกรรมของ Qwen3.8-27B แต่ผ่านการปรับแต่งน้ำหนักของโมเดลด้วยข้อมูลที่คัดเลือกมาเพื่อเปลี่ยนพฤติกรรมการตอบสนอง

ผลการทดสอบ Arete-27B เทียบกับ Qwen3.8-27B

ผลการทดสอบเป็นส่วนที่น่าสนใจที่สุดของโครงการ เพราะแสดงให้เห็นว่าการปรับแต่งโมเดลสามารถเปลี่ยนพฤติกรรมการตอบคำถามได้อย่างชัดเจน

ตัวชี้วัด	Qwen3.8-27B	Arete-27B
Fact Mean (0-5)	2.32	2.98
คำตอบที่มี Propaganda	22%	0.9%
คำตอบที่ได้คะแนน 0	359	216

ตัวเลขเปรียบเทียบใช้ผลการทดสอบ Thinking Off ที่ Temperature 0

Arete-27B สามารถเพิ่มคะแนน Fact Mean จาก 2.32 เป็น 2.98 คะแนน และลดสัดส่วนคำตอบที่เข้าข่าย Propaganda จาก 22% เหลือ 0.9%

นั่นหมายความว่าโมเดลสามารถลดพฤติกรรมการตอบตามกรอบแนวคิดที่ทีมวิจัยต้องการแก้ไขได้อย่างมาก ขณะเดียวกันก็สามารถให้ข้อมูลข้อเท็จจริงได้ดีขึ้น

เมื่อพิจารณาแยกตามหมวดหมู่ พบว่าหมวด Freedom of Expression มีการเปลี่ยนแปลงมากที่สุด โดยคะแนน Fact Mean เพิ่มขึ้นจาก 0.89 เป็น 2.44 ขณะที่สัดส่วนคำตอบที่เข้าข่าย Propaganda ลดลงจาก 60% เหลือ 1%

นอกจากนี้ ทีมพัฒนายังระบุว่าผลการปรับปรุงเกิดขึ้นในทั้ง 7 หมวดหมู่ และมีความสม่ำเสมอระหว่างการทดสอบหลายรอบ

อย่างไรก็ตาม ผลคะแนนดังกล่าวเป็นผลจากชุด Evaluation ที่ Nous Research ออกแบบขึ้นเอง จึงควรมองเป็นหลักฐานสนับสนุนแนวทางการพัฒนาของทีม มากกว่าจะถือเป็นข้อสรุปว่าโมเดลมีความเป็นกลางทางการเมืองอย่างสมบูรณ์

ปรับพฤติกรรมใหม่ แต่ยังรักษาความสามารถเดิม

คำถามสำคัญของการทำ Fine-tuning คือ เมื่อปรับแต่งพฤติกรรมของโมเดลแล้ว ความสามารถด้านอื่นจะลดลงหรือไม่

Nous Research จึงนำ Arete-27B ไปทดสอบเพิ่มเติมด้วย Benchmark สำหรับความสามารถทั่วไปและการทำงานด้าน Agent

ผลการทดสอบ Hermes Bench พบว่า

• Qwen3.8-27B: 65.77%
• Arete-27B: 65.60%

คะแนนแตกต่างกันเพียง 0.17 จุด ซึ่งทีมพัฒนามองว่าไม่สามารถแยกความแตกต่างได้อย่างมีนัยสำคัญจากความผันผวนของการทดสอบ

ส่วน Terminal-Bench 2.1 ซึ่งใช้ประเมินความสามารถในการทำงานผ่าน Terminal พบว่า

• Qwen3.8-27B: 67%
• Arete-27B: 70%

Arete-27B ทำคะแนนได้สูงกว่าโมเดลต้นฉบับ 3 จุด

Nous Research ระบุว่าไม่พบการลดลงของความสามารถในส่วนที่นำมาทดสอบ และยังคงรักษาความสามารถด้าน Agentic Capabilities ของโมเดลต้นฉบับไว้ได้

อย่างไรก็ตาม ทีมงานไม่ได้สรุปว่าคะแนนที่เพิ่มขึ้นเป็นผลโดยตรงจากการ Fine-tuning เนื่องจากมีความแตกต่างบางประการในการตั้งค่าการทดสอบ

สิ่งที่น่าสนใจจากโครงการ Arete-27B

สิ่งที่ Arete-27B แสดงให้เห็นคือ พฤติกรรมบางอย่างของ LLM อาจเปลี่ยนแปลงได้ด้วยการปรับแต่งเพิ่มเติม โดยไม่จำเป็นต้องฝึกโมเดลใหม่ทั้งหมดตั้งแต่ต้น

Nous Research ใช้ข้อมูลฝึกประมาณ 52.8 ล้าน Tokens กับโมเดลขนาด 27B Parameters เพื่อปรับเปลี่ยนพฤติกรรมการตอบคำถามในหัวข้อเฉพาะทาง และรายงานว่าสามารถลดคำตอบที่เข้าข่าย Propaganda ได้อย่างชัดเจน โดยยังรักษาความสามารถทั่วไปไว้ใกล้เคียงกับโมเดลต้นฉบับ

แนวทางนี้มีความสำคัญต่อระบบ Open-weight AI เพราะเปิดโอกาสให้นักพัฒนาและองค์กรสามารถปรับแต่งโมเดลให้สอดคล้องกับแนวทางการใช้งานของตนเองได้มากขึ้น

อย่างไรก็ตาม การเปลี่ยนกรอบค่านิยมของโมเดลไม่ได้หมายความว่าโมเดลจะปราศจากอคติ เพราะการเลือกข้อมูลฝึก การกำหนดเกณฑ์ประเมิน และการเลือก Teacher Model ล้วนมีผลต่อพฤติกรรมที่เกิดขึ้น

Arete-27B จึงเป็นกรณีศึกษาที่น่าสนใจทั้งในด้านเทคนิค Post-training และการควบคุมพฤติกรรมของ Open-weight Models

สำหรับนักพัฒนา Local AI โครงการนี้ยังสะท้อนให้เห็นว่า การปรับแต่งโมเดลไม่ได้มีเป้าหมายเพียงเพิ่มความสามารถในการเขียนโค้ดหรือทำงานเฉพาะทางเท่านั้น แต่ยังสามารถใช้เปลี่ยนรูปแบบการตอบสนองและแนวทางการทำงานของ AI ให้เหมาะกับวัตถุประสงค์ที่ต้องการได้ด้วย

แหล่งอ้างอิง

• Nous Research: Introducing Arete-27B