A practical explanation for เบ๊

AI, LLM
และ Harness

ทำไม AI ถึงตอบโจทย์เลขง่าย ๆ ผิดได้ และทำไมการใช้โปรแกรมตรวจไม่ได้แปลว่า AI “ทำเองไม่เป็น” ค่ะ

ใช้โจทย์เกม 67 เป็นตัวอย่าง · อธิบายแบบไม่ขายฝัน

เริ่มจากปัญหาที่เจอจริง

โจทย์คือเอาเลขโดด 4 ตัวมาบวก ลบ คูณ หาร ให้ได้เป้าหมาย 67 ค่ะ คำถามดูเหมือนง่าย แต่ถ้าต้องการรู้ว่า มีทั้งหมดกี่ชุด เราต้องตรวจให้ครบ ไม่ใช่ยกตัวอย่างที่นึกออกมาได้ไม่กี่ชุดค่ะ

ChatGPT แต่ละรอบให้จำนวนไม่เท่ากัน มีชุดที่ผิดปนมา และบางครั้งเมื่อรู้ว่าตัวเองผิดก็ไม่ได้กลับไปรันการตรวจใหม่ค่ะ

นี่ไม่ใช่แค่ปัญหาว่า “AI โง่เลข” ค่ะ แต่เป็นปัญหาว่าเราใช้เครื่องมือที่ออกแบบมาสำหรับการสร้างภาษามาทำงานที่ต้องการการพิสูจน์แบบครบทุกกรณีค่ะ

สามคำที่ต้องแยกให้ออก

AIแนวคิดกว้าง ๆ ของระบบที่ทำงานซึ่งปกติต้องใช้ความฉลาด เช่น เข้าใจโจทย์ วางแผน และตัดสินใจตามกติกาค่ะ
LLMโมเดลภาษาขนาดใหญ่ที่สร้างคำตอบจากรูปแบบของข้อความ มีความสามารถด้านภาษาและเหตุผล แต่ไม่ได้รับประกันการคำนวณทุกตัวเลขค่ะ
Harnessชั้นควบคุมรอบโมเดลที่ให้เครื่องมือ กติกา การตรวจผล และ workflow เพื่อทำให้คำตอบเชื่อถือได้มากขึ้นค่ะ

AI = บทบาทLLM = เครื่องยนต์ภาษาHarness = ระบบควบคุมและตรวจสอบ

LLM ทำงานอย่างไร

LLM อ่านข้อความที่มีอยู่ แล้วทำนายว่า token ถัดไปควรเป็นอะไร โดยใช้รูปแบบที่เรียนรู้จากข้อมูลจำนวนมากค่ะ มันจึงเก่งในการเขียนประโยคที่ดูเป็นธรรมชาติและเชื่อมโยงเหตุผลได้ค่ะ

แต่การทำนาย token ที่ดูเหมือนคำตอบที่ถูก ไม่เท่ากับการรันโปรแกรมตรวจทุกกรณี ค่ะ เมื่อถามให้มันลิสต์ชุดคำตอบ มันอาจสร้างชุดที่ดูเข้าท่าโดยไม่ได้ตรวจทุกชุดจริงค่ะ

จุดที่ LLM พลาดได้ค่ะ
ลืมใช้เลขบางตัว · ใช้เลขซ้ำโดยไม่รู้ตัว · วงเล็บผิด · คำนวณเศษส่วนผิด · สรุปว่าตรวจครบทั้งที่ตรวจเพียงบางส่วนค่ะ

แล้ว AI มีประโยชน์ตรงไหน

AI ยังมีประโยชน์มากค่ะ เพียงแต่ต้องให้มันทำหน้าที่ที่เหมาะสมค่ะ

AI / LLMเข้าใจกติกาภาษาคน
เลือกวิธีแก้
→
Programคำนวณครบทุกกรณี
แบบ exact
→
Humanกำหนดกติกา
ตรวจรับผล
AI ไม่ได้หมดความหมายเพราะต้องใช้โปรแกรมค่ะ
AI ช่วยแปลงโจทย์คลุมเครือให้เป็นกติกาที่ตรวจได้ ช่วยเขียนตัวตรวจ อธิบายผล และช่วยเลือกว่าจะใช้เครื่องมืออะไรค่ะ

Harness คืออะไรในกรณีนี้

Harness คือระบบที่ไม่ปล่อยให้ LLM ตอบแล้วจบค่ะ แต่วาง “รั้ว” และเครื่องมือรอบ LLM เพื่อให้ผลลัพธ์ผ่านขั้นตอนตรวจสอบก่อนส่งให้คนอ่านค่ะ

  1. 1กำหนดกติกาให้ชัด เช่น ใช้เลข 1–9, ไม่ซ้ำ, ใช้ทุกตัวครั้งเดียว, ใช้เฉพาะ + − × ÷ และวงเล็บค่ะ
  2. 2ให้ LLM สร้างตัวตรวจ ไม่ใช่ให้ LLM เดาคำตอบค่ะ
  3. 3รัน exhaustive search ตรวจทุกชุดและทุกโครงสร้างวงเล็บค่ะ
  4. 4ตรวจซ้ำด้วยวิธีที่สอง เพื่อลดความเสี่ยงจาก bug ในตัวตรวจชุดแรกค่ะ
  5. 5รายงานสมมติฐานและหลักฐาน เพื่อให้คนอื่นรันซ้ำและตรวจความเข้าใจได้ค่ะ
LLM เสนอวิธี → Harness เรียกโปรแกรม → โปรแกรมคำนวณ → Harness ตรวจผล → LLM อธิบายผลที่ยืนยันแล้ว

ผลจาก Harness กับเกม 67

เมื่อใช้ exact rational arithmetic และตรวจครบทุกโครงสร้างของการคำนวณ ผลจะแตกต่างตามกติกาค่ะ

40 ชุดใช้เลข 1–9, เลขไม่ซ้ำ และไม่สนใจลำดับค่ะ
42 ชุดใช้เลข 0–9, เลขไม่ซ้ำ และไม่สนใจลำดับค่ะ
100 ชุดใช้เลข 0–9 และอนุญาตให้เลขซ้ำได้ค่ะ

สำหรับการแข่งขัน ถ้าใช้กติกาแบบมาตรฐานที่ไม่ให้เลขซ้ำและใช้เฉพาะ 1–9 คำตอบคือ 40 ชุด ค่ะ ถ้าอนุญาตเลข 0 ด้วย คำตอบคือ 42 ชุด ค่ะ

บทสรุปแบบสั้นที่สุด

LLM ไม่ใช่เครื่องคิดเลขที่รับประกันคำตอบค่ะ
มันเป็นเครื่องยนต์ภาษาที่ช่วยคิดและสื่อสารได้ดี ส่วน Harness คือระบบที่พามันไปใช้เครื่องมือที่ตรวจสอบได้ค่ะ

การให้โปรแกรมคำนวณจึงไม่ใช่การยอมรับว่า AI ทำไม่ได้ค่ะ แต่เป็นการออกแบบระบบให้ AI ทำงานร่วมกับเครื่องมือที่เหมาะกับงานนั้นค่ะ

งานภาษาใช้ LLM ค่ะ งานเลขที่ต้องเป๊ะใช้โปรแกรมค่ะ งานจริงใช้ทั้งสองอย่างผ่าน Harness ค่ะ

รายงานนี้อธิบายจากกรณีเกม 67 และผล exhaustive search ที่ตรวจด้วย exact arithmetic พร้อมตรวจซ้ำด้วยวิธีอิสระค่ะ