คำถามที่ได้ยินบ่อยที่สุดตอนเริ่มโครงการ AI คือควรใช้โมเดลตัวไหนดี คำตอบที่ซื่อสัตย์ที่สุดคือ อย่าเริ่มจากคำถามนี้ เพราะอันดับของโมเดลเปลี่ยนทุกไม่กี่เดือน โมเดลที่ดีที่สุดวันนี้อาจไม่ใช่ตัวที่ดีที่สุดตอนระบบคุณขึ้นใช้งานจริง สิ่งที่ควรตัดสินใจก่อนคือโจทย์ ข้อกำหนดด้านข้อมูล และงบที่ยอมจ่ายต่อเดือน
เริ่มจากประเภทงาน ไม่ใช่ชื่อโมเดล
- งานสรุปและเรียบเรียง เช่น ย่อบันทึกการประชุม ใช้โมเดลขนาดกลางก็พอและถูกกว่ามาก
- งานตอบคำถามจากเอกสาร ความสำคัญอยู่ที่ระบบค้นหามากกว่าตัวโมเดล ถ้าค้นผิดโมเดลเก่งแค่ไหนก็ตอบผิด
- งานที่ต้องให้เหตุผลหลายขั้น เช่น ตรวจสัญญาหรือวิเคราะห์ข้อมูล ควรใช้โมเดลระดับบนสุดและยอมจ่ายแพงขึ้น
- งานจัดหมวดหมู่หรือดึงข้อมูลออกจากข้อความแบบเดิมซ้ำๆ มักใช้โมเดลเล็กที่รันเองได้ คุ้มกว่ามากเมื่อปริมาณสูง
เกณฑ์ที่ใช้ได้นานกว่าคะแนนเบนช์มาร์ก
- ข้อกำหนดด้านข้อมูล — ข้อมูลออกนอกองค์กรได้หรือไม่ ถ้าไม่ได้ ตัวเลือกจะเหลือเฉพาะโมเดลที่รันเองในองค์กร
- คุณภาพภาษาไทย — ต้องทดสอบด้วยเอกสารจริงของคุณ ไม่ใช่เชื่อคะแนนที่วัดจากภาษาอังกฤษ
- ต้นทุนต่อการใช้งานจริงต่อเดือน ไม่ใช่ราคาต่อหน่วยที่ดูถูกจนไม่มีความหมาย
- ความเร็วตอบสนอง ถ้าเป็นงานแชทกับลูกค้า ช้าเกินสามวินาทีคนจะเลิกรอ
- ความนิ่งของผู้ให้บริการ ทั้งเรื่องเวลาที่ระบบล่มและการประกาศเลิกรองรับรุ่นเก่า
