แอปเปิล เปิดเผยงานวิจัยช็อกวงการ เอไอโมเดลดังตกม้าตายคำนวณเลขระดับประถมพลาดเมื่อเจอโจทย์หลอก ชี้ระบบจดจำรูปแบบแทนคิดวิเคราะห์
แอปเปิลเปิดเผยงานวิจัยชิ้นใหม่เกี่ยวกับข้อจำกัดของปัญญาประดิษฐ์ ทีมนักวิจัยพบว่าโมเดลภาษาขนาดใหญ่ไม่สามารถประมวลผลคณิตศาสตร์ระดับประถมศึกษาได้อย่างแท้จริง ระบบใช้วิธีจดจำรูปแบบแทนการคิดวิเคราะห์เชิงตรรกะ
ทีมนักวิจัยทดสอบความสามารถเอไอด้วยชุดข้อมูล GSM8K ซึ่งเป็นโจทย์คณิตศาสตร์พื้นฐาน พวกเขาเริ่มต้นด้วยการเปลี่ยนตัวเลขในโจทย์ แต่รายละเอียดยังคงเดิม ผลปรากฏว่าประสิทธิภาพของโมเดลเอไอชั้นนำ 25 รุ่นลดลงทั้งหมด จากนั้นทีมวิจัยได้เพิ่มระดับการทดสอบด้วยการเติมประโยคที่ไม่มีผลต่อการคำนวณลงไปในโจทย์
ตัวอย่างโจทย์ระบุว่า โอลิเวอร์เก็บกีวี 44 ผลในวันศุกร์ เก็บเพิ่ม 58 ผลในวันเสาร์ ส่วนวันอาทิตย์เขาเก็บได้สองเท่าของวันศุกร์ แต่มี 5 ผลที่มีขนาดเล็กกว่าปกติ คำถามคือโอลิเวอร์มีกีวีทั้งหมดกี่ผล คำตอบที่ถูกต้องคือ 190 ผล
ขนาดของกีวีไม่มีส่วนเกี่ยวข้องกับจำนวนผลรวม แม้แต่เด็กอายุ 10 ขวบสามารถตัดข้อมูลส่วนนี้ออกไปได้ทันที
โมเดลเอไอชั้นนำอย่าง o1-mini ของบริษัท OpenAI กลับนำตัวเลข 5 ไปลบออกจนได้ผลลัพธ์เป็น 185 โมเดล Llama คำนวณพลาดในลักษณะเดียวกัน เอไอเหล่านี้ไม่ได้วิเคราะห์โจทย์ พวกเขาเห็นตัวเลข 5 พร้อมคำบ่งชี้ลักษณะเล็กกว่าปกติ ระบบจึงประมวลผลเป็นการลบทันที เอไอไม่เข้าใจความหมายของการลบ แต่ทำงานตามรูปแบบที่เคยเรียนรู้มา
แอปเปิลเรียกชุดทดสอบนี้ว่า GSM-NoOp ผลลัพธ์การทดสอบเข้าขั้นวิกฤต ประสิทธิภาพของโมเดล Phi-3-mini ลดลงกว่าร้อยละ 65 โมเดล GPT-4o ลดลงจากร้อยละ 94.9 เหลือร้อยละ 63.1 โมเดล o1-mini ลดลงจากร้อยละ 94.5 เหลือร้อยละ 66.0 โมเดล o1-preview ลดลงจากร้อยละ 92.7 เหลือร้อยละ 77.4 การป้อนตัวอย่างคำตอบล่วงหน้าแทบไม่ช่วยแก้ปัญหานี้
งานสัมมนาวิชาการระดับโลก ICLR 2025 ตีพิมพ์งานวิจัยชิ้นนี้ ทีมนักวิจัยระบุชัดเจนว่าโมเดลภาษาในปัจจุบันไม่สามารถใช้เหตุผลเชิงตรรกะ ระบบทำงานโดยค้นหาข้อมูลใกล้เคียงที่สุดจากชุดข้อมูลฝึกฝนโดยปราศจากความเข้าใจ
ผู้ใช้งานจำนวนมากใช้เอไอช่วยตัดสินใจเรื่องการเงิน ตรวจสอบเอกสารกฎหมาย สอนการบ้าน งานวิจัยนี้พิสูจน์แล้วว่าเอไอไม่ได้คิดวิเคราะห์ ระบบจะให้คำตอบผิดพลาดอย่างมั่นใจทันทีที่พบเจอข้อมูลหลอก
อ่านข่าวที่เกี่ยวข้อง
- วิธีใช้ Google AI Studio สอนเล่น เอไอกูเกิลเชิงลึก เครื่องมือจัดเต็ม
- นายกแอลเบเนีย แจ้งข่าว รมต.เอไอ ตั้งท้อง เตรียมให้กำเนิดลูก 83 คน
- พ่อแม่ช็อก! ลูกชาย ช่วยตัวเองใน Gemini จนโดนแบนบัญชี ข้อมูล 15 ปีหายเกลี้ยง
ติดตาม The Thaiger บน Google News:
ข่าวล่าสุด
