นักวิจัยชาวเยอรมัน Sophie Jentzsch (โซฟี เจนส์) และ Kristian Kersting (คริสเตียน เคอร์สติง) ได้ออกรายงานวิจัยว่าด้วยการทดลองขอให้ ChatGPT (3.5) เล่นมุกไปกว่า 1,008 ครั้ง และ 90% ของมุกที่ ChatGPT เล่น จะวนซ้ำอยู่ที่มุกเดิม 25 มุกเท่านั้น
โดยนักวิจัยทั้งสองทำงานวิจัยอยู่ที่สถาบันเทคโนโลยีซอฟต์แวร์, ศูนย์การบินและอวกาศแห่งเยอรมัน (DLR) และมหาวิทยาลัยเทคนิคดาร์มสตัดท์ (Technische Universität Darmstadt) ได้ทำการศึกษาเรื่องอารมณ์ขันของ ChatGPT (เวอร์ชัน 3.5) ด้วยการทดลองต่าง ๆ ผ่านการป้อนคำสั่งให้ ChatGPT สร้างมุกตลกตอบกลับมา โดยไม่ให้ ChatGPT ไม่ต้องเข้าถึงการทำงาน หรือชุดข้อมูลภายในของโมเดล
ในรายงานวิจัยกล่าวว่า “เพื่อที่จะทดสอบถึงความหลากหลายของมุกตลกที่ ChatGPT สร้างขึ้นมา ผู้วิจัยได้ขอให้ ChatGPT เล่นมุกเป็นพันครั้ง” โดยผลการวิจัยบอกว่าการตอบกลับทั้งหมดนั้นให้คำตอบที่ถูกหลักไวยากรณ์ทั้งหมด แต่เกือบทุกการตอบกลับจะประกอบไปด้วยมุกเพียง 1 มุกเท่านั้น โดยต้องป้อนคำถามว่า “Do you know any good jokes?” เท่านั้นที่จะให้คำตอบที่หลากหลายกว่าแบบอื่น ทำให้ผู้วิจัยได้ขอ ChatGPT ให้เล่นมุกไปถึง 1,008 ครั้งนั่นเอง และการป้อนคำถามที่แตกต่าง ไม่ได้ให้คำตอบที่หลากหลายมากเท่า
ซึ่งจากคลิปที่แบไต๋เคยนำเสนอเกี่ยวกับทิปส์การใช้ ChatGPT โดยมีการขอให้ ChatGPT (3.5) เล่นมุก ก็พบว่า ChatGPT เล่น 1 ใน 25 มุกฮิตนี้ด้วย !
จากรายงานวิจัยพบว่ามุกนี้เป็นมุกที่ ChatGPT เล่นบ่อยที่สุดเป็นอันดับ 2 เลย ! โดย 10 อันดับมุกที่ ChatGPT เล่นบ่อยที่สุดนั้นประกอบไปด้วย
Q: Why did the scarecrow win an award? (140 ครั้ง)
A: Because he was outstanding in his field.
Q: Why did the tomato turn red? (122 ครั้ง)
A: Because it saw the salad dressing.
Q: Why was the math book sad? (121 ครั้ง)
A: Because it had too many problems.
Q: Why don't scientists trust atoms? (119 ครั้ง)
A: Because they make up everything.
Q: Why did the cookie go to the doctor? (79 ครั้ง)
A: Because it was feeling crumbly.
Q: Why couldn't the bicycle stand up by itself? (52 ครั้ง)
A: Because it was two-tired.
Q: Why did the frog call his insurance company? (36 ครั้ง)
A: He had a jump in his car.
Q: Why did the chicken cross the playground? (33 ครั้ง)
A: To get to the other slide.
Q: Why was the computer cold? (23 ครั้ง)
A: Because it left its Windows open.
Q: Why did the hipster burn his tongue? (21 ครั้ง)
A: He drank his coffee before it was cool.แม้ว่าจะมีอยู่จำนวนหนึ่งที่ ChatGPT เลือกที่จะเล่นบ่อยน้อยกว่ามาก ๆ แต่มุกเหล่านั้นถือว่าค่อนข้างต่างจากปกติมาก แม้มุกเหล่านั้นจะมาจากการผสมมุกที่ ChatGPT รู้อยู่แล้วก็ตาม เช่น มีอยู่มุกหนึ่งที่ ChatGPT เล่นมุกว่า “Why did the man put his watch in the blender? He wanted to make time fly.” เป็นต้น
ซึ่งมีการคาดการณ์กันว่า สาเหตุที่ ChatGPT ไม่สามารถเล่นมุกได้หลากหลาย เป็นเพราะการฝึก (Train) ChatGPT นั้นเป็นแบบ reinforcement learning through human feedback (RLHF) วิธีการเทรนที่จะให้มนุษย์นั้น ‘ประเมิน’ ว่าสิ่งที่ AI ตอบกลับมานั้นถูกต้องหรือไม่ ถูกต้องตามหลักการหรือเปล่า โดยไม่ได้คำนึงถึงความสร้างสรรค์ หรือความแปลกใหม่ของคำตอบ
โดยทั้งโซฟี และคริสเตียน ยังต้องการจะทดลองเรื่องความตลกขบขัน และการเล่นมุกในรูปแบบเดิม โดยเปลี่ยนมาใช้ GPT-4 ในการวิเคราะห์ และให้คำตอบแทน (ซึ่งผู้เขียนข่าวคาดว่าน่าจะได้ผลสรุปแบบเดิมนี่แหละ)
พิสูจน์อักษร : สุชยา เกษจำรัส
