ผลการศึกษาขององค์กรไม่แสวงหากำไร METR พบว่า การใช้เครื่องมือ AI ที่ล้ำสมัยมีผลทำให้นักพัฒนาซอฟต์แวร์ที่มีประสบการณ์ทำงานช้าลง โดยเฉพาะในเวลาที่ต้องเขียนโคดที่คุ้นเคย
AI ที่ปรากฏในงานศึกษาชิ้นนี้คือ Cursor ซึ่งเป็น AI ช่วยเขียนโคด โดย METR ทดสอบการใช้ Cursor ช่วยกลุ่มนักพัฒนามากประสบการณ์ในการทำโปรเจกต์โอเพนซอร์สที่กลุ่มตัวอย่างมีความคุ้นเคยอยู่แล้ว
ก่อนการศึกษานั้น นักพัฒนากลุ่มตัวอย่างเชื่อว่า AI จะช่วยให้ทำงานเร็วขึ้น ลดเวลาที่ใช้ในการทำงาน 24% เช่นเดียวกับผู้ทำการศึกษาที่เชื่อว่า AI จะช่วยให้ทำงานเร็วขึ้น 2 เท่า แต่ผลการศึกษาพบว่าจริง ๆ แล้ว AI เพิ่มเวลาการทำงานมากถึง 19%
ผลการศึกษาในครั้งนี้ถือว่าแย้งกับงานวิจัยอื่น ๆ ที่เคยทำไปก่อนหน้านั้น อย่างผลการศึกษาชิ้นหนึ่งที่ระบุว่า AI ช่วยทำให้งานสายเขียนโคดทำได้เร็วขึ้น 56% ส่วนอีกงานหนึ่งบอกว่า AI ช่วยให้ทำงานได้มากขึ้น 26%
กลับมาที่ผลการศึกษา METR ชี้ให้เห็นว่าการที่นักพัฒนาทำงานที่ตัวเองคุ้นเคยอยู่แล้วนั้น การนำ AI เข้ามาช่วยจะทำให้ทำงานได้ช้าลงมากกว่า โดยใช้เวลาส่วนใหญ่ไปกับการที่ต้องคอยมาแก้สิ่งที่ AI แนะนำ
โจเอล เบกเกอร์ (Joel Becker) หนึ่งในทีมวิจัยของ METR ชี้ว่าจากที่เห็นการศึกษานั้น พบว่าแม้ Cursor มักจะแนะนำในทิศทางที่ถูกต้อง แต่ก็ไม่ใช่สิ่งที่ต้องการในการทำให้งานสำเร็จเสมอไป
ทั้งนี้ ทีมวิจัยชี้ว่า พวกเขาไม่เชื่อว่าความล่าช้าในการทำงานที่เกิดจาก AI จะเป็นในลักษณะเดียวกันในสถานการณ์อื่น ๆ โดยเฉพาะการทำงานในงานที่ไม่คุ้นเคยนัก ยิ่งไปกว่านั้น ทั้งทีมวิจัยและนักพัฒนาที่เป็นกลุ่มตัวอย่าง ก็ยังคงใช้ Cursor จนถึงทุกวันนี้
