กฎหมายฉบับใหม่ในแคลิฟอร์เนียจะบังคับให้บริษัท AI ต้องคอยย้ำเตือนให้เยาวชนรู้ว่าแชตบอตเป็น AI ไม่ใช่มนุษย์ โดยกฎหมายฯ ฉบับนี้ตั้งเป้าจะคุ้มครองเยาวชนจาก AI ในแง่ “ความเสพติด การแบ่งแยก และความมีอิทธิพล”
นอกจากนี้ กฎหมายฯ ฉบับนี้ยังบังคับให้บริษัท AI ต่าง ๆ ต้องจัดทำรายงานประจำปีเสนอต่อกระทรวงสาธารณสุขของแคลิฟอร์เนียที่จะต้องมีเนื้อหาที่แสดงว่ามีเด็กที่ใช้แพลตฟอร์ม AI ของตัวเองมีแนวคิดจะฆ่าตัวตายหรือไม่ จำนวนครั้งที่แชตบอตยกเรื่องฆ่าตัวตายขึ้นมา
เนื้อหาของกฎหมายจะบังคับให้บริษัทผู้พัฒนาแชตบอต AI และแพลตฟอร์ม AI อื่น ๆ จะต้องคอยบอกผู้ใช้ด้วยว่าแชตบอตของตัวเองไม่เหมาะสมกับเด็กบางคน
เมื่อปีที่แล้ว ผู้ปกครองยื่นฟ้องต่อ Character.AI ด้วยข้อหาที่ทำให้ลูกของตัวเองเสียชีวิต โดยกล่าวหาว่าแชตบอตของ Character.AI “อันตรายอย่างไม่สมเหตุสมผล” ซึ่งลูกของพวกเขาตัดสินใจจบชีวิตตัวเองหลังจากใช้แชตบอตของ Character.AI อย่างต่อเนื่อง เช่นเดียวกับอีกคำฟ้องที่กล่าวหาว่า Character.AI ส่งเนื้อหาอันตรายให้กับเด็กวัยรุ่น
