Raspberry Pi และ Sony Semiconductor Solutions (SSS) ได้ประกาศเปิดตัว AI Camera ที่พัฒนาร่วมกันสำหรับใช้งานบน Raspberry Pi เพื่อช่วยสนับสนุนการพัฒนางานด้าน AI ในการประมวลผลข้อมูลรูปภาพ โดยใช้เซนเซอร์รับภาพ Sony IMX500 ที่มาพร้อมด้วยตัวเร่งความเร็ว AI ซึ่งสามารถรันโมเดลโครงข่ายประสาทเทียมได้หลากหลาย กินพลังงานต่ำ และมีค่าหน่วงเวลาต่ำ จึงช่วยให้โพรเซสเซอร์ของ Raspberry Pi ถูกแบ่งเบาแล้วไปทำงานอื่น ๆ ได้มากขึ้น ซึ่งเริ่มวางจำหน่าย 30 กันยายน ในราคา 70 เหรียญ (2,278 บาท)
Raspberry Pi ได้พัฒนาอุปกรณ์สำหรับสร้างงานด้าน AI มาอย่างต่อเนื่อง ซึ่งเดือนมิถุนายนที่ผ่านมา ได้เปิดตัว AI Kit ที่พัฒนาร่วมกับ Hailo มาพร้อมด้วยโมดูลเร่งความเร็ว AI Hailo-8L ซึ่งสามารถรันโมเดลโครงข่ายประสาทเทียมที่ทันสมัย เช่น การตรวจจับวัตถุ การแบ่งส่วนรูปภาพ การประมาณท่าทางและการตรวจจับจุดสำคัญบนใบหน้า สามารถทำงานได้ถึง 13 ล้านล้านคำสั่งต่อวินาที แต่มีข้อจำกัดคือใช้ได้กับ Raspberry Pi 5 เท่านั้น และหากจะบันทึกข้อมูลภาพก็ต้องใช้โมดูลกล้องแยกต่างหาก
ด้วยเหตุนี้ Raspberry Pi จึงสร้าง AI Camera ใหม่ที่สามารถรองรับกับ Raspberry Pi ทุกรุ่น รวมถึง Raspberry Pi Zero โดยใช้สายริบบินกล้องแบบปกติ มีเซนเซอร์ IMX500 ที่ความละเอียด 12 MP พร้อมตัวเร่งความเร็วเครือข่ายประสาทเทียม มุมมองภาพ 78 องศาพร้อมปรับโฟกัสได้เอง และมีไมโครคอนโทรลเลอร์ RP2040 สำหรับการจัดการเฟิร์มแวร์เครือข่ายประสาทเทียม รองรับเฟรมเวิร์ก TensorFlow หรือ PyTorch รวมทั้งสามารถใช้ไลบรารี libcamera และ Picamera2
การใช้งาน AI Camera เริ่มต้นจะต้องอัปโหลดโมเดลไปยังตัวเร่งความเร็ว AI ซึ่งจัดการด้วยไมโครคอนโทรลเลอร์ RP2040 รวมทั้งมีหน่วยความจำแฟลชขนาด 16 MB ใช้เป็นแคชจัดเก็บโมเดลที่ใช้ล่าสุดเอาไว้ หากครั้งต่อไปจะใช้อีกก็ดึงมาใช้ได้เลยไม่ต้องเสียเวลาอัปโหลดใหม่
ตัวเซนเซอร์ IMX500 จะทำงานเป็นเซนเซอร์ภาพแบบเบเยอร์คล้ายกับใน Camera Module 3 โดยมีโพรเซสเซอร์ภาพ (ISP) ประมวลผลจัดเตรียมข้อมูลรูปภาพแล้วส่งไปยังตัวเร่งความเร็ว AI เพื่อประมวลผลด้วยโมเดลโครงข่ายประสาทเทียม สุดท้ายก็ส่งเอาต์พุตพร้อมกับเฟรมภาพไปยัง Raspberry Pi นอกจากนี้ยังสามารถทำงานร่วมกับเฟรมเวิร์ก Picamera2 และ rpicam-apps และแอปพลิเคชันต่าง ๆ ที่ใช้ libcamera
ด้านล่างนี้เป็นตัวอย่างการใช้โมเดลโครงข่ายประสาทเทียม MobileNet SSD ในการตรวจจับวัตถุ โดยทำงานอยู่ภายใต้แอปพลิเคชันควบคุมกล้อง libcamera และอนุมานวัตถุบนวิดีโอขนาด 1080p ที่ 30 fps
