Google เปิดเผยงานวิจัยเทคนิคระบบกันภาพสั่นของ Pixel 2 และ Pixel 2 XL ได้อย่างยอดเยี่ยม

เทคนิคดังกล่าวเรียกว่า Fused Video Stabilization ซึ่งสร้างขึ้นจากระบบ OIS (Optical Image Stabilization) และ EIS (Electronic Image Stabilization) โดยให้ผลลัพธ์ที่มีคุณภาพสูง ป้องกันการสั่นไหวได้อย่างอิสระทุกทิศทาง จนได้คะแนนการทดสอบจาก DxO ไปสูงมาก

แต่การบันทึกวิดีโอด้วยสมาร์ทโฟนนั้น ขึ้นอยู่ปัจจัยต่างๆมากมาย ไม่ว่าจะเป็น

  • การสั่นของกล้อง ซึ่งโดยปกติแล้ว การหยิบสมาร์ทโฟนขึ้นมาบันทึกวิดีโอในทันทีนั้นจะทำให้เกิดการสั่นไหวของภาพ และถ้าเราเคลื่อนไหวตามไปด้วย ภาพที่ได้ก็จะมีความสั่นไหวมากขึ้นด้วยเช่นกัน

Play video

  • อาการภาพที่เบลอจากการเคลื่อนไหว (Motion Blur) เกิดจากการที่กล้องหรือวัตถุสั่นในระหว่างบันทึกวิดีโอ ถึงแม้จะมีการแก้เฟรมต่างๆในภายหลัง แต่วิดีโอที่ได้จะปรากฏเป็นภาพเบลอและชัดสลับกันไป

Play video

  • อาการภาพล้ม (Rolling Shutter) เกิดจากการที่เซ็นเซอร์ภาพ CMOS เก็บพิกเซลภาพเป็นแถวจากด้านบนลงล่าง เป็นเวลา 10 มิลลิวินาที ซึ่งถ้าหากมีการเคลื่อนไหวอย่างรวดเร็วระหว่างการบันทึก ก็จะทำให้เกิดอาการภาพล้ม ดังวิดีโอด้านล่างนี้

Play video

  • โฟกัสไหล (Focus Breathing) เป็นความไม่เสถียรของมุมมองภาพในขณะปรับโฟกัส เนื่องจากมีวัตถุมาอยู่ในระยะใกล้อย่างรวดเร็ว ผลก็คือทำให้ภาพพื้นหลังมีแสงจ้าและกระจายไปทั่ว ดังวิดีโอด้านล่างนี้

Play video

อย่างไรก็ดี ระบบป้องกันการสั่นของภาพที่รู้จักกันดีในปัจจุบันก็คือ OIS (Optical Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบออฟติคอล) และ EIS (Electronic Image Stabilization: ระบบป้องกันภาพสั่นไหวแบบอิเลกทรอนิกส์) ซึ่งยังมีข้อผิดพลาดในการประมวลผลภาพบางประเภท

Play video

แล้ว Fused Video Stabilization เข้ามาทำงานได้อย่างไร ?

Fused Video Stabilization จะใช้ทั้ง OIS และ EIS ในขณะบันทึกวิดีโอเพื่อระบุถึงปัญหาต่างๆข้างต้น โดยแบ่งออกได้เป็น 3 ขั้นตอน คือ

  • วิเคราะห์การเคลื่อนไหวด้วย ไจโรสโคป ความไวสูง
  • คัดกรองการเคลื่อนไหว (Motion Filtering) รวมเข้ากับ AI เพื่อคำนวนและคาดคะเนการเคลื่อนไหวของบุคคลในขณะที่ถูกบันทึกภาพ หรือเรียกว่า Lookahead Motion Filtering
  • สังเคราะห์เฟรม เพื่อลบอาการภาพล้มและโฟกัสไหล

Play video

นั่นทำให้วิดีโอที่ได้จากการเทคนิค Fused Video Stabilization ใน Pixel 2 นั้น มีอาการภาพเบลอจากการเคลื่อนไหวน้อยลง และดูเป็นธรรมชาติมากขึ้น ทั้งวิดีโอในระดับ 60 fps หรือ 4K

กล่าวคือ Fused Video Stabilization ได้นำเอา AI มาช่วยในการประมวผลภาพ โดยฟีเจอร์หนึ่งที่มีความสำคัญ ก็คือ Lookahead Motion Filtering โดยมีการทำงานที่น่าสนใจ ดังนี้

  • วิเคราะห์และจดจำรูปแบบการเคลือนไหวของผู้ใช้ และสร้างการเคลื่อนไหวให้นุ่มนวลมากขึ้น
  • ทำการเทรนซอฟต์แวร์ให้แยกการเคลื่อนไหวที่ตังใจออกจากการเคลื่อนไหวอื่นๆที่ไม่เกี่ยวข้อง เช่น ถ้าหากระบบคาดการณ์ว่ากล้องจะหมุนไปในแนวราบ ก็จะตัดการเคลื่อนไหวในแนวดิ่งออก ซึ่งทำให้ภาพมีความนิ่งมากขึ้น
  • ตัดส่วนขอบที่เกินออกจากภาพ เพื่อให้ภาพมีความสมบูรณ์มากขึ้น

Play video

นอกจากนี้ การใช้ ไจโรสโคป ความไวสูง ร่วมกับ OIS ยังช่วยให้ระบุการเบลอของภาพจากการเคลื่อนไหวในแต่ละเฟรมได้อย่างแม่นยำ ทั้งก่อน ในระหว่าง และหลังจากการบันทึก แล้ว AI ก็จะคำนวณเพื่อสร้างแบบจำลองการสั่น และช่วยลดการสั่นของภาพที่เกิดขึ้นได้ ดังวิดีโอด้านล่างนี้

Play video

เรามาดูตัวอย่างวิดีโอที่บันทึกโดย Pixel 2 ด้วยเทคนิค Fused Video Stabilization ซึ่งทำให้ภาพมีความนุ่มนวลเป็นอย่างมาก

Play video

Play video

ข้อมูลอ้างอิง : google