Google Research เปิดตัว LUMIERE โมเดล AI ตัวใหม่สร้างวิดีโอจากข้อความและภาพต้นแบบ

เมื่อวันอังคารที่ผ่านมาตามเวลาไทย Google Research เปิดตัว Lumiere โมเดล AI ที่มีความสามรถในการสร้างวิดีโอจาก Prompt ข้อความและภาพต้นแบบซึ่งเป็นอีกหนึ่งโมเดล AI ที่ถูกพัฒนาโดย Google หลังจากการเปิดตัวของ Gemini ในช่วงปลายปีที่แล้ว

โมเดล AI นี้สามารถสร้างวิดีโอที่มีความสม่ำเสมอ ค่อนข้างลื่น และสมจริงในบางวิดีโอ ซึ่งทาง Google Research นั้นได้มีการนำตัวอย่างในการประมวลผลของโมเดลนี้ให้รับชม ซึ่งแสดงให้เห้นความสามารถของ AI ที่สามารถสรส้งภาพเคลื่อนไหวจาก Prompt ที่เป็นตัวหนังสือ และสร้างวิดีโอขึ้นมา ซึ่งสามารถสร้างได้หลายมุม อีกความสามารถคือการสร้างวิดีโอจากภาพ โดยกรอก Prompt ที่ต้องการ อีกหนึ่งความสามารถที่น่าสนใจคือการเจเนอเรชันวิดีโอจากภาพตัวอย่างอ้างอิงเพียง 1 ภาพ โดยวิดีโอที่ได้จะเป็นสไตลืเดียวกับภาพอ้างอิงและจะมีกสารเคลื่อนไหวตามควทเหมาะสมของสไลต์ภาพ 

นอกจากความสามารถเบื้องต้นนี้แล้วยังสามารถสังเคราะห์วิดีโอที่แสดงการเคลื่อนไหวที่สมจริง หลากหลาย และสอดคล้องกัน ซึ่งเป็นความท้าทายที่สำคัญในการสังเคราะห์วิดีโอ ด้วยเหตุนี้ เราจึงแนะนำสถาปัตยกรรม U-Net ของ Space-Time ที่สร้างระยะเวลาชั่วคราวทั้งหมดของวิดีโอในครั้งเดียว ผ่านการผ่านครั้งเดียวในโมเดล ซึ่งตรงกันข้ามกับโมเดลวิดีโอที่มีอยู่ซึ่งสังเคราะห์คีย์เฟรมระยะไกลตามด้วยความละเอียดสูงพิเศษชั่วคราว เช่นการแก้ไขรูปภาพแบบข้อความที่มีจำหน่ายทั่วไปเพื่อการตัดต่อวิดีโอที่สอดคล้องกันได้ สร้างภาพเคลื่อนไหวให้กับเนื้อหาของภาพ การต่อเติมวิดีดอที่ขาดหาย และปรับองค์ประกอบภายในวีดีโอ 

ซึ่งตอนนี้สถานะของโมเดล AI ตัวนี้ยังคงเป้นเพียงงงานวิจัยในช่วงแรกเพียงเท่านั้น ทางผู้พัฒนายังไม่พร้อมให้สามารถทดลองใช้งานได้จาดข้อจำกัดบางประการทำให้ต้องมีการ่ปรับปรุงแก้ไขก่อนมีการนำมาใช้งานจริงในอนาคต