الوصف
Lumiere هو نموذج انتشار متطور من النص إلى الفيديو طورته Google Research، وهو مصمم لمعالجة تحدي تصنيع الحركة الواقعية والمتنوعة والمتماسكة في مقاطع الفيديو. على عكس النماذج السابقة التي تولد إطارات رئيسية ثم تستخدم دقة زمنية فائقة، يستخدم Lumiere بنية Space-Time U-Net مبتكرة. تقوم هذه البنية بتوليد المدة الزمنية الكاملة للفيديو في تمريرة واحدة، مما يضمن اتساقًا زمنيًا عالميًا فائقًا.
من خلال دمج تقليل وتكبير العينات المكانية والزمانية، والاستفادة من نموذج انتشار مُدرب مسبقًا من النص إلى الصورة، يقوم Lumiere بتوليد مقاطع فيديو منخفضة الدقة بمعدل إطارات كامل مباشرة عبر مقاييس زمنية مكانية متعددة. يسهل هذا النهج مجموعة واسعة من تطبيقات إنشاء المحتوى وتحرير الفيديو. يتفوق Lumiere في توليد الفيديو من النص، حيث ينتج نتائج مثيرة للإعجاب من المطالبات النصية. كما أنه يدعم تحويل الصورة إلى فيديو، مما يسمح للمستخدمين بتحريك الصور الثابتة.
علاوة على ذلك، يتيح Lumiere وظائف تحرير فيديو متقدمة مثل ملء الفيديو، حيث يمكن ملء مناطق معينة من الفيديو أو تعديلها. تتمثل إحدى القدرات الرئيسية في التوليد الأسلوبي، حيث يمكن للمستخدمين تطبيق نمط مستهدف على مقاطع الفيديو التي تم إنشاؤها باستخدام صورة مرجعية واحدة. تسمح هذه الميزة بالتحويلات الإبداعية، مثل جعل مقاطع الفيديو تبدو كـ "ملصق"، "ذهب ذائب ثلاثي الأبعاد"، "كرتون مسطح"، "تصيير ثلاثي الأبعاد"، "رسم خطي"، "متوهج"، أو "رسم بالألوان المائية". يمكن للنموذج أيضًا تحريك مناطق معينة من الصورة لإنشاء صور سينمائية، مما يضيف حركة دقيقة إلى المحتوى الثابت.
يهدف البحث وراء Lumiere إلى تمكين المستخدمين المبتدئين بأدوات إنشاء محتوى مرئي إبداعية ومرنة. ومع ذلك، يقر المطورون بإمكانية إساءة الاستخدام في إنشاء محتوى مزيف أو ضار ويؤكدون على أهمية تطوير أدوات للكشف عن التحيز وتخفيف حالات الاستخدام الضارة لضمان النشر المسؤول.
أبرز ملامح Lumiere
بنية Space-Time U-Net لتوليد الفيديو بتمريرة واحدة
تصنيع حركة واقعية ومتماسكة
توليد الفيديو من النص بناءً على المطالبات
تحويل الصورة إلى فيديو
قدرات ملء الفيديو
توليد الفيديو الأسلوبي باستخدام صور مرجعية
إنشاء صور سينمائية عن طريق تحريك مناطق الصورة
إخراج فيديو بمعدل إطارات كامل
معالجة مقاييس زمنية مكانية متعددة
الاستفادة من نماذج الانتشار المدربة مسبقًا من النص إلى الصورة
البدء مع Lumiere
الوصول إلى النموذج: الحصول على الوصول إلى نموذج Lumiere.
المصادقة: إعداد بيانات اعتماد المصادقة اللازمة.
إعداد البيئة: تكوين بيئة التطوير الخاصة بك.
التكامل عبر API: استخدام واجهة برمجة التطبيقات (API) المقدمة لمهام توليد الفيديو.
تحديد المطالبات: إدخال الأوصاف النصية للمحتوى المرئي المطلوب.
تحديد الأساليب: توفير صور مرجعية للتوليد الأسلوبي.
تحرير مقاطع الفيديو: استخدام ميزات الملء أو تحريك المناطق.
تحسين الإخراج: ضبط المعلمات للحصول على جودة الفيديو والاتساق المطلوبين.
حالات استخدام Lumiere
- إنشاء الفيديو من النص
- تحريك الصور
- تحرير الفيديو
- التنميط الفني
- إنشاء الصور السينمائية
- إنشاء المحتوى
- نماذج مرئية أولية
- الاستكشاف الإبداعي
