EvTexture & EvTexture++

الوصف

يمثل EvTexture وتوسعته المجلة EvTexture++ حلولاً متقدمة لتحسين دقة الفيديو (VSR) من خلال دمج تعزيز النسيج المعتمد على الأحداث. تم تطوير هذه المشاريع بواسطة باحثين من جامعة العلوم والتكنولوجيا في الصين، وتستخدم بيانات من كاميرات الأحداث، التي تلتقط معلومات الحركة بدقة زمنية عالية وزمن استجابة منخفض، لتحسين جودة مقاطع الفيديو التي تم تكبيرها بشكل كبير.

يركز EvTexture، الذي تم تقديمه في ICML 2024، على تعزيز تفاصيل النسيج في مقاطع الفيديو أثناء عملية تحسين الدقة. التوسع المجلة اللاحق، EvTexture++، الذي تم قبوله في IEEE TPAMI في عام 2026، يقوم بتحسين هذه التقنيات بشكل أكبر لتحقيق دقة ومتانة أكبر. يتم توفير كلا التطبيقين كتعليمات برمجية رسمية لـ PyTorch، مما يسمح للباحثين والمطورين بدمج هذه التكنولوجيا المتطورة والبناء عليها.

يقدم المستودع موارد شاملة، بما في ذلك النماذج المدربة مسبقًا لمجموعات بيانات وأنواع تدهور مختلفة، مثل REDS و Vimeo-90K، والتي تدعم تحسين الدقة بمقدار 4x. كما يوفر الوصول إلى مجموعات بيانات اختبار مُعدة لمعايير مثل Vid4 و REDS4، والتي تتضمن كلاً من إطارات الفيديو وبيانات الأحداث المقابلة. تعليمات التثبيت مفصلة لكل من بيئات Conda و Docker، مما يضمن إمكانية الوصول لمجموعة واسعة من المستخدمين.

تشمل القدرات الرئيسية القدرة على معالجة بيانات الفيديو جنبًا إلى جنب مع تدفقات الأحداث لإعادة بناء أنسجة أدق وتقليل العيوب التي غالبًا ما تُرى في طرق VSR التقليدية. تم بناء المشروع على إطار عمل BasicSR ويستلهم من أعمال أخرى بارزة مثل RAFT و event_utils و EvTexture-jupyter. يسمح هذا الأساس بالتجريب والنشر بكفاءة. تم إصدار المشروع بموجب ترخيص Apache-2.0، مما يشجع على التعاون المفتوح والمزيد من البحث في مجال تحسين الفيديو المعتمد على الأحداث.

الميزات الأساسية لـ EvTexture & EvTexture++

• تعزيز النسيج المعتمد على الأحداث لتحسين دقة الفيديو

• تطبيق PyTorch رسمي لـ EvTexture (ICML 2024)

• تطبيق PyTorch رسمي لـ EvTexture++ (TPAMI 2026)

• يشمل نماذج مدربة مسبقًا لمجموعات بيانات REDS و Vimeo-90K

• يدعم مقياس تحسين الدقة 4x

• يوفر مجموعات بيانات اختبار مُعدة مسبقًا لـ Vid4 و REDS4

• يشمل عروض فيديو توضح نتائج التكبير

• يقدم التثبيت عبر Conda و Docker

• مبني على إطار عمل BasicSR

• ترخيص Apache-2.0 للاستخدام والتعديل المفتوح

البدء مع EvTexture & EvTexture++

1. 1

   استنساخ المستودع: احصل على تعليمات EvTexture البرمجية من مستودع GitHub.

2. 2

   تثبيت التبعيات: قم بإعداد بيئة Python المطلوبة مع إصدارات PyTorch و CUDA المحددة، أو استخدم صورة Docker المقدمة.

3. 3

   تنزيل النماذج والبيانات: احصل على النماذج المدربة مسبقًا ومجموعات بيانات الاختبار المُعدة مسبقًا لـ Vid4 و REDS4.

4. 4

   تكوين الاختبار: اضبط ملفات تكوين الاختبار (على سبيل المثال، options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).

5. 5

   تنفيذ الاختبار: قم بتشغيل برنامج الاختبار الموزع مع العدد المحدد من وحدات معالجة الرسومات.

6. 6

   تحليل النتائج: راجع نتائج الاستدلال التي تم إنشاؤها في دليل 'results/'.

حالات استخدام EvTexture & EvTexture++

• تحسين دقة الفيديو
• تعزيز النسيج
• معالجة بيانات كاميرات الأحداث
• البحث في استعادة الفيديو
• تكبير الفيديو في الوقت الفعلي
• تحسين الفيديو في الإضاءة المنخفضة

الأسئلة الشائعة من EvTexture & EvTexture++

• ما هو EvTexture و EvTexture++؟

  EvTexture و EvTexture++ هما تطبيقان لـ PyTorch لتعزيز النسيج المعتمد على الأحداث في تحسين دقة الفيديو، تم تطويرهما لـ ICML 2024 و IEEE TPAMI 2026 على التوالي.

• ما نوع البيانات التي يستخدمها EvTexture للتعزيز؟

  يستخدم EvTexture كلاً من إطارات الفيديو القياسية وبيانات الأحداث الملتقطة بواسطة كاميرات الأحداث لتحسين دقة الفيديو.

• ما هي المنشورات الرئيسية المرتبطة بـ EvTexture؟

  يرتبط EvTexture بـ ICML 2024، ويرتبط توسعته المجلة EvTexture++ بـ IEEE TPAMI 2026.

• ما هي متطلبات النظام لتشغيل EvTexture؟

  تشمل المتطلبات Miniconda، و CUDA Toolkit 11.1.1، و PyTorch 1.10.2+cu111، و torchvision 0.11.3+cu111، أو بيئة Docker.

• هل يمكنني استخدام نماذج مدربة مسبقًا مع EvTexture؟

  نعم، تتوفر نماذج مدربة مسبقًا لمجموعات بيانات REDS و Vimeo-90K بمقياس SR 4x للتنزيل.

• ما هي مجموعات البيانات المقدمة لاختبار EvTexture؟

  تتوفر مجموعات اختبار مُعدة مسبقًا لـ Vid4 و REDS4، بما في ذلك بيانات الأحداث، للتنزيل.

• كيف يمكنني اختبار EvTexture على مقاطع الفيديو الخاصة بي؟

  يتم تطوير برنامج نصي للاستدلال على مقاطع الفيديو التي يقدمها المستخدم وسيتم إصداره في المستودع.

• ما هو ترخيص مشروع EvTexture؟

  تم إصدار المشروع بموجب ترخيص Apache-2.0.

• على أي إطار عمل تم بناء EvTexture؟

  تم بناء EvTexture على إطار عمل BasicSR، وهو صندوق أدوات مفتوح المصدر لمهام استعادة الصور والفيديو.

• أين يمكنني العثور على عروض فيديو لنتائج EvTexture؟

  تتوفر عروض فيديو توضح نتائج التكبير 4x على مجموعات اختبار Vid4 و REDS4 في المستودع.