UNITER Research Code

الوصف

يقدم مستودع أكواد البحث UNITER، الذي تم تقديمه في ورقة ECCV 2020 بعنوان 'UNITER: UNiversal Image-TExt Representation Learning'، مجموعة شاملة من الأدوات لأبحاث الذكاء الاصطناعي متعدد الوسائط. يسهل هذا المستودع الضبط الدقيق والاستدلال لمجموعة من مهام الرؤية واللغة، بما في ذلك الإجابة على الأسئلة المرئية (VQA)، والاستدلال المنطقي البصري (VCR)، و SNLI-VE (الاستدلال البصري)، واسترجاع الصور والنصوص لمجموعات بيانات مثل COCO و Flickr30k، وفهم التعبيرات المرجعية (RefCOCO، RefCOCO+، RefCOCO-g).

يعتمد UNITER على إطار عمل عالمي لتعلم تمثيل الصور والنصوص. يدعم الكود نقاط التحقق المدربة مسبقًا لكل من UNITER-base و UNITER-large، مع خيارات للتدريب المسبق ضمن المجال. يتضمن المستودع نصوصًا برمجية لمعالجة البيانات المسبقة، وتدريب النموذج، والاستدلال. يستفيد من المكتبات الخارجية مثل PyTorch و HuggingFace Transformers و OpenNMT و Nvidia's DeepLearningExamples، مع استخراج ميزات الصور باستخدام BUTD.

لتسهيل إعادة الإنتاج، يتم توفير صورة Docker، والتي تتطلب إصدارات محددة من برامج تشغيل NVIDIA و Docker. يتضمن الإعداد تحميل مجلدات الكود المصدري والبيانات إلى الحاوة. يفصل المستودع أدلة البدء السريع لمهام مثل NLVR2، موضحًا تنزيل البيانات، وتشغيل حاوية Docker، والضبط الدقيق، وإجراءات الاستدلال/التقييم. يتم دعم التخصيص من خلال وسيطات سطر الأوامر وملفات تكوين JSON، مع خيارات للتدريب متعدد وحدات معالجة الرسومات باستخدام Horovod.

يحدد المشروع أيضًا خطوات للمهام اللاحقة مثل VQA، و VCR (بما في ذلك خيار تدريب مسبق للمرحلة الثانية)، والاستدلال البصري، واسترجاع الصور والنصوص (كل من التدريب الصفري والضبط الدقيق مع سلبيات صعبة لـ Flickr30k و COCO)، والتعبيرات المرجعية، والتدريب المسبق ضمن المجال. يتم توجيه المستخدمين لتنزيل مجموعات بيانات محددة وتشغيل نصوص التدريب والاستدلال الخاصة بها. المستودع مرخص بموجب ترخيص MIT.

أبرز ملامح UNITER Research Code

• أكواد بحث رسمية لورقة ECCV 2020 'UNITER: UNiversal Image-TExt Representation Learning'

• يدعم الضبط الدقيق لـ NLVR2، VQA، VCR، SNLI-VE، استرجاع الصور والنصوص، والتعبيرات المرجعية

• يوفر نقاط تحقق مدربة مسبقًا لنماذج UNITER-base و UNITER-large

• يتضمن نصوصًا برمجية لمعالجة البيانات المسبقة، وتدريب النموذج، والاستدلال

• يقدم صورة Docker لتبسيط إعادة الإنتاج وإعداد البيئة

• يدعم التدريب متعدد وحدات معالجة الرسومات عبر Horovod

• يتضمن أكوادًا للتدريب الصفري والضبط الدقيق لمهام استرجاع الصور والنصوص

• يسهل التدريب المسبق ضمن المجال والتدريب المسبق للمرحلة الثانية لـ VCR

البدء مع UNITER Research Code

1. 1

   قم بتنزيل نقاط التحقق المدربة مسبقًا وبيانات المهام المحددة باستخدام النصوص البرمجية Bash المقدمة.

2. 2

   قم بتشغيل حاوية Docker لبيئة متسقة وقابلة للتكرار.

3. 3

   قم بدمج تدريب النموذج عن طريق تشغيل نصوص الضبط الدقيق بتكوينات مخصصة.

4. 4

   قم بإجراء الاستدلال على المهام اللاحقة باستخدام نصوص الاستدلال المخصصة.

5. 5

   قم بتقييم أداء النموذج باستخدام نصوص التقييم المقدمة أو عن طريق إرسال النتائج إلى لوحات المتصدرين.

6. 6

   قم بتخصيص خيارات التدريب عبر وسيطات سطر الأوامر أو ملفات تكوين JSON.

حالات استخدام UNITER Research Code

• الإجابة على الأسئلة المرئية
• الاستدلال المنطقي البصري
• استرجاع الصور والنصوص
• فهم التعبيرات المرجعية
• الاستدلال البصري
• التدريب المسبق متعدد الوسائط

الأسئلة الشائعة من UNITER Research Code

• ما هو مستودع أكواد البحث UNITER؟

  يحتوي مستودع أكواد البحث UNITER على التنفيذ الرسمي لورقة ECCV 2020 'UNITER: UNiversal Image-TExt Representation Learning'، مما يمكّن الباحثين من إعادة إنتاج وتوسيع أبحاث الذكاء الاصطناعي متعدد الوسائط.

• ما هي مهام الرؤية واللغة التي يدعمها UNITER؟

  يدعم UNITER مهام مثل NLVR2، VQA، VCR، SNLI-VE، استرجاع الصور والنصوص (COCO، Flickr30k)، والتعبيرات المرجعية (RefCOCO، RefCOCO+، RefCOCO-g).

• هل تتوفر نماذج UNITER مدربة مسبقًا؟

  نعم، تم إصدار نقاط التحقق المدربة مسبقًا لكل من UNITER-base و UNITER-large ويمكن تنزيلها باستخدام النصوص البرمجية المقدمة.

• كيف يمكنني إعداد البيئة لـ UNITER؟

  يتم توفير صورة Docker لتسهيل إعادة الإنتاج. يحتاج المستخدمون إلى تثبيت برامج تشغيل NVIDIA و Docker، ثم تشغيل الحاوية مع تحميل مجلدات البيانات والكود المصدري.

• هل يمكن تدريب UNITER على وحدات معالجة رسومات متعددة؟

  نعم، يدعم المستودع التدريب متعدد وحدات معالجة الرسومات، بشكل أساسي من خلال استخدام Horovod.

• ما هي متطلبات تشغيل صورة Docker؟

  تتطلب صورة Docker برنامج تشغيل NVIDIA (418+)، و Docker (19.03+)، و nvidia-container-toolkit. يتم دعم Linux مع وحدات معالجة الرسومات NVIDIA، ويوصى بوحدات معالجة الرسومات المزودة بـ Tensor Cores للتدريب بالدقة المختلطة.

• كيف يتم التعامل مع استخراج ميزات الصور؟

  يتم استخراج ميزات الصور باستخدام طريقة BUTD (bottom-up-attention)، مع توفير نصوص برمجية للمعالجة المسبقة.

• ما هو الترخيص الذي تم إصدار كود UNITER بموجبه؟

  تم إصدار كود البحث UNITER بموجب ترخيص MIT.

• هل يمكنني ضبط UNITER على بياناتي الخاصة؟

  يوفر المستودع نصوصًا برمجية وتكوينات للضبط الدقيق على مهام لاحقة مختلفة، مما يشير إلى أن الضبط الدقيق المخصص مدعوم.

• ما هي المكونات الرئيسية لنموذج UNITER؟

  يعتمد UNITER على إطار عمل عالمي لتعلم تمثيل الصور والنصوص، مستفيدًا من هياكل Transformer للفهم متعدد الوسائط.