الوصف
NeRF (حقول الإشعاع العصبية) هي طريقة رائدة لتصنيع عروض جديدة لمشاهد ثلاثية الأبعاد معقدة. تحقق نتائج متطورة عن طريق تحسين دالة مشهد حجمية مستمرة أساسية باستخدام مجموعة متفرقة من العروض المدخلة. يكمن جوهر NeRF في تمثيله للمشهد كشبكة عميقة متصلة بالكامل. تأخذ هذه الشبكة إحداثيًا واحدًا مستمرًا بخمسة أبعاد كمدخل، يتكون من الموقع المكاني (x، y، z) واتجاه المشاهدة (θ، φ). مخرجاتها هي الكثافة الحجمية والإشعاع المنبعث المعتمد على العرض في هذا الموقع المكاني المحدد.
لتصنيع عروض جديدة، تستعلم الخوارزمية عن هذه الإحداثيات الخمسية على طول أشعة الكاميرا. ثم تُستخدم تقنيات التصيير الحجمي الكلاسيكية لإسقاط ألوان وكثافات مخرجات الشبكة في صورة نهائية. تتمثل ميزة رئيسية لهذا النهج في أن التصيير الحجمي قابل للتفاضل بشكل طبيعي. هذا يعني أن المدخل الوحيد المطلوب لتحسين تمثيل NeRF هو مجموعة من الصور ذات أوضاع كاميرا معروفة. تقوم الطريقة بتحسين حقول الإشعاع العصبية هذه بفعالية لتصيير عروض جديدة واقعية للمشاهد التي تظهر هندسة ومظهرًا معقدًا، متفوقة على الأعمال السابقة في التصيير العصبي وتصنيع العروض.
تمتد قدرات NeRF لتشمل تمثيل هندسة المشهد التفصيلية، بما في ذلك الانسدادات المعقدة. يمكن حساب خرائط العمق للعروض الجديدة المصيرة، مما يمثل الإنهاء المتوقع لكل شعاع كاميرا داخل الحجم المشفر. هذا التقدير الهندسي التفصيلي كافٍ لدعم تطبيقات الواقع المختلط، مما يسمح بإدراج كائنات افتراضية في مشاهد العالم الحقيقي مع تأثيرات انسداد مقنعة. علاوة على ذلك، يمكن تحويل تمثيل NeRF إلى شبكة باستخدام تقنيات مثل المكعبات الزاحفة (marching cubes). أظهرت الطريقة أيضًا نجاحًا في التقاط وتمثيل الكائنات الحقيقية من مجموعة من العروض المواجهة للداخل، دون الحاجة إلى عزل الخلفية أو إخفائها.
بنت الأعمال اللاحقة على نموذج NeRF الأساسي. تم تقديم الترميز الموضعي لمعالجة انحياز الشبكة نحو تعلم الترددات المنخفضة بشكل أسرع. تقدم آخر، وهو mip-NeRF، تحسينًا في تمثيل التفاصيل وتقليل تشوهات التعرج عن طريق تصيير مخاريط مضادة للتعرج بدلاً من الأشعة البسيطة، مع تقديم تحسينات في السرعة والحجم أيضًا. استكشفت الأبحاث الإضافية التهيئة المتعلمة باستخدام التعلم الوصفي لتسريع التقارب وتضمين أولويات خاصة بمجموعة البيانات. تم أيضًا توسيع إطار عمل NeRF لتمكين إعادة الإضاءة، مما يسمح بتصيير المشاهد من وجهات نظر جديدة تحت ظروف إضاءة اعتباطية.
أبرز ملامح NeRF: حقول الإشعاع العصبية
تصنيع عروض جديدة لمشاهد معقدة
تحسين دالة مشهد حجمية مستمرة
تمثيل المشاهد باستخدام شبكة عميقة متصلة بالكامل
المدخلات: إحداثي 5D (الموقع المكاني واتجاه المشاهدة)
المخرجات: الكثافة الحجمية والإشعاع المنبعث المعتمد على العرض
استخدام تقنيات التصيير الحجمي الكلاسيكية
التصيير القابل للتفاضل يسمح بالتحسين باستخدام الصور وأوضاع الكاميرا
تصيير عروض جديدة واقعية
تمثيل هندسة المشهد التفصيلية والانسدادات المعقدة
دعم تطبيقات الواقع المختلط
يمكن تحويله إلى شبكة
التعامل مع الكائنات الحقيقية الملتقطة من عروض مواجهة للداخل
الأعمال اللاحقة تشمل الترميز الموضعي و mip-NeRF لتحسين التفاصيل وتقليل التعرج
تم توسيعه لإعادة الإضاءة تحت ظروف إضاءة اعتباطية
البدء مع NeRF: حقول الإشعاع العصبية
الوصول إلى النموذج: الحصول على تطبيق NeRF أو النموذج المدرب.
إعداد البيانات: جمع مجموعة متفرقة من الصور المدخلة مع أوضاع كاميرا معروفة.
تحسين التمثيل: تدريب الشبكة العصبية لتمثيل دالة المشهد الحجمية.
تصنيع العروض: استعلام الإحداثيات الخمسية على طول أشعة الكاميرا لوجهات النظر المرغوبة.
تصيير الصور: استخدام التصيير الحجمي لإسقاط الكثافات والألوان المخرجة في صور نهائية.
تصور الهندسة: استخراج خرائط العمق أو التحويل إلى شبكات للتحليل الهندسي.
التكامل للتطبيقات: استخدام العروض المصيرة أو الهندسة في الواقع المختلط أو تطبيقات بصرية أخرى.
حالات استخدام NeRF: حقول الإشعاع العصبية
- تصنيع العروض الجديدة
- إعادة بناء المشهد ثلاثي الأبعاد
- التكامل مع الواقع المختلط
- إدراج الكائنات الافتراضية
- إنشاء المحتوى
- الروبوتات والمحاكاة
- التصور المعماري
- تصور المنتجات
