Descripción
PanoHead es un repositorio de código para el artículo de CVPR 2023 titulado "PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree." Este proyecto introduce un novedoso modelo generativo consciente de la geometría 3D capaz de sintetizar imágenes de alta calidad y consistentes en la vista de cabezas humanas completas en un rango de 360 grados. A diferencia de métodos anteriores que a menudo se limitan a vistas casi frontales o tienen dificultades con la consistencia 3D en ángulos amplios, PanoHead utiliza imágenes no estructuradas del mundo real para el entrenamiento, cerrando la brecha de alineación de datos.
La innovación central radica en un proceso de alineación de imágenes auto-adaptativo de dos etapas diseñado para un entrenamiento robusto de GAN 3D. Además, emplea una representación de volumen neural tri-grid para superar los problemas de entrelazamiento de características comunes en formulaciones tri-plano, particularmente para la parte frontal y posterior de la cabeza. PanoHead integra conocimiento previo de la segmentación de imágenes 2D en el aprendizaje adversarial de estructuras de escenas neurales 3D, facilitando la síntesis componible de cabezas contra diversos fondos. Este enfoque mejora significativamente la generación de cabezas 3D con geometría precisa y apariencias diversas, incluyendo peinados complejos, renderizables desde poses arbitrarias.
Más allá de la síntesis, PanoHead demuestra la capacidad de reconstruir cabezas 3D completas a partir de imágenes de entrada únicas, permitiendo avatares 3D personalizados y realistas. El repositorio proporciona código para generar resultados como videos, imágenes y formas 3D (archivos .mrc), así como scripts para la reconstrucción completa de cabezas a partir de imágenes únicas e interpolaciones entre diferentes generaciones de cabezas. También incluye ejemplos para entrenar el modelo desde cero o ajustar redes pre-entrenadas, junto con instrucciones para evaluar los resultados generados utilizando métricas proporcionadas.
El proyecto se basa en el código base de EG3D y requiere configuraciones específicas de hardware y software, incluyendo Linux, GPUs NVIDIA de gama alta, Python 3.8+, PyTorch 1.11.0+ y CUDA toolkit 11.3 o posterior. El repositorio incluye instrucciones detalladas para configurar el entorno, descargar modelos pre-entrenados y ejecutar varios scripts de generación y entrenamiento. Se presenta como una implementación de referencia para investigación.
Características principales de PanoHead
Síntesis 3D de cabeza completa en 360 grados
Modelo generativo consciente de la geometría
Generación de imágenes consistente en la vista
Entrenamiento con imágenes del mundo real
Alineación de imágenes auto-adaptativa de dos etapas
Representación de volumen neural tri-grid
Integración de prioridades de segmentación de imágenes 2D
Reconstrucción 3D completa de cabezas a partir de imágenes únicas
Generación de apariencias diversas y geometría detallada
Soporte para peinados complejos
Renderizado en poses arbitrarias
Código para generar videos, imágenes y formas 3D
Primeros pasos con PanoHead
Clonar repositorio: Obtener el código de PanoHead desde GitHub.
Instalar dependencias: Configurar el entorno de Python utilizando el archivo environment.yml proporcionado.
Descargar modelos: Adquirir modelos de red pre-entrenados y colocarlos en el directorio raíz.
Generar resultados: Ejecutar scripts de Python para generar videos, imágenes o formas 3D.
Reconstruir cabezas: Utilizar los scripts proporcionados para la reconstrucción completa de cabezas a partir de imágenes únicas.
Entrenar modelo: Seguir las instrucciones para entrenar o ajustar el modelo PanoHead.
Evaluar métricas: Ejecutar scripts para evaluar la calidad de los resultados generados.
Casos de uso de PanoHead
- Síntesis de Cabezas 3D
- Creación de Avatares
- Prueba Virtual
- Investigación en Gráficos por Computadora
- Generación de Contenido
- Renderizado Invariante a la Pose
- Técnicas de Alineación de Datos
