Descripción
EvTexture y su extensión de revista EvTexture++ representan soluciones avanzadas para la superresolución de video (VSR) mediante la incorporación de mejora de texturas basada en eventos. Desarrollados por investigadores de la Universidad de Ciencia y Tecnología de China, estos proyectos utilizan datos de cámaras de eventos, que capturan información de movimiento con alta resolución temporal y baja latencia, para mejorar significativamente la calidad de los videos escalados.
EvTexture, presentado en ICML 2024, se enfoca en mejorar los detalles de textura en videos durante el proceso de superresolución. La extensión de revista posterior, EvTexture++, aceptada por IEEE TPAMI en 2026, refina aún más estas técnicas para una mayor fidelidad y robustez. Ambas implementaciones se proporcionan como código oficial de PyTorch, permitiendo a investigadores y desarrolladores integrar y construir sobre esta tecnología de vanguardia.
El repositorio ofrece recursos completos, incluyendo modelos pre-entrenados para varios conjuntos de datos y tipos de degradación, como REDS y Vimeo-90K, soportando superresolución 4x. También proporciona acceso a conjuntos de datos de prueba preparados para benchmarks como Vid4 y REDS4, que incluyen tanto fotogramas de video como datos de eventos correspondientes. Las instrucciones de instalación se detallan tanto para entornos Conda como Docker, asegurando la accesibilidad para una amplia gama de usuarios.
Las capacidades clave incluyen la habilidad de procesar datos de video junto con flujos de eventos para reconstruir texturas más finas y reducir artefactos que a menudo se ven en métodos VSR tradicionales. El proyecto se basa en el framework BasicSR y se inspira en otros trabajos notables como RAFT, event_utils y EvTexture-jupyter. Esta base permite una experimentación y despliegue eficientes. El proyecto se publica bajo la licencia Apache-2.0, fomentando la colaboración abierta y la investigación adicional en el campo de la mejora de video basada en eventos.
Características principales de EvTexture & EvTexture++
Mejora de texturas basada en eventos para superresolución de video
Implementación oficial de PyTorch para EvTexture (ICML 2024)
Implementación oficial de PyTorch para EvTexture++ (TPAMI 2026)
Incluye modelos pre-entrenados para los conjuntos de datos REDS y Vimeo-90K
Soporta escala de superresolución 4x
Proporciona conjuntos de datos de prueba preprocesados para Vid4 y REDS4
Incluye demostraciones en video que muestran los resultados de escalado
Ofrece instalación a través de Conda y Docker
Basado en el framework BasicSR
Licencia Apache-2.0 para uso y modificación abiertos
Primeros pasos con EvTexture & EvTexture++
Clonar Repositorio: Obtenga el código de EvTexture del repositorio de GitHub.
Instalar Dependencias: Configure el entorno Python requerido con las versiones especificadas de PyTorch y CUDA, o utilice la imagen Docker proporcionada.
Descargar Modelos y Datos: Adquiera modelos pre-entrenados y conjuntos de datos de prueba preprocesados para Vid4 y REDS4.
Configurar Pruebas: Ajuste los archivos de configuración de prueba (por ejemplo, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Ejecutar Pruebas: Ejecute el script de pruebas distribuidas con el número especificado de GPUs.
Analizar Resultados: Revise los resultados de inferencia generados en el directorio 'results/'.
Casos de uso de EvTexture & EvTexture++
- Superresolución de Video
- Mejora de Texturas
- Procesamiento de Datos de Cámaras de Eventos
- Investigación en Restauración de Video
- Escalado de Video en Tiempo Real
- Mejora de Video con Poca Luz
