Описание
EvTexture и его журнальное расширение EvTexture++ представляют собой передовые решения для видео сверхвысокого разрешения (VSR) путем включения улучшения текстур на основе событий. Разработанные исследователями из Университета науки и технологий Китая, эти проекты используют данные с событийных камер, которые захватывают информацию о движении с высоким временным разрешением и низкой задержкой, для значительного улучшения качества масштабированных видео.
EvTexture, представленный на ICML 2024, фокусируется на улучшении деталей текстур в видео в процессе сверхвысокого разрешения. Последующее журнальное расширение, EvTexture++, принятое IEEE TPAMI в 2026 году, далее совершенствует эти методы для еще большей точности и надежности. Обе реализации предоставляются в виде официального кода PyTorch, позволяя исследователям и разработчикам интегрировать и развивать эту передовую технологию.
Репозиторий предлагает комплексные ресурсы, включая предварительно обученные модели для различных наборов данных и типов деградации, таких как REDS и Vimeo-90K, поддерживая масштабирование 4x. Он также предоставляет доступ к подготовленным тестовым наборам данных для бенчмарков, таких как Vid4 и REDS4, которые включают как кадры видео, так и соответствующие данные событий. Инструкции по установке подробно описаны как для сред Conda, так и для Docker, обеспечивая доступность для широкого круга пользователей.
Ключевые возможности включают способность обрабатывать видеоданные вместе с потоками событий для реконструкции более тонких текстур и уменьшения артефактов, часто встречающихся в традиционных методах VSR. Проект построен на базе фреймворка BasicSR и черпает вдохновение из других заметных работ, таких как RAFT, event_utils и EvTexture-jupyter. Эта основа позволяет проводить эффективные эксперименты и развертывание. Проект выпущен под лицензией Apache-2.0, что способствует открытому сотрудничеству и дальнейшим исследованиям в области улучшения видео на основе событий.
Основные функции EvTexture & EvTexture++
Улучшение текстур на основе событий для видео сверхвысокого разрешения
Официальная реализация EvTexture на PyTorch (ICML 2024)
Официальная реализация EvTexture++ на PyTorch (TPAMI 2026)
Включает предварительно обученные модели для наборов данных REDS и Vimeo-90K
Поддерживает масштабирование 4x
Предоставляет предварительно обработанные тестовые наборы данных для Vid4 и REDS4
Включает видеодемонстрации, показывающие результаты апскейлинга
Предлагает установку через Conda и Docker
Построен на базе фреймворка BasicSR
Лицензия Apache-2.0 для открытого использования и модификации
Начало работы с EvTexture & EvTexture++
Клонировать репозиторий: Получите код EvTexture из репозитория GitHub.
Установить зависимости: Настройте необходимую среду Python с указанными версиями PyTorch и CUDA или используйте предоставленный образ Docker.
Загрузить модели и данные: Получите предварительно обученные модели и предварительно обработанные тестовые наборы данных для Vid4 и REDS4.
Настроить тестирование: Отрегулируйте файлы конфигурации тестирования (например, options/test/EvTexture/test_EvTexture_Vid4_BIx4.yml).
Выполнить тестирование: Запустите скрипт распределенного тестирования с указанным количеством GPU.
Анализировать результаты: Просмотрите сгенерированные результаты инференса в каталоге 'results/'.
Варианты использования EvTexture & EvTexture++
- Видео сверхвысокого разрешения
- Улучшение текстур
- Обработка данных с событийных камер
- Исследования в области восстановления видео
- Масштабирование видео в реальном времени
- Улучшение видео при слабом освещении
