UNITER Research Code

Описание

Репозиторий исследовательского кода UNITER, представленный в статье ECCV 2020 «UNITER: UNiversal Image-TExt Representation Learning», предлагает комплексный набор инструментов для мультимодальных исследований в области ИИ. Этот репозиторий облегчает дообучение и инференс для ряда задач, связанных с изображениями и текстом, включая визуальный ответ на вопросы (VQA), рассуждения на основе здравого смысла для изображений (VCR), визуальное логическое следование (SNLI-VE), поиск изображений по тексту для таких наборов данных, как COCO и Flickr30k, а также понимание референциальных выражений (RefCOCO, RefCOCO+, RefCOCO-g).

UNITER основан на универсальной системе обучения представлений изображений и текста. Код поддерживает предварительно обученные чекпоинты как UNITER-base, так и UNITER-large, с возможностью предварительного обучения в рамках конкретной предметной области. Репозиторий включает скрипты для предварительной обработки данных, обучения моделей и инференса. Он использует внешние библиотеки, такие как PyTorch, HuggingFace Transformers, OpenNMT и Nvidia's DeepLearningExamples, при этом признаки изображений извлекаются с помощью BUTD.

Для упрощения воспроизводимости предоставляется образ Docker, требующий определенных версий драйвера NVIDIA и Docker. Настройка включает монтирование каталогов с исходным кодом и данными в контейнер. Репозиторий содержит краткие руководства для таких задач, как NLVR2, демонстрирующие загрузку данных, запуск контейнера Docker, дообучение и процедуры инференса/оценки. Настройка поддерживается с помощью аргументов командной строки и конфигурационных файлов JSON, с опциями для многопроцессорного обучения с использованием Horovod.

Проект также описывает шаги для последующих задач, таких как VQA, VCR (включая опцию предварительного обучения на втором этапе), визуальное логическое следование, поиск изображений по тексту (как zero-shot, так и дообучение с использованием hard negatives для Flickr30k и COCO), референциальные выражения и предварительное обучение в рамках предметной области. Пользователям предоставляются инструкции по загрузке конкретных наборов данных и запуску соответствующих скриптов обучения и инференса. Репозиторий распространяется под лицензией MIT.

Главное о UNITER Research Code

• Официальный исследовательский код для статьи ECCV 2020 «UNITER: UNiversal Image-TExt Representation Learning»

• Поддерживает дообучение для NLVR2, VQA, VCR, SNLI-VE, поиска изображений по тексту и референциальных выражений

• Предоставляет предварительно обученные чекпоинты для моделей UNITER-base и UNITER-large

• Включает скрипты для предварительной обработки данных, обучения моделей и инференса

• Предлагает образ Docker для упрощения воспроизводимости и настройки среды

• Поддерживает многопроцессорное обучение через Horovod

• Включает код для zero-shot и дообучения задач поиска изображений по тексту

• Облегчает предварительное обучение в рамках предметной области и предварительное обучение VCR на втором этапе

Начало работы с UNITER Research Code

1. 1

   Загрузите предварительно обученные чекпоинты и данные для конкретных задач с помощью предоставленных bash-скриптов.

2. 2

   Запустите контейнер Docker для согласованной и воспроизводимой среды.

3. 3

   Интегрируйте обучение модели, запуская скрипты дообучения с пользовательскими конфигурациями.

4. 4

   Выполните инференс для последующих задач, используя специализированные скрипты инференса.

5. 5

   Оцените производительность модели с помощью предоставленных скриптов оценки или путем отправки результатов в таблицы лидеров.

6. 6

   Настройте параметры обучения через аргументы командной строки или конфигурационные файлы JSON.

Варианты использования UNITER Research Code

• Визуальный ответ на вопросы
• Рассуждения на основе здравого смысла для изображений
• Поиск изображений по тексту
• Понимание референциальных выражений
• Визуальное логическое следование
• Мультимодальное предварительное обучение

Часто задаваемые вопросы UNITER Research Code

• Что такое репозиторий исследовательского кода UNITER?

  Репозиторий исследовательского кода UNITER содержит официальную реализацию для статьи ECCV 2020 «UNITER: UNiversal Image-TExt Representation Learning», позволяющую исследователям воспроизводить и расширять мультимодальные исследования в области ИИ.

• Какие задачи, связанные с изображениями и текстом, поддерживает UNITER?

  UNITER поддерживает такие задачи, как NLVR2, VQA, VCR, SNLI-VE, поиск изображений по тексту (COCO, Flickr30k) и референциальные выражения (RefCOCO, RefCOCO+, RefCOCO-g).

• Доступны ли предварительно обученные модели UNITER?

  Да, выпущены предварительно обученные чекпоинты UNITER-base и UNITER-large, которые можно загрузить с помощью предоставленных скриптов.

• Как настроить среду для UNITER?

  Предоставляется образ Docker для упрощения воспроизводимости. Пользователям необходимо установить драйверы NVIDIA и Docker, а затем запустить контейнер с смонтированными каталогами данных и исходного кода.

• Можно ли обучать UNITER на нескольких GPU?

  Да, репозиторий поддерживает многопроцессорное обучение, в основном с использованием Horovod.

• Каковы требования для запуска образа Docker?

  Образ Docker требует драйвер NVIDIA (418+), Docker (19.03+) и nvidia-container-toolkit. Поддерживается Linux с GPU NVIDIA, а GPU с Tensor Cores рекомендуются для обучения с смешанной точностью.

• Как обрабатывается извлечение признаков изображений?

  Признаки изображений извлекаются с помощью метода BUTD (bottom-up-attention), для чего предоставляются скрипты предварительной обработки.

• Под какой лицензией выпущен код UNITER?

  Исследовательский код UNITER выпущен под лицензией MIT.

• Могу ли я дообучить UNITER на своих данных?

  Репозиторий предоставляет скрипты и конфигурации для дообучения на различных последующих задачах, что предполагает поддержку пользовательского дообучения.

• Каковы ключевые компоненты модели UNITER?

  UNITER основан на универсальной системе обучения представлений изображений и текста, использующей архитектуры трансформеров для мультимодального понимания.