Código de Pesquisa UNITER

Descrição

O repositório de código de pesquisa UNITER, apresentado no artigo ECCV 2020 'UNITER: UNiversal Image-TExt Representation Learning', oferece um conjunto abrangente de ferramentas para pesquisa em IA multimodal. Este repositório facilita o finetuning e a inferência para uma série de tarefas de visão e linguagem, incluindo Visual Question Answering (VQA), Visual Commonsense Reasoning (VCR), SNLI-VE (Visual Entailment), Image-Text Retrieval para conjuntos de dados como COCO e Flickr30k, e Referring Expression Comprehensions (RefCOCO, RefCOCO+, RefCOCO-g).

UNITER é construído sobre um framework universal de aprendizado de representação de imagem-texto. O código suporta checkpoints pré-treinados UNITER-base e UNITER-large, com opções para pré-treinamento in-domain. O repositório inclui scripts para pré-processamento de dados, treinamento de modelos e inferência. Ele utiliza bibliotecas externas como PyTorch, HuggingFace Transformers, OpenNMT e Nvidia's DeepLearningExamples, com features de imagem extraídas usando BUTD.

Para facilitar a reprodução, uma imagem Docker é fornecida, exigindo versões específicas do driver NVIDIA e do Docker. A configuração envolve montar diretórios de código fonte e dados no container. O repositório detalha guias de início rápido para tarefas como NLVR2, demonstrando download de dados, lançamento do container Docker, finetuning e procedimentos de inferência/avaliação. A personalização é suportada através de argumentos de linha de comando e arquivos de configuração JSON, com opções para treinamento multi-GPU usando Horovod.

O projeto também descreve etapas para tarefas downstream como VQA, VCR (incluindo uma opção de pré-treinamento de segundo estágio), Visual Entailment, Image-Text Retrieval (tanto zero-shot quanto finetuning com hard negatives para Flickr30k e COCO), Referring Expressions e pré-treinamento in-domain. Os usuários são guiados no download de conjuntos de dados específicos e na execução dos scripts de treinamento e inferência correspondentes. O repositório é licenciado sob a licença MIT.

Destaques de Código de Pesquisa UNITER

• Código de pesquisa oficial para o artigo ECCV 2020 'UNITER: UNiversal Image-TExt Representation Learning'

• Suporta finetuning para NLVR2, VQA, VCR, SNLI-VE, Image-Text Retrieval e Referring Expressions

• Fornece checkpoints pré-treinados para os modelos UNITER-base e UNITER-large

• Inclui scripts para pré-processamento de dados, treinamento de modelos e inferência

• Oferece uma imagem Docker para reprodução simplificada e configuração de ambiente

• Suporta treinamento multi-GPU via Horovod

• Inclui código para finetuning e zero-shot de tarefas de Image-Text Retrieval

• Facilita o pré-treinamento in-domain e o pré-treinamento de segundo estágio para VCR

Primeiros passos com Código de Pesquisa UNITER

1. 1

   Baixe checkpoints pré-treinados e dados específicos da tarefa usando os scripts bash fornecidos.

2. 2

   Inicie o container Docker para um ambiente consistente e reproduzível.

3. 3

   Integre o treinamento do modelo executando scripts de finetuning com configurações personalizadas.

4. 4

   Realize inferência em tarefas downstream usando scripts de inferência dedicados.

5. 5

   Avalie o desempenho do modelo usando scripts de avaliação fornecidos ou enviando resultados para leaderboards.

6. 6

   Personalize opções de treinamento via argumentos de linha de comando ou arquivos de configuração JSON.

Casos de uso de Código de Pesquisa UNITER

• Visual Question Answering
• Visual Commonsense Reasoning
• Image-Text Retrieval
• Referring Expression Comprehension
• Visual Entailment
• Multimodal Pre-training

Perguntas frequentes de Código de Pesquisa UNITER

• O que é o repositório de código de pesquisa UNITER?

  O repositório de código de pesquisa UNITER contém a implementação oficial para o artigo ECCV 2020 'UNITER: UNiversal Image-TExt Representation Learning', permitindo que pesquisadores reproduzam e estendam a pesquisa em IA multimodal.

• Quais tarefas de visão e linguagem o UNITER suporta?

  UNITER suporta tarefas como NLVR2, VQA, VCR, SNLI-VE, Image-Text Retrieval (COCO, Flickr30k) e Referring Expressions (RefCOCO, RefCOCO+, RefCOCO-g).

• Modelos UNITER pré-treinados estão disponíveis?

  Sim, checkpoints pré-treinados UNITER-base e UNITER-large são lançados e podem ser baixados usando os scripts fornecidos.

• Como posso configurar o ambiente para UNITER?

  Uma imagem Docker é fornecida para facilitar a reprodução. Os usuários precisam instalar drivers NVIDIA e Docker, e então iniciar o container com os diretórios de dados e código fonte montados.

• O UNITER pode ser treinado em múltiplas GPUs?

  Sim, o repositório suporta treinamento multi-GPU, principalmente através do uso de Horovod.

• Quais são os requisitos para executar a imagem Docker?

  A imagem Docker requer driver NVIDIA (418+), Docker (19.03+) e nvidia-container-toolkit. Linux com GPUs NVIDIA é suportado, e GPUs com Tensor Cores são recomendadas para treinamento de precisão mista.

• Como a extração de features de imagem é tratada?

  As features de imagem são extraídas usando o método BUTD (bottom-up-attention), com scripts fornecidos para pré-processamento.

• Sob qual licença o código UNITER é lançado?

  O código de pesquisa UNITER é lançado sob a licença MIT.

• Posso fazer finetuning do UNITER com meus próprios dados?

  O repositório fornece scripts e configurações para finetuning em várias tarefas downstream, sugerindo que o finetuning customizado é suportado.

• Quais são os componentes chave do modelo UNITER?

  UNITER é baseado em um framework universal de aprendizado de representação de imagem-texto, utilizando arquiteturas transformer para compreensão multimodal.