LGM: Large Multi-View Gaussian Model

Descrição

LGM, sigla para Large Multi-View Gaussian Model, é um framework avançado projetado para a criação de conteúdo 3D de alta resolução. Este projeto, apresentado na ECCV 2024 como um artigo Oral, oferece uma implementação robusta de um novo modelo Gaussiano capaz de gerar ativos 3D detalhados a partir de múltiplas visualizações de entrada. O cerne do LGM reside em sua capacidade de alavancar informações multi-view para reconstruir e renderizar cenas 3D complexas com fidelidade impressionante.

O projeto fornece um conjunto abrangente de ferramentas para pesquisadores e desenvolvedores interessados na geração de conteúdo 3D. Isso inclui o repositório oficial de código, pesos de modelo pré-treinados disponíveis para download e instruções claras para inferência. O LGM suporta pipelines de geração text-to-3D e image-to-3D, tornando-o uma ferramenta versátil para diversas aplicações criativas e técnicas. A implementação se baseia em pesquisas existentes em Gaussian splatting e técnicas de renderização neural, visando expandir os limites de qualidade e resolução na síntese 3D.

As principais capacidades do LGM incluem sua saída de alta resolução, permitindo a criação de modelos e cenas 3D detalhados. A arquitetura do modelo é otimizada para entradas multi-view, permitindo a reconstrução precisa de geometria e aparência. O projeto também oferece uma GUI local para visualização de arquivos PLY salvos e scripts para conversão de malha, facilitando a integração em fluxos de trabalho 3D existentes. Embora o conjunto de dados de treinamento seja baseado em AWS e não seja diretamente transferível, o projeto fornece o framework de código de treinamento e um subconjunto filtrado do conjunto de dados Objaverse para usuários que desejam treinar seus próprios modelos.

O LGM é particularmente relevante para pesquisadores em visão computacional e gráficos, artistas 3D, desenvolvedores de jogos e qualquer pessoa envolvida na criação ou manipulação de ativos 3D. A natureza de código aberto do projeto e a documentação detalhada incentivam contribuições da comunidade e desenvolvimento adicional. A ênfase na saída de alta resolução e consistência multi-view posiciona o LGM como um avanço significativo no campo da modelagem 3D generativa.

Recursos principais de LGM: Large Multi-View Gaussian Model

• Criação de conteúdo 3D de alta resolução

• Implementação do Large Multi-View Gaussian Model

• Suporta geração text-to-3D

• Suporta geração image-to-3D

• Código oficial e pesos pré-treinados fornecidos

• Inclui scripts de inferência

• GUI local para visualização de modelos 3D

• Utilitários de conversão de malha

• Baseado em técnicas de Gaussian Splatting

• Artigo Oral na ECCV 2024

Primeiros passos com LGM: Large Multi-View Gaussian Model

1. 1

   Clonar repositório: Obtenha o código LGM do GitHub.

2. 2

   Instalar dependências: Configure os pacotes Python necessários, incluindo PyTorch e xformers.

3. 3

   Baixar pesos: Obtenha checkpoints de modelo pré-treinados do Hugging Face.

4. 4

   Configurar inferência: Especifique os caminhos de workspace e de teste para geração.

5. 5

   Executar inferência: Execute o script `infer.py` para geração 3D.

6. 6

   Visualizar resultados: Use `gui.py` para visualizar arquivos PLY gerados.

7. 7

   Converter para malha: Utilize `convert.py` para extração de malha.

Casos de uso de LGM: Large Multi-View Gaussian Model

• Geração de ativos 3D de alta resolução
• Criação de conteúdo text-to-3D
• Reconstrução image-to-3D
• Conteúdo 3D para AR/VR
• Ativos para desenvolvimento de jogos
• Pesquisa em 3D generativo

Perguntas frequentes de LGM: Large Multi-View Gaussian Model

• O que é LGM: Large Multi-View Gaussian Model?

  LGM é uma implementação oficial de um Large Multi-View Gaussian Model para criação de conteúdo 3D de alta resolução, apresentado na ECCV 2024.

• Que tipo de conteúdo 3D o LGM pode criar?

  O LGM é projetado para criação de conteúdo 3D de alta resolução, capaz de gerar ativos 3D detalhados a partir de imagens multi-view.

• O LGM suporta geração text-to-3D?

  Sim, o LGM suporta pipelines de geração text-to-3D, permitindo que os usuários criem modelos 3D a partir de descrições textuais.

• O LGM pode gerar modelos 3D a partir de imagens?

  Sim, o LGM suporta geração image-to-3D, permitindo a criação de ativos 3D com base em imagens de entrada.

• Onde posso encontrar os pesos pré-treinados para o LGM?

  Os pesos pré-treinados para o LGM podem ser baixados do Hugging Face, com links específicos fornecidos no repositório.

• Quais são os requisitos de hardware para inferência do LGM?

  A inferência com LGM geralmente requer cerca de 10 GB de memória de GPU, considerando o carregamento de vários modelos.

• O código de treinamento está disponível para o LGM?

  Sim, o projeto fornece o framework de código de treinamento necessário, embora o conjunto de dados original seja baseado em AWS e exija adaptação para novos ambientes.

• Qual é o principal benefício de usar o LGM?

  O principal benefício do LGM é sua capacidade de gerar conteúdo 3D de alta resolução com detalhes impressionantes a partir de entradas multi-view.

• Em quais tecnologias o LGM se baseia?

  O LGM se baseia em pesquisas em Gaussian splatting, diff-gaussian-rasterization e nvdiffrast para suas capacidades de renderização 3D.

• Como posso visualizar os modelos 3D gerados?

  Você pode visualizar arquivos PLY salvos usando o script `gui.py` fornecido para visualização local.