설명
Stable-DreamFusion은 Stable Diffusion 텍스트-2D 모델의 기능을 활용하여 향상된 DreamFusion 텍스트-3D 모델의 PyTorch 기반 구현체입니다. 이 프로젝트는 텍스트 프롬프트 및 이미지를 3D 모델로 변환하는 3D 콘텐츠 생성 프레임워크를 제공합니다. 생성 능력을 달성하기 위해 Neural Radiance Fields(NeRF)와 Diffusion 모델을 통합합니다.
핵심 기능은 텍스트 설명이나 이미지와 같은 2D 입력을 3D 표현으로 변환하는 데 중점을 둡니다. 여기에는 사용자가 원하는 객체를 설명할 수 있는 텍스트-3D 생성과 단일 이미지로부터 3D 모델을 생성할 수 있는 이미지-3D 변환이 포함됩니다. 또한 프로젝트는 메시 내보내기를 지원하여 사용자가 생성된 3D 모델을 다양한 애플리케이션에서 추출하고 활용할 수 있도록 합니다.
주요 기능으로는 더 빠른 렌더링을 위한 Instant-NGP와 같은 다양한 백본 지원 및 CUDA 확장이 필요 없는 순수 PyTorch 경험을 위한 일반 NeRF 백본이 있습니다. 또한 텍스트-3D 생성에서 멀티 헤드 문제를 해결하기 위한 Perp-Neg와 같은 고급 기술을 통합하고 DeepFloyd-IF와 같은 모델의 안내를 지원합니다. 이 프로젝트는 3D 콘텐츠 생성 및 생성 AI의 최전선을 탐구하는 데 관심 있는 연구원 및 개발자를 위해 설계되었습니다.
사용자는 리포지토리를 클론하고, 종속성을 설치하고, Python 스크립트를 실행하여 Stable-DreamFusion을 설치하고 실행할 수 있습니다. 이 프로젝트는 구성에 유연성을 제공하여 사용자가 학습 및 테스트를 위한 다양한 매개변수를 지정할 수 있도록 합니다. 또한 생성된 3D 장면의 자유로운 보기 제어를 위한 GUI를 포함하여 디버깅 및 시각화 옵션을 제공합니다. 이 프로젝트는 수많은 연구 작업 및 오픈 소스 프로젝트에 대한 의존성을 인정하며 AI 커뮤니티 내에서 협업 정신을 함양합니다.
Stable-DreamFusion의 핵심 기능
텍스트 프롬프트로부터의 텍스트-3D 생성.
단일 입력 이미지로부터의 이미지-3D 생성.
추출된 3D 모델을 위한 메시 내보내기.
NeRF 및 Diffusion 모델 통합.
Stable Diffusion 및 DeepFloyd-IF를 Diffusion 백본으로 지원.
가속 렌더링을 위한 Instant-NGP 백본.
순수 PyTorch 구현을 위한 일반 NeRF 백본.
멀티 헤드 문제 완화를 위한 Perp-Neg 기법.
CUDA 없는 작동을 위한 선택적 Taichi 백본.
DMTet을 사용한 메시 파인튜닝 기능.
대화형 시각화 및 제어를 위한 GUI.
음수 텍스트 프롬프트 지원.
Stable-DreamFusion 시작하기
개발자: GitHub에서 리포지토리를 클론합니다.
개발자: pip를 사용하여 필요한 Python 종속성을 설치합니다.
개발자: 특정 기능에 대한 사전 학습된 모델을 다운로드합니다.
개발자: 학습 또는 추론을 위한 매개변수를 구성합니다.
개발자: 텍스트-3D 또는 이미지-3D 생성을 위한 Python 스크립트를 실행합니다.
개발자: 생성된 3D 모델을 테스트하고 시각화하거나 메시를 내보냅니다.
Stable-DreamFusion의 사용 사례
- 3D 에셋 생성
- 프로토타이핑
- 생성 예술
- 연구 개발
- 가상 환경
- 메시 생성
- 이미지-3D 변환
