설명
GaussianObject는 최소 4개의 입력 이미지 세트에서 고품질 3D 객체 재구성을 생성하는 새로운 프레임워크를 제시합니다. 이 방법은 Gaussian splatting을 활용하여 3D 객체를 표현하고 렌더링하며, 인상적인 시각적 충실도를 달성합니다. 핵심 혁신은 COLMAP 없이도 효과적으로 작동하여 3D 재구성 작업의 진입 장벽을 크게 낮춘다는 것입니다.
프로세스는 시각적 외형 구성(visual hull construction) 및 부유물 제거(floater elimination)와 같은 기법으로 시작됩니다. 이러한 방법은 초기 최적화에 구조적 사전 정보(structural priors)를 주입하여 일관되고 거친 3D Gaussian 표현을 생성하는 데 도움을 줍니다. 이 초기 표현은 객체의 기본 모양과 구조를 포착합니다.
초기 재구성 후, 확산 모델을 기반으로 구축된 Gaussian 복구 모델(Gaussian repair model)이 사용됩니다. 이 모델은 누락된 객체 정보를 보충하고 기존 Gaussian을 추가로 개선하여 더 상세하고 정확한 최종 모델을 만듭니다. 이 복구 모델을 훈련하기 위한 적절한 이미지 쌍을 생성하기 위해 자체 생성 전략(self-generating strategy)이 활용되어 효과를 보장합니다.
GaussianObject는 4개의 뷰만 사용할 때 이전의 최첨단 방법과 비교하여 우수한 재구성 결과를 보여줍니다. 이 프레임워크는 표준 사용 및 COLMAP 없는 변형 모두에 대한 지침이 제공되어 적응 가능하도록 설계되었습니다. 이러한 유연성을 통해 사용자는 더 쉽게 임의의 캡처된 객체를 재구성할 수 있습니다.
이 프로젝트는 SIGGRAPH Asia 2024의 연구 기여로 발표되었으며, ACM Transactions on Graphics (TOG)에 게재되었습니다. 광범위한 다중 뷰 데이터나 정확한 카메라 포즈를 사용할 수 없는 시나리오에서 특히 효율적이고 고충실도의 3D 객체 재구성에 관심 있는 연구원 및 개발자에게 강력한 솔루션을 제공합니다.
GaussianObject의 핵심 기능
4개의 뷰에서 고품질 3D 객체 재구성
표현 및 렌더링을 위해 Gaussian splatting 활용
COLMAP 없는 재구성 기능
개선을 위해 시각적 외형 및 확산 모델 결합
다중 뷰 일관성을 위한 구조적 사전 정보 주입
복구 모델 훈련을 위한 자체 생성 전략
제한된 뷰에서 이전 최첨단 방법 능가
표준 및 COLMAP 없는 사용을 위한 지침 제공
SIGGRAPH Asia 2024 (ACM TOG)에서 발표된 연구
GaussianObject 시작하기
리포지토리 복제: 하위 모듈을 포함하여 GaussianObject 리포지토리를 복제합니다.
환경 설정: PyTorch (CUDA 지원 포함)를 포함한 필수 Python 패키지를 설치합니다.
데이터 준비: 이미지 및 필요한 구성 파일로 데이터 세트를 구성하거나 Mip-NeRF360과 같은 제공된 데이터 세트를 사용합니다.
시각적 외형 생성: visual_hull.py 스크립트를 실행하여 초기 3D 표현을 생성합니다.
거친 3DGS 훈련: train_gs.py를 사용하여 거친 3D Gaussian 표현을 최적화합니다.
복구 모델로 개선: 상세한 재구성을 위해 Gaussian 복구 모델을 훈련하고 적용합니다.
결과 렌더링: render.py를 사용하여 최종 3D 객체 재구성을 시각화합니다.
GaussianObject의 사용 사례
- 3D 객체 재구성
- 에셋 생성
- 사진 측량 대안
- 컴퓨터 비전 연구
- 신속한 프로토타이핑
- 디지털 아카이빙
