説明
Large Multi-View Gaussian Modelの略であるLGMは、高解像度3Dコンテンツ作成のために設計された高度なフレームワークです。ECCV 2024でOral論文として発表されたこのプロジェクトは、複数の入力ビューから詳細な3Dアセットを生成できる、新しいGaussianモデルの堅牢な実装を提供します。LGMの中核は、マルチビュー情報を活用して、印象的な忠実度で複雑な3Dシーンを再構築およびレンダリングする能力にあります。
このプロジェクトは、3Dコンテンツ生成に関心のある研究者や開発者向けに、包括的なツールのセットを提供します。これには、公式コードリポジトリ、ダウンロード可能な事前学習済みモデルウェイト、および推論のための明確な指示が含まれます。LGMは、テキストから3Dおよび画像から3Dの生成パイプラインの両方をサポートしており、さまざまなクリエイティブおよび技術的なアプリケーションに汎用性の高いツールとなっています。この実装は、Gaussian splattingおよびニューラルレンダリング技術における既存の研究に基づいており、3D合成における品質と解像度の限界を押し上げることを目指しています。
LGMの主な機能には、高解像度出力があり、詳細な3Dモデルやシーンの作成を可能にします。モデルのアーキテクチャはマルチビュー入力用に最適化されており、ジオメトリと外観の正確な再構築を可能にします。プロジェクトは、保存されたPLYファイルの視覚化のためのローカルGUIと、メッシュ変換用のスクリプトも提供しており、既存の3Dワークフローへの統合を容易にします。トレーニングデータセットはAWSベースであり、直接転送可能ではありませんが、プロジェクトは、独自のモデルをトレーニングしたいユーザーのために、トレーニングコードフレームワークとObjaverseデータセットのフィルタリングされたサブセットを提供します。
LGMは、コンピュータビジョンおよびグラフィックスの研究者、3Dアーティスト、ゲーム開発者、および3Dアセットの作成または操作に関わるすべての人々にとって特に重要です。プロジェクトのオープンソースの性質と詳細なドキュメントは、コミュニティの貢献とさらなる開発を奨励します。高解像度出力とマルチビューの一貫性への重点は、LGMを生成的な3Dモデリングの分野における重要な進歩として位置づけています。
LGM: Large Multi-View Gaussian Modelの主要機能
高解像度3Dコンテンツ作成
Large Multi-View Gaussian Modelの実装
テキストから3D生成をサポート
画像から3D生成をサポート
公式コードと事前学習済みウェイトを提供
推論スクリプトを含む
3Dモデル視覚化のためのローカルGUI
メッシュ変換ユーティリティ
Gaussian Splatting技術に基づいている
ECCV 2024 Oral論文
LGM: Large Multi-View Gaussian Modelをはじめる
リポジトリのクローン: GitHubからLGMコードを取得します。
依存関係のインストール: PyTorchやxformersを含む必要なPythonパッケージを設定します。
ウェイトのダウンロード: Hugging Faceから事前学習済みモデルチェックポイントを取得します。
推論の設定: 生成のためにワークスペースとテストパスを指定します。
推論の実行: 3D生成のために`infer.py`スクリプトを実行します。
結果の視覚化: 保存されたPLYファイルを表示するために`gui.py`を使用します。
メッシュへの変換: メッシュ抽出のために`convert.py`を使用します。
LGM: Large Multi-View Gaussian Modelの使用例
- 高解像度3Dアセット生成
- テキストから3Dコンテンツ作成
- 画像から3D再構築
- AR/VR向け3Dコンテンツ
- ゲーム開発アセット
- 生成的な3Dの研究
