説明
PanoHeadは、CVPR 2023論文「PanoHead: Geometry-Aware 3D Full-Head Synthesis in 360 degree.」のコードリポジトリです。このプロジェクトは、360度全方向で高品質かつ視点の一貫性を保った人間の頭部画像を合成できる、新しい3D認識生成モデルを導入します。従来の多くの手法が正面に近い視点に限定されたり、大きな角度での3Dの一貫性に苦労したりするのに対し、PanoHeadは実世界の構造化されていない画像を使用して学習し、データアライメントのギャップを埋めます。
その中核となる革新は、堅牢な3D GANトレーニングのために設計された2段階の自己適応型画像アライメントプロセスにあります。さらに、トリプレーン形式で一般的に見られる特徴の絡み合いの問題、特に頭部の前面と背面における問題を克服するために、トリグリッドニューラルボリューム表現を採用しています。PanoHeadは、2D画像セグメンテーションからの事前知識を、3Dニューラルシーン構造の敵対的学習に統合し、様々な背景に対して composable な頭部合成を促進します。このアプローチは、複雑な髪型を含む、正確なジオメトリと多様な外観を持つ3D頭部の生成を大幅に向上させ、任意のポーズからレンダリング可能にします。
合成を超えて、PanoHeadは単一の入力画像から完全な3D頭部を再構築する能力を示し、パーソナライズされたリアルな3Dアバターを可能にします。リポジトリは、ビデオ、画像、3D形状（.mrcファイル）の生成のためのコード、単一画像からの全頭部再構築および異なる頭部生成間の補間スクリプトを提供します。また、モデルをゼロからトレーニングしたり、事前学習済みネットワークをファインチューニングしたりするための例、および提供されたメトリクスを使用して生成された結果を評価するための手順も含まれています。
このプロジェクトはEG3Dコードベースに基づいており、Linux、ハイエンドNVIDIA GPU、Python 3.8+、PyTorch 1.11.0+、CUDA toolkit 11.3以降などの特定のハードウェアおよびソフトウェア構成が必要です。リポジトリには、環境のセットアップ、事前学習済みモデルのダウンロード、および様々な生成およびトレーニングスクリプトの実行に関する詳細な手順が含まれています。これは研究参照実装として提示されています。
PanoHeadの主要機能
360度3D全頭部合成
ジオメトリを考慮した生成モデル
視点の一貫性を保った画像生成
実世界の画像でのトレーニング
2段階の自己適応型画像アライメント
トリグリッドニューラルボリューム表現
2D画像セグメンテーションの事前知識の統合
単一画像からの全3D頭部再構築
多様な外観と詳細なジオメトリの生成
複雑な髪型のサポート
任意のポーズでのレンダリング
ビデオ、画像、3D形状生成のためのコード
PanoHeadをはじめる
リポジトリのクローン: GitHubからPanoHeadコードを取得します。
依存関係のインストール: 提供されたenvironment.ymlファイルを使用してPython環境をセットアップします。
モデルのダウンロード: 事前学習済みネットワークモデルを取得し、ルートディレクトリに配置します。
結果の生成: ビデオ、画像、または3D形状を生成するためのPythonスクリプトを実行します。
頭部の再構築: 単一画像からの全頭部再構築のために提供されたスクリプトを使用します。
モデルのトレーニング: モデルのトレーニングまたはファインチューニングの手順に従います。
メトリクスの評価: 生成された出力の品質を評価するためのスクリプトを実行します。
PanoHeadの使用例
- 3D頭部合成
- アバター作成
- バーチャルトライオン
- コンピュータグラフィックス研究
- コンテンツ生成
- ポーズ不変レンダリング
- データアライメント技術
