https://redhologerbera.hatenablog.com/entry/2024/10/24/181429

本日はApple VisionProアプリレビュー枠です。

・Apple VisionPro

　・VisionOS 2.1

3D Gaussian Splattingは、3Dモデリング技術の一つで、ガウス関数を使用して3D空間内のデータポイントを表現する方法です。

ガウス関数とは、数学で使われる関数で以下が定義です。

$\displaystyle f(x) = a * exp(-(x - b)^2 / (2 * c^2)) \$

3DGausianSplattingではガウス関数を用いて3D空間内のポイントクラウドを表現するために使用されます。

3DGausianSplattingはNeRF(Neural Radiance Field)のガウス関数を用いた発展技術（正確には少し違います。）です。

この技術は、複数の写真や画像から3Dシーンを生成し、リアルタイムでレンダリングすることができます。

MetalSplatterはApple VisionProで無料で入手することができるアプリケーションです。

また、iOS,macOSにも対応しており、PLY形式のファイルを読み込み3DGausianSplattingを用いた3Dシーンのリアルタイムレンダリングが可能です。

また、GitHubでもライブラリが公開されています。

VisionOSのアプリでは、ファイル

　Galleryからサンプルシーンを開くことがで切るほか、ローカルファイルからPLYを読み込んでシーンに入ることもできます。

自身のシーンを読み込む場合はLumaAIを使用することが便利です。(なお本記事執筆現在LumaAIは3DモデルよりもAI生成動画にリソースを振っているため処理が極端に遅くなっています。)

　自身のキャプチャからダウンロード、シーンをPLYとしてダウンロードし、そのファイルをApple VisionProのファイルなどローカルフォルダに入れることで読み込むことができます。

シーン内ではHandTrackingを使用して移動ができます。

　移動は両手の同時タップによって行えます。

また、その他シーン全体のスケールも変えることができますが、視差が変わるため、酔いが発生しやすいです。

本日は以上です。

簡単にGausianSplattingを使用できるのはよいですね。