本日はHoloLensの表現調査枠です。
[リップシンク(LipSync)]とはキャラクターモデルの表現などで使用される技術で、音源に合わせてキャラクターモデルの口を動かすことを指します。
近年ではYouTube上でライブ配信を行うデジタルキャラクターVTuberなどでも使用されており、リアルタイムに声と口の動きを対応させることができます。
昨日はUnity上で[uLipSync]の動作を確認しました。
本日は実機で動かしていきます。
〇HoloLensでのLipSync
UnityでのLipSyncとして[OVRLipSync]を使用することが多いです。
しかし、HoloLens 2のアーキテクチャであるARM用のDllが見当たらなく、実機で動かすことはできませんでした。
そのため今回は凹みさんの公開している[uLipSync]を使用していきます。
〇HoloLens 2実機へデプロイ
昨日作成したプロジェクトをHoloLens 2実機へデプロイしました。
しかしアプリケーションが起動せず、クラッシュしてしまう問題が発生しました。
HoloLensアプリ開発においてアプリケーションそのものに問題がある場合、[Made with Unity]のスプラッシュイメージが表示される前にクラッシュしてしまいます。
この問題を調査する中でボタンなどを配置し、アプリ起動後にuLiySyncを設定したキャラクターを表示することでクラッシュを回避できました。
また、uLipSyncが実行されている状態でホーム画面を開くなどアプリを停止させることでホログラムの安定性が破断することがわかりました。
回避策ですが、アプリ起動時にオブジェクトを表示しない、アプリ停止時はオブジェクトの再構築を行うことでHoloLens 2でも使用できそうです。
