本日はHoloLensアプリのテクニック記事です。
〇音声認識とは？
HoloLens 2では手を使ったジェスチャー入力のほか、ユーザーの音声コマンドを認識して処理を実行することができます。
しかし、デバイスで使用している言語によって認識できる言語が決まります。
HoloLens 2ではOSの言語を設定から簡単に変更できます。
そのためUnityアプリで独自の音声認識のコマンドを実行した場合、音声コマンドが使えないという場面が発生する可能性があります。
今回はユーザーの使用している言語に合わせて音声コマンドを使用できるようにします。
〇言語を取得する
アプリ内に使用している言語に合わせて適応される音声コマンドを変化させるためにはまずアプリ内でデバイスの使用している言語を取得する必要があります。
これは次のコードで実現します。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class LangageManager : MonoBehaviour
{
// Start is called before the first frame update
void Start()
{
string lang = Application.systemLanguage.ToString();
Debug.Log(lang);
}
}
UnityではApplication.systemLanguageを使用するととで実行されているOSの使用言語を取得できます。
これを実行することでコンソールウィンドウに使用しているPCの言語名が表示されるようになりました。
〇言語ごとの音声コマンド
MRTKを使用したHoloLensアプリの場合MixedReality Configureで使用する音声コマンドを登録します。
[SpeechInputHandler]コンポーネントなどを用いてUnityアプリ内で音声コマンドとそのイベントを設定します。
今回はこの特性を利用して日本語用のゲームオブジェクトと英語用のゲームオブジェクトの二つを作成して、使用しているOSの言語に応じて選択されるようにしました。
今回[Start]と[スタート]という二つの音声コマンドを設定しました。
①hierarchyウィンドウに2つのゲームオブジェクトを追加してそれぞれ[JapanVoiceInput]と[EnglishVoiceInput]と名付けます。
②次に[JapanVoiceInput]、[EnglishVoiceInput]にそれぞれ[SpeechInputHandler]コンポーネントを加えます。
・[JapanVoiceInput]
[keyword]に日本語で[スタート]と入力します。
・[EnglishVoiceInput]
[keyword]に英語で[Start]と入力します。
③シーンに２つの異なる色のキューブを配置します。
④配置したキューブをディアクティブにします。
⑤[JapanVoiceInput]、[EnglishVoiceInput]オブジェクトでそれぞれ赤色のキューブ、白色のキューブが出現するように設定します。
これで[Start]と認識した場合白色のキューブが、[スタート]と認識した場合赤色のキューブが出現するようになったことで発話を区別できます。
⑥新しいゲームオブジェクトを作成して[LanguageManager]と名付けます。
⑦[LanguageManager]オブジェクトに次のスクリプトを作成してアタッチします。
using System.Collections;
using System.Collections.Generic;
using UnityEngine;
public class LangageManager : MonoBehaviour
{
[SerializeField]
GameObject _JapanesePrefab;
[SerializeField]
GameObject _EnglishPrefab;
// Start is called before the first frame update
void Start()
{
//get Langage using users device.
string lang = Application.systemLanguage.ToString();
Debug.Log(lang);
switch(lang)
{
case "Japanese":
_JapanesePrefab.SetActive(true);
break;
case "English":
_EnglishPrefab.SetActive(true);
break;
}
}
}
このオブジェクトは実行時にデバイスのOSの言語によって[JapanesePrefab]か[ EnglishPrefab]のどちらかをアクティブにします。
実際のOSでは日本語英語以外に様々な言語があるので今回は今後の拡張を考えてSwitch文を使用しています。
⑧[JapaneesePrefab]、[ EnglishPrefab]にはそれぞれ対応する[JapanVoiceInput]、[EnglishVoiceInput]を設定します。
⑨最後に[JapanVoiceInput][EnglishVoiceInput]をディアクティブにします。
xRアプリは日本国内の場合日本語が一般的ではありますが、グローバルで誰もが使いやすいアプリを考えたときには今回のようなテクニックが役立ちます。
