本日はAI枠です。
近年ChatGPTを代表とするLLMモデルによる社会実装が進んでいます。
これらはOpenAIなどの開発会社のサーバーで実行されており、ユーザはウェブブラウザやAPIを使用してネットワーク経由で通信をしてデータをやり取りしています。
これに対してローカルのＰＣ上でLLMを実行する手法もあります。これらはネットワークが不要のため学校などネットワーク制限環境でも使用することができるほか、ローカルで実行されることによりサブスクリプションコストが低いor発生しないメリットがあります。
今回はLMStudioを使用していきます。
〇LMStudioとは？
LMStudioは、ローカル環境で大規模言語モデル（LLM）を実行するためのツールです。
GUIベースで提供されているため誰でも使用することができます。
LMStudioは公式サイトから入手することができます。
Windowsの場合は.exeで提供されています。
これを実行することでLMStudioがインストールされます。
サイドメニューのDeveloperへアクセスします。
ここではモデルをダウンロードできます。
上部のSelect a model to loadを選択しモデルを検索します。
今回はGemma 2 2B Instructのモデルを使用しました。
モデルをダウンロードした後にサイドタブからChatタブに切り替え上部のSelectModelからモデルを設定します。
後はChatGPTと使い方は同じになります。
以上でローカルでLLMモデルを実行することができました。
なおLMStudioはサーバーとして実行することもできるため外部アプリからアクセスすることもできます。
こちらは次回Unityで試していきたいと思います。
本日は以上です。
