https://toguo.hatenablog.com/entry/2025/02/02/231959

この1週間、Deepseekの登場でOpenAIのChatGPTはどうなる？等の様々な意見や、無料で最新のChatGPTに迫る性能を利用できるという事で話題になっていましたが、Deepseekの話題の一つであるオープンソースで作られているというキーワードをきっかけに、自分の環境（パソコン）で動かすことが出来るのか興味を持ったので色々調べていたら、1年前より随分環境が整えられていたので、試してみました。

自分の環境について

M1 MacBook Pro 16GB
GPU8コアモデル
512GB SSD

まあ吊るしモデルでは無いですが、フルスペックとは言えない普通のモデルです。今回はMacベースの話になりますが、Windowsでもスペックが揃っていれば同様の環境は用意できます。

ローカル環境で動かすためのツールのインストール

最初はコマンドライン（黒い画面）で動かす環境を自分で構築したりする世界が、黒い画面でも簡単にインストールして使えるものから、普通のアプリケーション上で、ChatGPTなどのサービスと同じでチャットベースで操作できるツールで手軽に構築出来るようになりました。

自分は、LM Studioというツールを使用しました。下記の記事がわかりやすかったのでご紹介します。 note.com

LM Studioをインストールしたら、言語モデル（考えてくれるエンジン）をインストールして使う形になります。

言語モデルの選定

まず、自分のパソコンの性能では、ChatGPTが提供している最新のモデルと同様の性能を出すことは出来ません。ただ基になるデータを削減しているモデルを使うことによって、商用の最新版から精度は下がりますが、質問の内容や質問の仕方によっては十分に使えるツールになります。

世間では様々な事例が見られますが、自分のパソコンでは8b（80億）程度のパラメータのモデルであれば、まあまあの速度で動きそうなので、使えそうなモデルを試してみました。

DeepSeek-R1-Distill-Llama-8B-GGUFを使ってみた

話題のDeepSeekの軽量モデルです。

色々な質問をして見た所感としては、

質問に対して色々推察して、多めの情報を返そうと努力してくれる
返そうとする情報が多いこと、質問の内容によるものもあるが、処理は遅い印象
一度中国語で考えて、英語・日本語に変えてから返しているからか、日本語がおかしい時が多い。中国語で返ってくることも

現時点の評価としては、気軽に日本語で質問して納得の行く日本語で返してくれることをゴールとするとちょっと使えない印象でした。そこで、最新の研究成果でなくとも、そこそこの精度・速度で納得の行く返答をしてくれるものを目標に他のモデルも調べてみました。

他に試したモデルと所感

色々調べて見たところ、今のところ3つのモデルを暫く試してみようと思っています。

ちょうど3つのモデルやその他モデルについて、Catapp-Art3Dさんによるわかりやすい記事がありましたのでご紹介します。 note.com

Llama-3-ELYZA-JP-8B

Meta（Facebook・Instagramの会社）が作ったLlama3というモデルに、株式会社ELYZAの方が日本語でもいい感じに動作するように改良を加えられたモデルです。

記録されているデータが最新ではなかったり精度も下がると思うのですが、どんな質問でも普通の日本語で返してくれます。 2年前位のChatGPTもこんな返答だったかな？と思える印象で、変な回答しか来ない場合は、しっかり条件設定をしたプロンプトを書けば使える回答をしてくれています。

速度も現実的な速度で返してくれます。

Llama-3.1-Swallow-8B-Instruct-v0.2

こちらは東京科学大学＆産総研のチームの方たちが作ったモデルです。基本的には上のモデルと同じレベルのパフォーマンスが出てくれますが、翻訳とか文章の内容を読み込んでまとめてみてねとお願いする時の速度と正確さは、今使っている限りでは少しだけこちらのモデルが良さげな印象です。

Gemma-2-2b-jpn-it

Googleが開発したモデルをベールに、上で紹介したモデルより更に軽量化を加えて日本語向けにチューニングされたモデルです。軽量なので、とにかく速く動作してくれます。正確さは下がるのかもしれませんが一般的な内容の質問であれば、問題の無い返答をしてくれることもあるので、使い分けを上手く出来れば便利に使えそうです。

まとめ

今回Deepseekきっかけで、上で紹介した3つのモデルを使い始めることになりました。まだ数日しか経っていませんが、自分のパソコンの中で好きなだけ使える・ネットが遅かったり不安定でも使えるというのは本当に便利です。

また同じコンセプトで作っていても、追加で用意した日本語情報やチューニングの仕方によって出力結果が変わるのも、技術的に見てもとても面白いなと感じました。そしてこの数日でもどんどん新しいモデルが公開されている状態なのも、LLMの世界が本当に日進月歩で進化しているのを感じました。 DeepSeekの軽量モデルでは、個人としては速度・精度・日本語での利用については満足行く結果には至りませんでしが、来月にはまた違った状況になっているかもしれないので、引き続きチェックしていこうと思います。

質問の仕方を工夫すれば、十分役立つ情報を返してくれるので、ローカルLLMを動かせるパソコン（個人的にはM1以降のMac）を持っている方は、インストールは難しくないので、とりあえず自分だけのアシスタントを手に入れる気持ちでチャレンジして貰えればと個人的には思います。

最後に、ここで紹介したツール・モデルをオープンソースなどで提供されている、すべての開発者の皆さんに敬意を評したいと思います！