こんばんは。
DeepSeek-R1が急に現れて話題ですね。
せっかくなのでローカルで動くか試してみます。（ラマの顔がかわいい）
マシンスペック
CPU：AMD Ryzen5 9600X
メモリ：32GB
ストレージ：ほどほど
GPU：NVIDIA GeForce RTX 4070（VRAM 12GB）
OS：Windows11 Pro
準備
Open WebUIを使います。
Open WebUIを使うまでの手順はここには書かないので、詳しく解説してくれている記事などを探してみてください。
モデルはQwenの蒸留モデルがすでにollamaのLibraryにアップロードされているので、ありがたく使わせてもらいましょう。
VRAMが12GBなので、1.5bと8bと14bをダウンロードしてみます。
14bが9.0GBで32bが20GBとのことなので、RTX 4090などを使っているなら32bも普通に動きそうですね。
システムプロンプトには「Think in English, Respond in Japanese.」と入れるといいよとのことなので、入れておきます。
ちなみに入れないと割と中国語が返ってきました。
設定はここ。
質問してみよう
Hugging Faceのページによれば1.5Bでも4oより良いパフォーマンスっぽく見えるけど果たして。
まずは1.5B
はい。全然システムプロンプトを無視して中国語で返してくれました。
中国語が読めないので翻訳してもらいましたがこんな感じでした。
中国的には節分って言ってもあんまり特定できないんでしょうか。
「2025年のお祭りとは？」
「2025年は、希望、進歩、未来の到来を象徴する非常に重要な数字上の年である。 多くの国がこの重要な日を祝っています。 もし特定の祝日を指しているのであれば、いつ、あるいはどこの祝日か教えてください。 関連情報を提供できるよう最善を尽くします！」
