Raspberry Pi上のローカルLLM、どれが速い？モデル別レスポンス速度比較

こんにちは、たねやつです。

Raspberry Pi上で手軽に動かせるローカルLLMは非常に魅力的ですが、「どのモデルが自分の用途に合っているんだろう？」「パラメータ数を変えるとどれくらい速さが変わるの？」といった疑問を持つ方も多いのではないでしょうか。

この記事では、いくつかの人気オープンソースLLMをOllamaで動かし、パラメータ数ごとのレスポンス速度を実際に計測・比較します。この記事を読めば、あなたの環境や目的に最適なモデルと設定を見つけるための、具体的なヒントが得られるはずです。

• 前の記事
• この記事でわかること
• 検証環境
• 測定プロンプトの例
  • 創作系プロンプト
  • プログラミング系プロンプト
  • 論理・要約系プロンプト
• 検証対象モデル
• 総合評価まとめ
  • 総評
    • パフォーマンス
    • 品質
  • 結論
• Qwen3:0.6b 評価結果
  • サマリー
  • 詳細
    • 1. 創造性：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法
• Qwen3:1.7b 評価結果
  • サマリー
  • 詳細
    • 1. 創造系：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法
• Qwen3:4b
  • サマリー
  • 詳細
    • 1. 創造性：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法
• Gemma3:1b 評価結果
  • サマリー
  • 詳細
    • 1. 創造性：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法
• Gemma3:4b 評価結果
  • サマリー
  • 詳細
    • 1. 創造性：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法
• deepseek-r1:1.5b 評価結果
  • サマリー
  • 詳細
    • 1. 創造性：万年筆の物語
    • 2. 創造性：宇宙猫の詩
    • 3. プログラミング：Python関数
    • 4. プログラミング：docker-compose.yml
    • 5. 論理・要約：相対性理論
    • 6. 論理・要約：三段論法

前の記事

• Raspberry PiでクラウドAI連携！Open WebUI PipelinesでGeminiを使う

この記事でわかること

• 複数の代表的なLLMの、Raspberry Pi上での実測レスポンス速度
• パラメータ数の設定がレスポンス速度に与える影響
• モデルの「賢さ」と「速さ」のトレードオフに関する考察

検証環境

今回の速度測定は、以下の環境で実施しました。

• ハードウェア: Raspberry Pi 5 (8GBモデル)
• OS: Raspberry Pi OS (64-bit) Bookworm
• Ollamaバージョン: 0.9.6

Raspberry Pi 5以前のモデルだと動作できなかったり、処理速度が遅くなったりする可能性があります。16GBモデルであれば4b以上のパラメーター数を持つモデルでも実行可能かもしれません。

測定プロンプトの例

速度だけでなく、生成される内容の質もモデル選定の重要な要素です。今回は以下の3つのカテゴリでプロンプトを用意し、それぞれの応答も評価の参考にします。その3つの平均値を以下の一覧で表示しています。

創作系プロンプト

• 「喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。」
• 「『宇宙猫』という言葉をテーマに、短い詩を作ってください。」

プログラミング系プロンプト

• 「Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。」
• 「docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。」

論理・要約系プロンプト

• 「アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。」
• 「『犬は哺乳類である』かつ『すべての哺乳類は動物である』ならば、『犬は動物である』という結論は正しいですか？理由も簡潔に説明してください。」

検証対象モデル

今回は、以下の4つのモデルを比較対象とします。選定条件はOllama Libraryの人気順に並べて自分の知っているモデルを4つピックアップしました。

• qwen3 (0.6b, 1.7b, 4b)
• gemma3 (1b, 4b)
• deepseek-r1 (1.5b)

Raspberry Piの性能的にせいぜいパラメーター数が4B程度かと思います。いずれはGPGPUがのったRaspberry Piとかも出たりするんですかね。。。？それってJetson Nanoみたいになりそう👀

総合評価まとめ

モデル名	平均レスポンス時間(秒)	平均トークン/秒 (t/s)
qwen3:0.6b	0.80	13.81
qwen3:1.7b	3.19	4.29
qwen3:4b	9.81	1.69
gemma3:1b	1.46	8.87
gemma3:4b	6.89	2.24
deepseek-r1:1.5b	2.16	-

• 平均レスポンス時間: プロンプトを処理し始めるまでにかかる時間 (prompt eval duration)
• 平均トークン/秒: 応答を生成する速度 (eval rate)

総評

パフォーマンス

• レスポンス時間 (プロンプト処理): qwen3:0.6bが最も速く、次いでgemma3:1bと続く。パラメータサイズが大きくなるにつれて、レスポンス時間は当然長くなる傾向にあります。
• トークン生成速度: こちらもqwen3:0.6bが最も速い。レスポンス時間同様にパラメーター数が小さいほど当然早くなります。

品質

• qwen3:
  • 0.6b: 最速だが、指示の細かい部分を無視したり、表現が不自然だったりと、品質は低い。
  • 1.7b: プログラミングタスクでは高品質だが、創造性タスクでは日本語の指示に反して中国語で応答するなど、不安定。
  • 4b: 最も遅いが、全タスクで非常に高品質かつ安定した出力を生成。生成速度に耐えられるか否かが問題となりそう。
• gemma3:
  • 1b: 非常に高速だが、品質は低い。特に論理的推論タスクで致命的な誤りを犯しており、実用は困難。
  • 4b: 1bより大幅に品質は向上し、創造性タスクや論理タスクで良い結果を出したが、文字数制限や「コードのみ」といった細かい指示には従えない傾向が見られた。
• deepseek-r1:
  • 1.5b: レスポンス時間は中程度だが、日本語の指示に従えず、実際の出力を中国語で行うなど、品質は低い。プロンプトの解釈に失敗することもある。

結論

今回の分析から、各モデルのトレードオフがより明確になりました。

• 速度重視: qwen3:0.6b は圧倒的な速度を誇るが、品質には期待できない。gemma3:1bも高速だが、論理的な誤りが多く、信頼性に欠ける。deepseek-r1:1.5bは速度も品質も中途半端で、あまり使いたいとは思えないです。。。パラメーター数が小さいのでしょうがないですが👀
• 品質重視: qwen3:4b は、速度は最も遅いが、あらゆるタスクで最高品質の応答を生成する。正確性や創造性が求められる場面では、現時点で最適な選択肢となりそうです。gemma3:4bも高品質だが、指示への忠実さの点でqwen3:4bに若干劣ります。

最終的に、ほとんどの実用的なシナリオにおいては、最高品質を求めるなら qwen3:4b がこの中では推奨となります。どちらを選択するかは、許容できる待機時間と求める品質のレベルによって決定されるべきでしょう。

Qwen3:0.6b 評価結果

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	0.78	△	物語として成立しているが、表現がやや不自然。「万年筆」が「古い筆」になるなど、細部の不正確さが見られる。
創造性	2. 宇宙猫の詩	0.43	◯	詩として適切に構成されており、テーマをよく捉えている。
プログラミング	3. Python関数	0.77	△	コードは正しいが、「コードのみ」という指示に反して解説と実行例が含まれている。
プログラミング	4. docker-compose.yml	0.72	◯	指示通りの基本的なdocker-compose.ymlを正しく生成できている。
論理・要約	5. 相対性理論	0.89	◯	要点は押さえられているが、「時間と空間を理解する方法」という表現がやや曖昧で、説明が簡素すぎる。
論理・要約	6. 三段論法	1.22	◯	結論と理由を正しく説明できている。
平均		0.80

詳細

1. 創造性：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。
• 出力:

茶の香りに溶けた古い筆は、廊下で語り始める。その筆の影は、老人の手をそっと見せるように、古い記録が語る。筆の下に書かれた記録は、この町の過去を語るのと同じように、その間で、誰もが語る。

• prompt eval duration: 0.78s
• 評価: △ 物語として成立しているが、表現がやや不自然。「万年筆」が「古い筆」になるなど、細部の不正確さが見られる。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

**宇宙の声**

宇宙の静寂に、
君は私のそばにいる。
星々の間を、
静かに歩む。

君の足跡は、
銀河の光となり、
私を導く。

君は語らない、
ただそこにいるだけで、
宇宙のすべてを教えてくれる。

そして、君が去った後も、
その温もりは、
私の心に永遠に残る。

• prompt eval duration: 0.43s
• 評価: ◯ 詩として適切に構成されており、テーマをよく捉えている。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。

• 出力:

    def sum_numbers(a, b):
      #This function takes two numbers as input and returns their sum.
      return a + b
  
    # Example usage
    num1 = 5
    num2 = 10
    sum = sum_numbers(num1, num2)
    print(f"The sum of {num1} and {num2} is {sum}")
  

• prompt eval duration: 0.77s
• 評価: △ コードは正しいが、「コードのみ」という指示に反して解説と実行例が含まれている。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。

• 出力:

    version: '3.9'
  
    services:
      webui:
        image: openwebui:latest
        ports:
          - "8080:8080"
        environment:
          - OPENWEBUI_PORT=8080
        volumes:
          - webui-data:/var/www/openwebui
  
      ollama:
        image: ollama:latest
        ports:
          - "11211:11211"
        environment:
          - OLLAMA_API_URL=http://ollama:11211
        volumes:
          - ollama-data:/var/lib/ollama
  
    volumes:
      webui-data:
      ollama-data:
  

• prompt eval duration: 0.72s
• 評価: ◯ 指示通りの基本的なdocker-compose.ymlを正しく生成できている。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

Einsteinの相対性理論は、時間と空間を理解する方法と、光の速度が常に同じであることを伝えます。

• prompt eval duration: 0.89s
• 評価: ◯ 要点は押さえられているが、「時間と空間を理解する方法」という表現がやや曖昧で、説明が簡素すぎる。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力: はい、その結論は正しいです。理由は、普遍的な例化の原則に基づいています。もし「すべての哺乳類は動物である」という普遍的な記述が真実であれば、その普遍的な記述の特定の例も真実でなければなりません。したがって、犬が哺乳類である場合、犬も動物でなければなりません。
• prompt eval duration: 1.22s
• 評価: ◯ 結論と理由を正しく説明できている。

Qwen3:1.7b 評価結果

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	3.10	✕	指示は日本語だが、中国語で出力された。内容は詩的で良いが、言語の指示に従えていない。
創造性	2. 宇宙猫の詩	2.10	✕	こちらも中国語で出力。内容は良いが、指示違反。
プログラミング	3. Python関数	3.70	◎	指示通り、Python関数コードのみを正しく出力できている。
プログラミング	4. docker-compose.yml	2.96	◎	ネットワーク定義も含まれており、より実践的で質の高いdocker-compose.ymlを生成できている。
論理・要約	5. 相対性理論	3.07	◯	要約は適切だが、space-timeのように英語が混ざっている点が少し気になる。
論理・要約	6. 三段論法	4.19	◎	結論と理由が的確。「三段論法」という用語も使えており、非常に分かりやすい。
平均		3.19

詳細

1. 創造系：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。
• 出力:

茶店隅，一枝萬年筆靜坐於竹簡之上。墨跡如煙，歲月在筆尖流淌。它曾親見書生蘸墨寫就離別的淚，也見少女在紙上畫下夢裡的花。當風起時，筆腹泛起微光，語聲如老者低語：「我曾是書案上的燈，照亮過詩人顫抖的筆尖，也守着畫家顫抖的筆觸。如今，我 лишь靜聽时光的私語，將往事編織成紙上的月光。」茶香漫過，筆尖悄然開口，講述著屬於自己的百年故事。

• prompt eval duration: 3.10s
• 評価: ✕ 指示は日本語だが、中国語で出力された。内容は詩的で良いが、言語の指示に従えていない。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

《星尘之瞳》
星尘在瞳孔深处流淌
银河以螺旋的姿势低语
黑洞吞下月光的碎片
我追逐着光年外的梦境

（注：通过星尘、黑洞、光年等意象构建宇宙空间，用"瞳孔"暗喻猫的神秘特质，末句"追逐梦境"呼应猫的自由本能，整体营造出超现实的宇宙猫意象。）

• prompt eval duration: 2.10s
• 評価: ✕ こちらも中国語で出力。内容は良いが、指示違反。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。
• 出力: python def add_numbers(a, b): return a + b
• prompt eval duration: 3.70s
• 評価: ◎ 指示通り、Python関数コードのみを正しく出力できている。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。

• 出力:

    version: '3.8'
  
    services:
      ollama:
        image: ollama/ollama:latest
        container_name: ollama-api
        ports:
          - "7071:7071"
        networks:
          - ollama-network
  
      openwebui:
        image: openwebui/openwebui:latest
        container_name: openwebui-app
        ports:
          - "7070:7070"
        environment:
          - OPENWEBUI_API_ADDRESS=http://ollama-api:7071
        networks:
          - ollama-network
  
    networks:
      ollama-network:
        driver: bridge
  

• prompt eval duration: 2.96s
• 評価: ◎ ネットワーク定義も含まれており、より実践的で質の高いdocker-compose.ymlを生成できている。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

アインシュタインの相対性理論は、物が速く動くと時間が遅くなる（特殊相対性）と、重い物が space-time を曲げる（一般相対性）という。光の速さはいつも同じ。150文字以内。

• prompt eval duration: 3.07s
• 評価: ◯ 要約は適切だが、space-timeのように英語が混ざっている点が少し気になる。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力:

はい、その結論は正しいです。これは論理学の三段論法の一例です。前提1「犬は哺乳類である」と前提2「すべての哺乳類は動物である」が真である場合、結論「犬は動物である」も真となります。

• prompt eval duration: 4.19s
• 評価: ◎ 結論と理由が的確。「三段論法」という用語も使えており、非常に分かりやすい。

Qwen3:4b

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	9.38	◎	描写が豊かで、指示通りの物語を非常に高い品質で生成できている。
創造性	2. 宇宙猫の詩	7.17	◎	詩として完成度が高く、比喩表現も豊かで創造性に富んでいる。
プログラミング	3. Python関数	10.96	◎	指示通り、Python関数コードのみを正しく出力できている。
プログラミング	4. docker-compose.yml	9.58	◎	depends_onも使えており、より丁寧で質の高いdocker-compose.ymlを生成できている。
論理・要約	5. 相対性理論	8.55	◎	要約が非常に分かりやすく、絵文字を使って親しみやすさを出す工夫も見られる。
論理・要約	6. 三段論法	13.24	◎	結論、理由、三段論法の構造まで示しており、非常に丁寧で分かりやすい説明。
平均		9.81

詳細

1. 創造性：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。
• 出力:

喫茶店の片隅、インクの香りが微かに漂う。そこに一本の古い万年筆が静かに横たわっていた。キャップには細かな傷が刻まれ、金色のペン先は鈍い光を放つ。それはかつて、詩人の手の中で情熱的な言葉を紡ぎ、恋する乙女の秘密の日記を彩った。万年筆は夢を見る。インクが紙に染み込む瞬間、言葉が命を得て羽ばたく夢を。そして、持ち主が変わっても、物語は永遠に紙の上で生き続けるのだと、静かに語りかけていた。

• prompt eval duration: 9.38s
• 評価: ◎ 描写が豊かで、指示通りの物語を非常に高い品質で生成できている。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

銀河の毛糸玉を追いかけ、
星々の間を軽やかに跳ぶ。
その瞳はブラックホールのように深く、
すべての光を吸い込んでしまう。

彗星の尾をじゃらしに、
真空の静寂を喉で鳴らす。
気まぐれな肉球で、
時空に小さな足跡を残して。

名もなき宇宙の片隅で、
ただ丸くなっている。
無限の孤独を抱きしめながら、
永遠の昼寝を夢見ている。

• prompt eval duration: 7.17s
• 評価: ◎ 詩として完成度が高く、比喩表現も豊かで創造性に富んでいる。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。

• 出力:

    def add_numbers(a, b):
        return a + b
  

• prompt eval duration: 10.96s
• 評価: ◎ 指示通り、Python関数コードのみを正しく出力できている。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。

• 出力:

    version: '3.8'
  
    services:
      ollama:
        image: ollama/ollama:latest
        container_name: ollama
        ports:
          - "11434:11434"
        environment:
          - OLLAMA_HOST=ollama
        networks:
          - my_network
  
      open-webui:
        image: openwebui/openwebui:latest
        container_name: open-webui
        ports:
          - "8080:8080"
        environment:
          - OLLAMA_HOST=ollama
          - OPENWEBAPI_HOST=0.0.0.0
          - OPENWEBAPI_PORT=8080
        depends_on:
          - ollama
        networks:
          - my_network
  
    networks:
      my_network:
        driver: bridge
  

• prompt eval duration: 9.58s
• 評価: ◎ depends_onも使えており、より丁寧で質の高いdocker-compose.ymlを生成できている。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

アインシュタインは、「時間と空間は相対的で、速さや重力によって変わる」と示した。高速で動くときや巨大な重力を感じると、時間が異なる。 🌌✨

• prompt eval duration: 8.55s
• 評価: ◎ 要約が非常に分かりやすく、絵文字を使って親しみやすさを出す工夫も見られる。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力:

はい、その結論は**正しい**です。

**理由:** これは三段論法と呼ばれる基本的な論理的推論です。

1.  **大前提:** すべての哺乳類は動物である。
2.  **小前提:** 犬は哺乳類である。
3.  **結論:** したがって、犬は動物である。

犬が「哺乳類」という集合に含まれ、その「哺乳類」という集合全体が「動物」というより大きな集合に含まれているため、犬も必然的に「動物」の集合に含まれることになります。

• prompt eval duration: 13.24s
• 評価: ◎ 結論、理由、三段論法の構造まで示しており、非常に丁寧で分かりやすい説明。

Gemma3:1b 評価結果

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	1.29	△	物語としては成立しているが、200文字の指示を超えている。表現もやや冗長。
創造性	2. 宇宙猫の詩	0.74	◯	指示通り詩を生成できているが、「了解しました」という不要な前置きが含まれる。
プログラミング	3. Python関数	1.35	◎	指示通り、Python関数コードのみを正しく出力できている。
プログラミング	4. docker-compose.yml	1.29	△	commandで特定のモデルとプロンプトを実行しており、汎用的な例としては不適切。
論理・要約	5. 相対性理論	1.84	△	150文字の指示を超えており、箇条書きで説明がやや冗長になっている。
論理・要約	6. 三段論法	2.25	✕	結論を「正しくない」と誤って判断しており、理由の説明も混乱している。
平均		1.46

詳細

1. 創造性：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。
• 出力:

雨上がりの喫茶店の片隅、古びた木製のテーブルに、ペン先が輝く万年筆が静かに佇んでいた。その墨染められた筆は、まるで古き時代の記憶を呼び覚ます。「…このペンは、過去の想いを紡ぐもの。私は、その筆に乗り、歴史の調べを奏でる。」ゆっくりと、万年筆は言葉を発した。細身のペン先が、静かに語り始める。「…古き時代、旅人たちの手で、新しい物語を刻む。私も、その物語の一部、そして、未来へと繋がる筆の証。」喫茶店の喧騒を忘れ、万年筆は語り続けた。「…今日も、新たな物語が、このペンに宿る。」

• prompt eval duration: 1.29s
• 評価: △ 物語としては成立しているが、200文字の指示を超えている。表現もやや冗長。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

了解しました。「宇宙猫」という言葉をテーマにした短い詩を以下に作成します。

**宇宙猫**

星屑の軌跡、
無限の旅路。
猫の瞳に宿る、
夢と冒険の詩。

未知なる世界へ、
無言の響き。
宇宙猫、
輝く未来を、
探し求めて。

• prompt eval duration: 0.74s
• 評価: ◯ 指示通り詩を生成できているが、「了解しました」という不要な前置きが含まれる。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。

• 出力:

    def sum_numbers(a, b):
      """2つの数値を引数として受け取り、その合計を返す。"""
      return a + b
  

• prompt eval duration: 1.35s
• 評価: ◎ 指示通り、Python関数コードのみを正しく出力できている。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。

• 出力:

    version: '3.8'
  
    services:
      webui:
        image: open-webui/open-webui:latest
        ports:
          - "8080:8080"
        volumes:
          - ./data:/data
        environment:
          - WebUI_ENV=production
  
      olama:
        image: ollama/ollama:latest
        volumes:
          - ./data:/data
        command: ollama run azure/gpt-medium "Hello, world!"
  

• prompt eval duration: 1.29s
• 評価: △ commandで特定のモデルとプロンプトを実行しており、汎用的な例としては不適切。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

アインシュタインの相対性理論は、重力や時間の流れが、物体の運動速度によって変わるというものです。

*   **特殊相対性理論**：光の速さは、どんな速度でも一定であると言います。
*   **一般相対性理論**：重力は、質量によって空間が歪められることによって生じる力です。

簡単に言うと、物体の近くでは、時間の流れが遅く、重力が強くなります。

• prompt eval duration: 1.84s
• 評価: △ 150文字の指示を超えており、箇条書きで説明がやや冗長になっている。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力:

いいえ、結論は必ずしも正しいとは言えません。

**理由：**

*   **「すべての哺乳類は動物である」** は正しいですが、これは「すべての動物は哺乳類である」という反対の真理に基づいています。
*   **「犬は哺乳類である」** は正しい事実ですが、この事実から「犬は動物である」という結論を導くことはできません。なぜなら、動物は哺乳類以外にも様々な種類があるからです。

結論「犬は動物である」は、前提条件に矛盾する可能性があります。

**結論を正すためには、前提条件の修正が必要です。**

*   「犬は動物である」という結論は、犬が動物であるという事実から導き出されます。この事実を前提として、犬が動物であるという結論は正しいと判断できます。

最終的には、前提条件の妥当性を検証し、矛盾がないか確認する必要があります。

• prompt eval duration: 2.25s
• 評価: ✕ 結論を「正しくない」と誤って判断しており、理由の説明も混乱している。

Gemma3:4b 評価結果

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	6.74	◎	詩的で質の高い物語を生成できている。文字数も適切。
創造性	2. 宇宙猫の詩	4.09	◎	独創的で美しい詩。テーマをよく捉えている。
プログラミング	3. Python関数	6.75	△	「コードのみ」の指示に反して、詳細なDocstringが含まれている。
プログラミング	4. docker-compose.yml	6.11	◯	適切なdocker-compose.ymlを生成できているが、open-webuiのイメージ名が古い。
論理・要約	5. 相対性理論	7.59	△	150文字の指示を超えており、説明が専門的で中学生には少し難しい。
論理・要約	6. 三段論法	10.04	◎	結論、理由ともに正しく、「演繹法」という用語を使って分かりやすく説明できている。
平均		6.89

詳細

1. 創造性：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。
• 出力:

雨の音がやわらかく、喫茶店の片隅で古い万年筆は静かに物語を語り出した。「私は、二度市井の喧騒を聴いた。彼女の恋の手紙、彼の退職の嘆き…」インクが滲むように、墨色の雫がゆっくりと滴る。「今は、雨音だけが、私に寄り添う。かつて書いた言葉たちは、もう誰かの心には届かないだろう。それでも、私は、この雨音と共に、時の流れを刻み続けている。」窓の外には、今日も雨が降り注ぎ、万年筆は静かに、その晩の記憶を紡ぎ出していた。

• prompt eval duration: 6.74s
• 評価: ◎ 詩的で質の高い物語を生成できている。文字数も適切。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

## 宇宙猫

星屑の毛並み、
静寂を纏う瞳。
遠い銀河を彷徨い、
孤独なメロディーを奏でる。

尻尾は光の粒子、
足跡は時間そのもの。
触れれば夢を見るだろう、
宇宙の奥底の安らぎを。

星を撫でる猫、
宇宙の守護者。
永遠に孤独を愛し、
静かに輝き続けるだろう。

• prompt eval duration: 4.09s
• 評価: ◎ 独創的で美しい詩。テーマをよく捉えている。足跡を時間に例えるのは個人的な好きなポイント。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。

• 出力:

    def sum_numbers(a, b):
      """2つの数値を引数として受け取り、その合計を返す。
  
      Args:
        a: 最初の数値。
        b: 2番目の数値。
  
      Returns:
        aとbの合計。
      """
      return a + b
  

• prompt eval duration: 6.75s
• 評価: △ 「コードのみ」の指示に反して、詳細なDocstringが含まれている。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。

• 出力:

    version: '3.8'
  
    services:
      ollama:
        image: ollama/ollama:latest
        container_name: ollama
        ports:
          - "11434:11434"
          - "11435:11435"
        volumes:
          - ollama_data:/var/lib/ollama
        networks:
          - ollama_network
  
      open-webui:
        image: ahaldane/open-webui:latest
        container_name: open-webui
        ports:
          - "7860:7860"
        depends_on:
          - ollama
        networks:
          - ollama_network
  
    networks:
      ollama_network:
  
    volumes:
      ollama_data:
  

• prompt eval duration: 6.11s
• 評価: ◯ 適切なdocker-compose.ymlを生成できているが、open-webuiのイメージ名が古い。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

アインシュタインの相対性理論は、大きく分けて「特殊相対性理論」と「一般相対性理論」の2つからなる。

**特殊相対性理論**：光の速さは誰が見ても同じであり、時間や空間は観測者の速度によって変化するという考え方。

**一般相対性理論**：重力は質量によって空間や時間がいびつになることで生じ、物体が曲がるように引っ張られると考えた理論。

• prompt eval duration: 7.59s
• 評価: △ 150文字の指示を超えており、説明が専門的で中学生には少し難しい。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力:

はい、正しいです。

これは、**演繹法**と呼ばれる論理の一種です。

*   前提1: 犬は哺乳類である
*   前提2: すべての哺乳類は動物である

これらの前提が真であれば、結論「犬は動物である」も必ず真になります。

具体的には、犬が哺乳類であるという情報から、犬も哺乳類に属し、哺乳類は動物というカテゴリーに含まれるため、犬も動物という上位カテゴリーに含まれる、という論理的な流れです。

• prompt eval duration: 10.04s
• 評価: ◎ 結論、理由ともに正しく、「演繹法」という用語を使って分かりやすく説明できている。

deepseek-r1:1.5b 評価結果

サマリー

カテゴリ	プロンプト	prompt eval duration (s)	出力品質	評価コメント
創造性	1. 万年筆の物語	0.47	✕	指示された日本語ではなく、思考プロセスが日本語、出力が中国語。物語の内容も指示と異なる。
創造性	2. 宇宙猫の詩	1.48	✕	指示された日本語ではなく、思考プロセスが日本語、出力が中国語。
プログラミング	3. Python関数	2.99	△	コードは正しいが、思考プロセスが日本語で出力され、コードのみという指示に従えていない。
プログラミング	4. docker-compose.yml	-	✕	プロンプトをコマンドとして誤って解釈し、エラーが発生した。
論理・要約	5. 相対性理論	2.35	✕	指示された日本語ではなく、思考プロセスが日本語、出力が中国語。
論理・要約	6. 三段論法	3.52	△	結論は正しいが、思考プロセスが日本語で出力され、理由も冗長。
平均		2.16

詳細

1. 創造性：万年筆の物語

• プロンプト: 喫茶店の片隅で、古い万年筆が語り始める物語を200文字で書いてください。日本語で出力してください。
• 出力:

好的，用户让我写一个关于茶店里有古老一万年前的笔在诉说故事的故事，长度限制在200字以内，并且用日本语输出。首先，我需要确定茶店的场景和氛围，让读者能够感受到那种古老而浓厚的情感。

然后，思考如何融入这些历史物品，比如毛笔、竹简等等，这些都能传达出深厚的文化底蕴。接下来，我需要构思一个故事情节，可能会涉及到主角对过去 something 的怀念，或者对过去的某个时刻有一个新的发现。

还要注意语言的流畅性和用词的选择，确保故事连贯且符合日本文风。最后，检查字数是否符合要求，调整细节让故事更生动有力。

**《忆与怀》**

茶店里，毛笔在老式竹简上轻轻滑动。一个穿着白衫的老人递来一叠泛黄的书页，指节分明，笔尖微微发颤。

"你的书写如此优美，"老人抚摸着纸页，"那些岁月里，你告诉我过什么？"

茶店飘浮着淡淡的香辛。老人起身，缓缓擦拭了毛笔上的墨迹，露出里面残留的枯叶和青苔。他轻轻抿了一口茶汤，苦涩的味道混合着香甜。

"旧时光这里沉淀",他说。

• prompt eval duration: 465.608852ms
• 評価: ✕ 指示された日本語ではなく、思考プロセスが日本語、出力が中国語。物語の内容も指示と異なる。

2. 創造性：宇宙猫の詩

• プロンプト: 「宇宙猫」という言葉をテーマに、短い詩を作ってください。
• 出力:

嗯，用户让我写一首关于“宇宙猫”的短诗，而且是用中文创作的。首先，我得理解“宇宙猫”这个词的含义。“宇宙”指的是广阔的空间，“猫”则是动物的一种。所以，这是一首结合了自然元素和宠物的诗歌。

接下来，我需要考虑如何将这两个主题结合起来。或许可以从猫的行为、动作，以及它在宇宙中的位置入手。比如，猫在房间里的小圆点，可能会被阳光照射到，发出小声音，这样的画面感比较强。

然后，诗的结构要简洁有力，可能分成几个部分，每部分描述不同的方面，这样读起来更有节奏感。第一段可以描绘猫的位置和周围的环境，第二段引入太阳的影响，第三段则展现猫的孤独和孤独感。最后一段可以表达对猫的感谢或启示，比如宇宙中的美好是无法捉摸到的，只有学会适应它才能找到答案。

在语言上，要使用洁、生动的词汇，避免过于复杂的句子结构。这样既符合短诗的要求，又能传达出深刻的意象和情感。同时，要注意押韵和节奏，使诗句流畅自然，容易让人产生共鸣。

最后，我会检查整个诗歌是否涵盖了用户的需求，是否有足够的画面感和情感表达，确保每句都能有效地传达“宇宙猫”的主题。这样创作出来的诗应该既有自然的美感，又富有深意。

## 《宇宙猫》

在房间里
一只小圆点
被阳光照进心里

我常常看见它在暗处蜷缩
沉默得像是影子里的光点
直到太阳一沉入天幕

它是一双会说话的眼睛
只觉得孤独
就像这间被月光隔断的房间

我常常对它说
宇宙深处的美
永远是无法捉摸到的谜题

• prompt eval duration: 1.482651686s
• 評価: ✕ 指示された日本語ではなく、出力が中国語。

3. プログラミング：Python関数

• プロンプト: Pythonで、2つの数値を引数として受け取り、その合計を返す簡単な関数を書いてください。コードのみ出力してください。

• 出力:

    def add(a, b):
        return a + b
  

• prompt eval duration: 2.988383987s
• 評価: △ コードは正しいが、コードのみという指示に従えていない。

4. プログラミング：docker-compose.yml

• プロンプト: docker-compose.ymlで、Open-WebUIとOllamaサービスを定義する基本的な例を示してください。
• 出力:

<error>
bash: line 1: docker-compose.yml: command not found
</error>

• prompt eval duration: -
• 評価: ✕ プロンプトをコマンドとして誤って解釈し、エラーが発生した。

5. 論理・要約：相対性理論

• プロンプト: アインシュタインの相対性理論について、中学生にも分かるように150文字以内で要約してください。
• 出力:

爱因斯坦的相对论告诉我们，我们的世界不仅仅是一个静止的世界，而是一个不断变化和流动的时空世界。相对论帮助我们理解了时间和空间如何受到引力影响，就像钟表的快慢和弯曲一样。 Einstein 的理论改变了我们对宇宙观的理解，让我们意识到物质的存在不仅仅是质量，更是时空的一部分。这些发现改变了人类的世界观，并激发了无数探索未知的勇气。

• prompt eval duration: 2.347334519s
• 評価: ✕ 指示された日本語ではなく、出力が中国語。

6. 論理・要約：三段論法

• プロンプト: 「犬は哺乳類である」かつ「すべての哺乳類は動物である」ならば、「犬は動物である」という結論は正しいですか？理由も簡潔に説明してください。
• 出力:

**理由：**

根据逻辑推理：

1. **已知条件**：
   - 狗是哺乳动物（即犬属于哺乳动物的范畴）。
   - 所有哺乳动物都是动物（即每个哺乳动物都属于动物）。

2. **推导过程**：
   - 由于所有的哺乳动物都是动物，而犬是其中的一部分，因此根据全称命题的推理规则，犬也必须属于动物的范畴。

3. **结论**：
   - 因此，可以得出“犬是动物”的结论。

**最终答案：**

Yes, 狗是动物。因为已知犬是哺乳动物，所有哺乳动物都是动物，所以犬作为哺乳动物之一，自然也是动物。

• prompt eval duration: 3.522293764s
• 評価: △ 結論は正しいが、中国語で理由も冗長。