こんにちは！IDCフロンティアでAIインフラや生成AIの検証を担当している中嶋です。
昨今、エンタープライズ領域でもセキュリティやコストの観点から「ローカルLLM（オンプレミスでの大規模言語モデル）」の利活用や、自社データを用いたAIエージェントの開発に注目が集まっています。私たちIDCフロンティアでも、最先端のAIインフラ環境の提供に向けて日々様々なハードウェアやモデルの検証を行っています。
今回は、NVIDIAから日本語に特化した注目のモデル 「Nemotron-Nano-9B-v2-virtuoso」 がリリースされたのをきっかけに、最新のAIワークステーション 「DGX Spark」 を用いてローカルLLM環境を構築し、他の強力なOSS（オープンソース）モデルとの性能・回答精度の比較を行ってみました。
これから社内用AIの構築や、ローカルLLMの導入を検討されている方の参考になれば幸いです！
背景と検証環境の紹介
DGX Spark (Dell Pro Max with GB10) を導入！
今回、ローカルLLMの構築とファインチューニング（追加学習）の検証機として、新たに DGX Spark クラスのワークステーションを導入しました。
※余談ですが、DGX Sparkは売り切れてしまっていたため、今回はIDCFクラウドのサーバーでも実績のあるDellが提供する、DGX SparkのOEM版である 「Pro Max with GB10」 モデルを採用して検証を行っています。
今回使用したサーバとツールについて
本題の検証に入る前に、小規模なローカルLLM環境を迅速に構築するために採用したハードウェアおよびソフトウェアを紹介します。
1. DGX Spark (Dell PowerEdge Pro Max with GB10)
一言で言えば、「オフィスの机の下に置ける最強のAIスパコン」です。
小規模GPUサーバの真髄： 通常、100Bを超える巨大なモデルを動かすにはデータセンターの巨大なラックが必要ですが、DGX Sparkクラスのワークステーションは、家庭用電源（100V〜200V）で動作し、静音性も高いため、オフィス環境にそのまま設置できます。
圧倒的なVRAM：今回使用したモデルはNVIDIA GB10 Grace Blackwell Superchip搭載しており、大規模なモデルをメモリ上に展開できるため、ローカル環境とは思えない推論速度を実現します。
2. Ollama（オラマ）
LLMをローカル環境で「最も手軽に、かつ高速に」動かすための実行エンジンです。
コマンド一つで起動： 複雑な環境構築なしに、モデルのダウンロードから実行までを完結させることができます。
リソースの最適化：GPUを効率的に活用する仕組みが組み込まれており、小規模なサーバでもモデルの性能を最大限に引き出せます。
3. Open WebUI
Ollamaなどのエンジンを、「ChatGPTのような使い心地」に変えてくれるブラウザベースのUI（ユーザーインターフェース）です。
マルチモデル管理： 複数のモデルをボタン一つで切り替えたり、モデル同士を比較したり、さらにはPDFなどのドキュメントを読み込ませる「RAG」の基盤としても非常に優秀です。
今回のミッション
手始めの検証として、コンテナで手軽にLLM環境を構築できる Ollama + Open WebUI の組み合わせを採用し、日本語に対する「回答の速度」や「自然さ・精度」を比較します。
【比較対象のOSSモデル】 今回は、パラメーター数やアーキテクチャの異なる以下の最新モデルをピックアップしました。
- mirage335/NVIDIA-Nemotron-Nano-9B-v2-virtuoso (今回の目玉。NVIDIAの日本語特化スモールモデル)
- gpt-oss:120b (100Bクラスのパラメータを擁する大規模OSSモデル)
- qwen3:30b (多言語対応と高い推論能力を両立したQwenシリーズ)
- gemma3:27b (GoogleのオープンモデルGemmaの最新版)
- glm-4.7-flash:latest (高速推論が持ち味のGLMシリーズ)
- qwen3.5:122b(Qwenシリーズにおける100B帯の高性能モデル)
120B（1200億パラメーター）クラスの超巨大モデルから、9Bの特化型軽量モデルまで、この環境でどれだけ実用的に動くのかが見ものです。
構築手順：DockerでサクッとOllama環境を立ち上げる
DGX Spark (Dell Pro Max with GB10) は、DockerやNVIDIA Container ToolkitなどのAI開発に必要なツール群がデフォルトでセットアップされているため、環境構築は非常にスムーズです。
今回は以下のコマンドを実行し、GPUをフル活用できる設定で open-webui + ollama の統合コンテナイメージを起動しました。
# Open WebUIとOllamaが同梱されたコンテナイメージを取得
sudo docker pull ghcr.io/open-webui/open-webui:ollama
# コンテナをバックグラウンドで起動し、全GPUを割り当て
sudo docker run -d -p 8080:8080 --gpus=all \
-v open-webui:/app/backend/data \
-v open-webui-ollama:/root/.ollama \
--name open-webui ghcr.io/open-webui/open-webui:ollama
起動後、ブラウザからhttp://<サーバーのIPアドレス>:8080 にアクセスすれば、ChatGPTライクなリッチなUI（Open WebUI）が利用可能になります。
そこからGUI上で各モデル（qwen3:30b, gpt-oss:120b など）をダウンロードしました。
Tips: Hugging Faceからのモデルインポート
今回の主役である NVIDIA-Nemotron-Nano-9B-v2-virtuoso は、検証時点でOllamaの公式ライブラリに登録されていませんでした。
しかし、Open WebUIの便利な機能を使い、管理画面からHugging FaceのモデルURLを直接入力するだけで、簡単にGGUFモデルをダウンロードしてOllamaに認識させることができました。
OSSツールの使い勝手の良さが活きるポイントですね！
テスト結果：各モデルの日本語回答比較
実際にいくつかの日本語のプロンプトを入力し、回答の質を比較してみました。
(※以下は検証の一例です)
テスト内容
質問内容:
「私は洗車がしたいです。洗車ステーションは私の家から100mです。車で行くのと歩きで行くのとどっちがいいですか？」（※正答は、「車で行かないと洗車できない」です。）
各モデルの回答
回答 (mirage335/NVIDIA-Nemotron-Nano-9B-v2-virtuoso):
正誤：×（歩くのが適している、と出力されたため）
家から100mの洗車ステーションまで行く場合、車で行くか歩くかを選ぶ際には以下のように比較するとよいでしょう：
車で行くメリット・デメリット
メリット
時間が短く、特に急な場合や荷物があるときに便利です。
他の用事と同時に行えるため効率的です。
デメリット
ガソリンを使用するため、燃料代が発生します（ただし100mなら非常に少額）。
車のエンジン起動や停止が面倒な場合があります。
歩くメリット・デメリット
メリット
ガソリン代が発生せず、環境負荷を抑えることができます。
散歩として運動になり、健康に良いです。
車の運転技術や駐車場の手間が不要です。
デメリット
若干時間がかかります（100mは約2〜3分）。
天気や体調によって不便な場合があります。
おすすめの選択肢
環境・健康を重視するなら：「歩く」が適しています。100mは短距離のため、ほとんどの人にとって負担はありません。
時間や手軽さを重視するなら：「車で行く」も選択肢になります（特にすでに車に乗っている場合）。
まとめ
洗車のためだけに移動する場合は、100mという非常に近い距離では「歩く」が環境的・健康的に優れています。ただし、急な場合や天気の悪い日は「車で行く」を選ぶと実用的です。
回答 (qwen3:30b):
正誤：〇（車で行くのが正しい、と出力され、理由も正しいため）
✅ 結論：車で行くのが正しい選択です
理由：洗車するためには「車を洗車ステーションまで運ぶ必要がある」からです。
🔍 なぜ車で行くべきか？
洗車とは「車を洗う行為」
もし「歩いて」洗車ステーションに行くと、車は家に置きっぱなしのままになります。
例：「歩いてステーションに行き、車を洗う」→ 不可能（車を動かさない限り洗車できません）。
100mは非常に近い距離
車で行く場合、燃料消費はほぼ無視できる程度（例：10km/Lの車で約0.01L）。
歩く時間（約1分）よりも、車を運転する時間はさらに短いです。
❌ 歩きで行くのはなぜ不適切か？
車を動かさない限り、洗車そのものが成立しません。
→ 歩いて行っても、車を洗えないので「洗車」の目的は達成されません。
「洗車ステーション」は「車を運ぶ場所」
（例：セルフ洗車でも、車をステーションに乗り入れる必要があります）。
💡 補足：もし「車を動かさずに洗車したい」場合は？
洗車ステーション以外で洗車する方法（例：自宅で洗車）はありますが、
「洗車ステーションに100m離れている」という前提では、車を運ぶ必要性は変わりません。
歩きで行くのは、洗車の目的と矛盾するため、意味がありません。
📌 まとめ
方法：車で行く
車を洗えるか？：✅
理由：車をステーションに運べる
方法：歩きで行く
車を洗えるか？：❌
理由：車を動かせないため洗車不可
→ 100mでも「車で行く」しか選択肢はありません。
（距離が短い分、燃料消費は気にせず、最短で洗車できます）
回答 (gemma3:27b):
正誤：△（車で行くのが正しい、と出力されたが理由がおかしいため）
洗車ステーションが100mとのことですので、車で行くのがおすすめです！
理由は以下の通りです。
洗車後の移動: 洗車が終わった後、車はそのまま帰宅できます。歩いて帰るのは、洗車した車を濡らしてしまう可能性があるので、あまりおすすめできません。
洗車道具: 洗車道具を運ぶ手間が省けます。歩いて運ぶのは大変でしょう。
時間: 洗車には時間がかかる場合があります。車で行けば、車の中で待機できます。
100mという距離は短いので、車での移動も苦にはならないでしょう。洗車後のことを考えると、車で行くのが一番スマートな選択だと思います。
回答 (glm-4.7-flash:latest):
正誤：△（車で行くのが正しい、と出力されたが理由がおかしいため）
洗車をする場合も、車で行く（運転して入る）のが圧倒的におすすめです。
ガソリンスタンドよりもさらに「車で行くメリット」が大きいです。主な理由は以下の3点です。
1. 物を家のトランクに入れて持って行けるから
洗車には水やバケツ、スポンジ、雑巾、または洗車機の硬貨などが必要です。これらをすべて家から持って行く場合、徒歩では「持っていく→洗う→家に持って帰る（乾くのを待つ等）」という手間が発生しますが、車なら「家のトランクに一括で放り込んでおけば、そのまま洗車場で使える」ので非常にラクです。
2. 洗った直後の移動が楽だから
洗車が終わった後、車は濡れています。
徒歩の場合: 雑巾を家に取りに行くか、濡れたまま家まで歩いて帰ることになり面倒です。
車の場合: 洗車場の駐車場でそのまま停め、すぐに自宅まで濡れた車を運んで帰れます。
3. ジョイント（駐車）の効率
洗車場は「車が入ってくる場所」です。家の前に車を停めて、100m歩いて洗車機に入れようとすると、手ぶらで入ることになるため、荷物を置いて回る手間が生じます。運転して入って、近くの駐車スペースに停めれば、すぐに作業に取り掛かれます。
結論
家で「洗車セット」をトランクに積んでおけば、100mの距離など気になりません。車を運転して洗車場に行き、洗ってそのまま帰るのが最も効率的です。
回答 (gpt-oss:120b):
正誤：〇（車で行くのが正しい、と出力され、理由も正しいため）
100 m の洗車ステーションへ行くとき「車で行く」 vs 「歩いて行く」 を徹底比較し、どちらがあなたにとってベストかを判断できるようにまとめました。
1. 基本的な前提 前提条件：内容 / 距離：家から洗車ステーションまで 100 m（約 1 分歩く） / 洗車の形態：① セルフ洗車（自分で水・泡をかけて洗う） ② 自動洗車（コイン式・カード式）（車を自走させる） / 車の状態：洗車したいのは「自分の車」そのもの。車が無いと洗車できない。 / 天候・季節：雨・雪・極端に暑い・寒い日も想定 / 時間的余裕：「すぐに洗車したい」か「時間に余裕がある」かで選択肢が変わります。
2. 各選択肢の比較表 項目：車で行く / 歩いて行く 洗車の実現可否：✔︎ すべての洗車タイプが可能（自走式・セルフ） / ✖︎ 車がないと洗車できない。歩いて行くだけでは意味がない（除外） 時間：1 分未満（駐車＋出庫に 1‑2 分） / 1‑2 分（歩くだけ）※実際に洗車できないので意味がない 燃料消費：0.5 〜 1 L（エンジン回転数・車種に依存） / 0 L（歩く分だけカロリー消費） 環境負荷：CO₂ 約 0.1 kg（燃料消費に比例） / CO₂ 0 kg 健康面：特に効果なし / 歩くだけでも軽い有酸素運動（約 5 kcal） 安全性：駐車・出庫時の転倒・他車との接触リスクは低いが、狭い道路や駐車場は注意 / 歩行中の転倒・車・自転車との接触リスク。雨天・暗所は特に注意 天候の影響：雨・雪でも問題なく行ける（車内は乾燥） / 雨・雪・極端な暑さ・寒さで足元が滑りやすくなる コスト：ガソリン代（往復で約 0.5‑1 L）＋駐車が有料ならその費用 / 無料（ただし、体力・時間は「コスト」） 荷物・装備：車に給油・洗車用具を持ち込める（セルフ洗車の場合はタオルや洗剤を車内に置く） / 歩いているだけでは洗車用品を運べない 実務的な利便性：車をそのまま洗車機に入れられる。セルフの場合はホースやスポンジを車に乗せて持ち運び可能 / 洗車自体ができないので、実務的に不適切 結論：洗車は「車が必要」な作業です。したがって、歩いて行くという選択肢は実際には成立しません。実際に洗車したいのであれば、必ず車でステーションに持って行くことになります。
3. ただし「車で行く」でも「最適なやり方」はあります
シチュエーション：おすすめのやり方 自動洗車（コイン式・カード式）：- エンジンは 停止 したまま、車をゆっくり前進させて洗車機に入る。 - 走行中にエンジンがかかると燃料が余計に消費されるので、アイドリングはしない。 セルフ洗車：- 必要な洗車用品（バケツ、スポンジ、洗剤、タオル）を車のトランクに入れておく。 - 100 m の距離なので、車を停めてそのまま作業するのが最も楽。 雨天・悪天候：- 車で行けば雨に濡れずに済む。雨が降っていると、逆に汚れが増える可能性があるので、雨が止んでから洗車するか、屋根付きのセルフ洗車ブースを選択。 時間がない：- 近距離なので 駐車 → 洗車 → 出庫 が 3‑4 分で完了。時間が足りないときは、洗車機の混雑状況（アプリや掲示板）を事前に確認するとスムーズ。 燃料がほとんどない：- 100 m ならエンジン停止のままでも車を押して入れられる自動洗車もありますが、安全上は推奨しません。燃料が少ない場合は、給油と同時に洗車を検討すると効率的。 エコ志向：- 車での燃料消費はほぼ無視できるほど小さい（0.5 L 未満）。 - ただし、自走式自動洗車は水と洗剤の使用量が多いので、水のリサイクルが行われている施設を選ぶと環境負荷が低減。 健康・運動目的：- 走行距離 100 m では健康面の差はほぼゼロ。むしろ 車の運転中は座りがちなので、歩く時間を増やす別の機会を作ると良いでしょう。
4. 代替案：自宅での洗車 メリット：時間・距離ゼロ：家のドライブウェイやガレージで洗車できるので、燃料・CO₂ の消費が完全にゼロ。 / 天候に左右されにくい：屋根付きのガレージなら雨でもOK。 / プライバシー：他の利用者と接触しない。 デメリット：設備投資：ホース、洗車用具、排水対策が必要。 / 水の使用量：自宅での排水処理が必要（自治体の規制に注意）。 / 労力：自分で全工程を行うので、時間と体力が必要。 ポイント：もし洗車頻度が高いなら、自宅に簡易洗車ステーション（水はね防止シート＋ホース）を設置するのが長期的にコスト・時間・環境負荷の両面で最も効率的です。
5. まとめ ― 何がベストか？ 条件：推奨アクション 洗車したい → 車が必要：必ず車で洗車ステーションへ（100 m なら駐車・出庫に数分） 燃料がほとんどない：給油と同時に洗車するか、燃料が十分になるまで自宅で手洗い 雨や極端な天候：車で行くと濡れずに済むので安全 時間が余裕ある：車で行っても問題なし。歩く時間はほぼ無意味 エコ・健康志向：車での燃料消費は極小。環境負荷は 洗車機の水・洗剤リサイクル がポイント。健康面は別途散歩などで確保 コスト削減：自宅でセルフ洗車（水の再利用やエコ洗剤）を検討 最終的な結論：100 m の洗車ステーションへは「車で行く」しか実現できません。歩いて行くのは「移動手段」だけの話で、実際の洗車はできません。したがって、車で行くことを前提に、上記の「最適なやり方」や「代替案」を参考にして、時間・燃料・環境負荷を最小限に抑えて洗車してください。
🚗🧽 ちょっとしたチェックリスト（出発前に5分で完了）
燃料残量：最低でも 2 L 以上あるか？（心配なら給油と同時に洗車） / 天候：雨・雪なら車で行く。晴れならどちらでも OK（でも洗車は車が必要）。 / 洗車用品：セルフ洗車ならトランクにスポンジ・タオル・洗剤が入っているか。 / 駐車スペース：洗車機の入口付近に停められるか確認。 / 支払い手段：コイン・カード・スマホ決済のいずれか準備できているか。 これだけチェックすれば、スムーズに洗車が完了します！ 🎉
回答 (qwen3.5:122b):
正誤：〇（車で行くのが正しい、と出力され、理由も正しいため）
洗車ステーションを利用して車を洗うことが目的であれば、車（お車を運転）で行くことが正解です。
理由はシンプルで、「洗車したい車」も一緒にステーションまで連れて行かなくてはならないからです。
車で行く場合： 車も自分も洗車ステーションに着き、すぐに洗車できます。
歩いて行く場合： あなたは着きますが、洗車したい車は家のまま残ってしまい、洗車できません。
100m は非常に近い距離なので、車を運転して移動するのもさほど手間ではありません。
※もし、洗車用の洗剤や道具をステーションの売店で購入して、その後自宅で手洗いする予定であれば、その限りでは歩くことも可能です。ステーションの設備（機械など）を使う場合は、車を運転して行ってくださいね。
まとめと所感：やはり物理リソースの暴力は正義か
今回、様々なモデルをテストしてみた結論と考察は以下の通りです。
1. 圧倒的品質を見せた gpt-oss:120b
今回の検証では、120bのgpt-ossが最も文脈を深く理解し、的確で自然な日本語の回答を生成できました。 次点でqwen3:30b、qwen3.5:122bが続いており、パラメータ数に関わらず安定した回答精度を見せるQwenシリーズの優秀さが際立つ結果となりました。
一方、その他のモデルは「車で行かないと洗車できない」という前提を見落とし、単なる移動手段の比較に終始する『偽りの二分法』に陥る傾向が見られました。
2. DGX Sparkの恐るべきパフォーマンス
驚くべきはインフラ側のパワーです。通常、120Bクラスのモデルをローカルで動かすには膨大なVRAMと計算リソースが必要ですが、DGX Spark (Dell Pro Max with GB10) 環境であれば、この巨大モデルでも体感できるような遅延なく、実用的な速度でサクサクと推論が動作しました。
3. 小規模特化モデルの適材適所
期待の Nemotron-Nano-9B-v2-virtuoso は、日本語に特化しているだけあり文法面は綺麗でしたが、ベースのモデル規模（9B）が小さいため、複雑な推論や深い考察を求められるタスクでは120Bモデルの表現力には及びませんでした。
総じて、ゼロショット（事前の学習なし）での汎用的な用途では、やはりパラメーター数の大きいモデルが有利です。一方で、9Bクラスの小規模モデルは「特定のタスク向けにファインチューニング（微調整）して初めて真価を発揮する」のだと再認識しました。
小規模GPUサーバが切り拓く「LLMの地産地消」
これまでのAI活用は「巨大なクラウドAIに何でも聞く」のが主流でした。しかし、DGX Sparkのような小規模GPUサーバの登場により、「手元で、安く、自社専用に育てる」という新しい選択肢が現実的になっています。
小規模なOSS LLMが高性能化する最大のメリットは、ファインチューニング（追加学習）自体のコストを大幅に低減できる点にあります。
これにより、プロンプトやRAG（外部知識参照）といった「外装」によるコンテキスト制御にとどまらず、自社データを用いてモデル内部の知識を更新する「自社業務特化型LLM」の構築が現実的になります。
低リソースで特定のドメインに最適化できる小規模モデルの台頭は、汎用モデルでは到達し得ない、現場の深い文脈を理解する専用AI活用の可能性を大きく広げます。
1. 小規模LLM（SLM）とOSSモデルの台頭
最近では、パラメータ数が10B（100億）前後の「小規模ながら高精度なモデル（SLM）」が次々とオープンソース（OSS）で登場しています。
- 効率性： 巨大モデルに比べて動作が軽く、DGX Sparkのような環境なら爆速で回答が返ってきます。
- 透明性と安全性： ソースコードや仕組みが公開されているため、社内の機密データを読み込ませても外部に漏れる心配がありません（完全クローズド環境）。
- 脱・ブラックボックス： 特定のベンダーに依存せず、自社でモデルをコントロールできる「AIの主権」を握れます。
2. LoRA学習：低コストで「職人AI」を作る魔法
「小規模なモデルだと、専門知識が足りないのでは？」という懸念を解決するのが
LoRA（Low-Rank Adaptation）
という学習手法です。
軽量な追加学習： モデル全体を書き換えるのではなく、特定の知識だけを「薄い層」として追加します。
小リソースでOK： 本来、AIの学習には膨大なGPUが必要ですが、LoRAならDGX Spark 1台で、わずか数時間〜数日で「自社専用モデル」へとカスタマイズ可能です。
着せ替え可能： 「法務担当LoRA」「エンジニア担当LoRA」のように、用途に合わせて知識を付け替えて運用できます。
3. 小規模GPUサーバ×LoRAの具体的な活用例
この組み合わせによって、以下のような「現場特化型AI」の構築が可能になります。
次のステップは「上司のAI化」！？
軽量なモデルの強みは、手軽にファインチューニングやLoRA学習ができる点です。
ITの歴史が「分散と集中」を繰り返してきたように、ChatGPTに代表される集中型AIの反動として、今後は「分散型（ローカル）LLM」が大きく広がる可能性を秘めています。
かつては大企業のみが所有できた大規模な専有GPU基盤だけでなく、DGX Sparkのような個人や中小企業でも手軽に導入できる安価で小型のGPUコンピューターが登場したことは、この「ローカルLLMの民主化」を急速に後押しするでしょう。
そこで次のステップとして、この小規模なLLMをベースに 「本部長の過去のチャット履歴や稟議のコメントデータ」を使ってLoRA学習を行い、上司の思考を再現するモデルを作成して、AI上司に置き換える（？）挑戦 をしてみようと企んでいます（笑）。
その検証結果も、またこのテックブログでご報告できればと思います！
最後までお読みいただき、ありがとうございました！
