「vLLM」と「ChatUI」を使って qwen2.5-bakeneko-32b-instruct を実行する

はじめに

WSL2上のvLLMで「qwen2.5-bakeneko-32b-instruct」を実行して、Windows上のChatUIでそれを利用してみました。

vLLMで「qwen2.5-bakeneko-32b-instruct」を実行する方法はこちらを見て下さい。
touch-sp.hatenablog.com
以前はGradioを使いましたが今回はChatUIを使います。
主なメリットは以下の2点です。

• チャット履歴が保存できる
• システムプロンプトをUI側で指定できる

必要なもの

WSL2にDockerのインストールが必要です。
WindowsにNode.jsのインストールが必要です。

使用した環境

WSL2

Ubuntu 24.04 on WSL2

Windows

Windows 11

WSL2側でやること

Dockerのインストール

こちらに従いました。

MongoDBの起動

初回

docker run -d --name mongo-chatui -p 27017:27017 mongo:latest

2回目以降

sudo docker start mongo-chatui

vLLMの実行

vllm serve qwen2.5-bakeneko-32b-instruct-awq --max-model-len 4096

Windows側でやること

Node.jpのインストール

Node.jsをインストールすると同時にnpmもインストールされます。
こちらからダウンロードしてインストールしました。

> node --version
v22.14.0

> npm -version
11.1.0

ChatUIのセットアップ

リポジトリのクローン

git clone https://github.com/huggingface/chat-ui
cd chat-ui

「.env.local」ファイルの作成

中身はこのようにします。

MODELS=`[
  {
    "name": "qwen2.5-bakeneko-32b-instruct-awq",
    "id": "qwen2.5-bakeneko-32b-instruct-awq",
    "parameters": {
      "temperature": 0.5,
      "max_new_tokens": 2048,
      "stop": []
    },
    "endpoints": [{
      "type" : "openai",
      "baseURL": "http://localhost:8000/v1"
    }]
  }
]`

MONGODB_URL=mongodb://localhost:27017

実行

npm install
npm run dev

2回目以降は下の部分だけでOKです。

間違い、修正点などあればコメント頂ければ幸いです。