Stability AIが公開している「stable-code-instruct-3b」を「ChatUI」から使用する

はじめに

以前「stable-code-instruct-3b」をPythonスクリプトから使用したことがあります。
touch-sp.hatenablog.com


今回は「Llama.cpp」と「ChatUI」の組み合わせで「stable-code-instruct-3b」を使用してみます。

「Llama.cpp」と「ChatUI」の使い方はこちらを見て下さい。
touch-sp.hatenablog.com

使い方

「Llama.cpp」の実行

./llama.cpp/server -m llama.cpp/models/stable-code-3b-q5_k_m.gguf -c 2048 -ngl 16

「ChatUI」内の「.env.local」ファイルの中身

「.env.local」ファイルの中身を書き換えることが色々なモデルを使用する時の障壁となります。
今回はこのようにしました。
完全にローカルで実行するならHF_TOKENはでたらめで良さそうです。

MONGODB_URL=mongodb://localhost:27017
HF_TOKEN=="hf_abcdefg"

MODELS=`[
  {
      "name": "stable-code-instruct-3b",
      "tokenizer": "stabilityai/stable-code-instruct-3b",
      "parameters": {
        "temperature": 0.1,
        "top_p": 0.95,
        "repetition_penalty": 1.2,
        "top_k": 50,
        "truncate": 1000,
        "max_new_tokens": 2048,
        "stop": ["<|im_end|>"]
      },
      "endpoints": [
        {
         "url": "http://127.0.0.1:8080",
         "type": "llamacpp"
        }
      ]
  }
]`

間違い、修正点などあればコメント頂ければ幸いです。