- モデルのリストを調べる
lms ls
- モデルのロード
lms load gemma-3-12b-it-qat --context-length 2048
- サーバーの開始
lms server start
モデルをロードしないでサーバーを開始することもできますが、context-lengthなど指定する場合は先にロードしておくのがいいと思います。
lms ls
lms load gemma-3-12b-it-qat --context-length 2048
lms server start
モデルをロードしないでサーバーを開始することもできますが、context-lengthなど指定する場合は先にロードしておくのがいいと思います。