GLM-4.7-Flashが出ていたのでGGUFをLM Studioで試したけどどうもおかしかったのだけど、Repetition Penaltyを無効にすると解決。
出てたので試してたのだけど。
https://nowokay.hatenablog.com/entry/2026/01/20/114010
こんな感じで出力がおかしかったのです。
Repetition Penalty(繰り返しペナルティ)を無効にすると解決しました。
他のパラメータもUnslothさんの推奨どおりにするとこうですが、まだうまくいっていない。
GLM-4.7-Flash: How To Run Locally | Unsloth Documentation
まともにコード生成しています。
まあ、それでもコンパイルエラーが出ててあまり優秀とはいえないけど。
あと、Flash Attentionをオフにすると推論が速くなります。
