Kimi K2.5が「さくらのAI Engine」でパブリックプレビューとして使えるようになっていたので試してみました。
さくらのAI Engineにてマルチモーダルモデル「Kimi-K2.5」のパブリックプレビューを開始しました | さくらのクラウドニュース
Thinkingの問題があって使いにくい面はありますが、性能的にはかなり高いです。さすが1Tトークン。
コーディングはGLM-5のほうがよさそうではある。
Thinkingについてはなんらか対処してほしいところ。
※ 3/25 対策されて、Open WebUIやOpenCodeでは問題なくなりました。Roo Codeに関しては調査中とのこと
今回使ったのは110リクエスト、入力160万トークン、出力14万トークンでした。
3000リクエスト/月が無料なので、余裕で無料の範囲です。
従量課金になっていたら、入力0.3円/10000トークン、出力3円/トークンなので138円ですね。
GPT-5.4 miniが入力1.2円/10000トークン、出力7.2円/トークンなので、性能考えればかなり安い。
※ $1=160円換算
おうちで動かしたのと挙動を比べてみました。
Kimi-K2.5をおうちで動かして さくらのAI Engineと比べる。Roo Codeも問題ないけども… - きしだのHatena
知識カットオフとThinking
2024年4月らしい。
本文相当のところまでThinking判定されてるのはOpen WebUIの問題です。
Thinkingの開始タグを出してこないようで、Open WebUIが認識してくれない。
終了タグだけ指定すると、またThinkingが始まったという判定になるらしく、Thinkingが続いてしまいました。
ただ、これはAPI側でThinkingと本文をわけてくれれば解決する問題でもあります。エージェントなどの対応もあるので、APIでわけてほしい。
※ 3/25 わかれるようになっています
ところでここでは石破さんの就任まで認識してますね。2024年4月に基本的な知識のカットオフがあって、追加で10月くらいまでの時事問題などを学習させてるようです。
山口県知識
内容はかなりいいです。必要な範囲を多すぎず少なすぎずまとめていて明確な誤りもありませんでした。
要約
「注文の多い料理店」の要約。大枠あってるけど、二人が食材であるとか飛び込んできた犬が死んでたはずとか、大事なことが書いてないですね。
これは、なんかOpen WebUIのプロンプトで出典明示用に余計な指示を出しているのが足をひっぱっている気がする。
論理問題
「64歳以上であれば100円、64歳未満は1000円」を整数四則演算だけで実現して。
年齢制限なく対応できるように。
シンプルな式を出してきました。おもしろい。
Thinkingの内容も論理的です。
賢そう。
画像認識
任天堂決算の読み取り。数字は完璧そう。けど、注の部分が意訳になってますね。プロンプト次第ではありそう。
そして、どこの決算か聞いたら、すぐに任天堂だと判定しました。すごい。
ブロック崩し
まず「html+javascriptでブロック崩しを作って」をやってもらいます。
ちょっと右側はみでてるし、パドルのちょっと下で跳ね返ってるけど、たぶん指摘したら修正してくれるはず。
斜めに同じ色で虹色っていうのはおもしろい。
次に「javaのswingでブロック崩しを作って」
一発では動かなくて、ウィンドウサイズが確定されるタイミングと初期値設定のタイミングで引っかかってたけど、指摘したことはすんなり修正。
基本的にコンパイルエラーも出さずに変更作業をしていたのだけど、一度変数宣言が一行抜けてエラーになるということがあった。
これはちょっと不安な挙動ではある。
けど、全体的には安定したコーディング作業してた。指示が通らないという不安感もあまりない。
パストレーシング
実装できませんでした。 いろいろ修正してたら、途中で出力が止まってしまった。あまり長いコンテキストに対応させていない？
Roo CodeでTODOアプリ
Roo Code使ってみます。
Spring Bootでtodo管理アプリを作って。
Spring MVCでテンプレートにthymeleafを使って。
DBはH2でアクセスにはSpring JDBCを。
Spring Bootは3.5.9、Maven管理でJavaのバージョンは25
2ファイルくらいは生成したけど、なんかThinkingでひっかかるのか、うまく動かなくなった。
※追記 自前でGGUFを動かすと問題なく動きました。 Kimi-K2.5をおうちで動かして さくらのAI Engineと比べる。Roo Codeも問題ないけども… - きしだのHatena
OpenCodeでフレームワークなしTODOアプリ
では、ということでOpenCodeを試す。
Java 25で、フレームワークを使わずJava SE標準ライブラリのjavaパッケージのAPIだけ使ってWeb版TODO管理アプリを作って。com.sun.net.httpserverはJDK固有ライブラリでありJava SE標準ライブラリではないので使わないでください。
あっさり2分くらいで実装。
とくにエラーもなく、1ファイルでできていたので、エージェントとしてちゃんと動くかどうかの確認もできなかった。
追加、修正、削除、できてます。
OpenCodeでSpring Boot TODOアプリ
それでは、とSpring BootでTODOアプリ。
これも基本的には一発で実装してました。機能も多い。Claude Code版みたい。
実装の余裕を感じる。
</think>は混じってるけど、特に問題なく動いていました。
あと、Spring Bootは3.5.9を指定していたのに、「3.5.9は存在しません」といって、最初は3.3.0にしてた。ちゃんと3.5.9にしろといっても、存在しないといって3.5.0-SNAPSHOTを指定して、これはほんとにリポジトリに存在しないのでエラーに。
「3.5.9は存在する」とつけて指摘しても食い下がったけど、自分でWebを見にいって確認して、3.5.9が出ていると認識していた。
このあたりの挙動ふくめ、ちゃんとエージェントとして働いていてえらい。
