https://devblog.lac.co.jp/entry/20260224

デジタルペンテスト部の吉原です。普段はプラットフォーム診断を担当し、診断作業や新規診断スクリプトを開発したりしています。

はじめに

最近、AIを活用した3Dモデル作成が注目されています。特に最近、バイブコーディングツールやAIエージェントの進化が著しく、簡単な指示やコマンドを実行するだけで、AIが複雑なタスクをこなせるようになってきました。これにより、人間が手作業で行う工程が大幅に削減されています。

そこで今回は、Hunyuan3Dを使用して3Dモデルの素体を生成し、BlenderMCPとAntigravityを使用して(ほぼ)自動で編集を行うことで、いい感じの3Dモデルに仕上げてみました。

今回の内容はセキュリティとは関係なく、完全に趣味です。 (たまにはこういう記事もいいですよね？)

Hunyuan3Dとは

Hunyuan3Dとは、Tencentが公開した画像やテキストから高品質な3Dアセットを生成するオープンソースAIモデルです。形状生成とテクスチャ合成を分けた独自の二段階構造により、3D制作のワークフローを劇的に効率化する、注目の3D生成AIモデルです。

今回はWindows環境でモデルを動かすため、以下のWindows向けパッケージを使用しました。なお、使用するには、NVIDIA CUDA Toolkit 12.9.1、Visual Studio Build Tools 2022(C++ Build Tools)が必要です。(GPUはVRAM 12GB以上推奨？)

Hunyuan3D-2-WinPortable

BlenderMCPとは

BlenderMCPは、3DCG制作ソフト「Blender」を外部のAIチャットから直接操作可能にするツールです。プロンプト一つでモデリングやシーン構築を自動化でき、制作フローを劇的に効率化します。MCP（Model Context Protocol）とAIエージェントの連携によって、Blender内でのモデル生成やテクスチャ修正、pythonコードの実行など様々な操作を自動化できます。

Antigravityとは

Antigravityは、2025年11月に発表されたAI主体の次世代統合開発環境（IDE）です。開発者はコードの細部ではなく「タスク」を指示します。AIエージェントが計画・実装・ブラウザでの動作検証まで自律的に完結させる、まさに開発を「重力」から解放するツールです。

また、画像生成AIとしてNano Banana Proを使用可能であり、後述する3Dモデルのテクスチャ生成も可能です。

実際にやってみた

上記のツールを使い、画像から3Dモデルを作成し、テクスチャを生成して、いい感じの3Dモデルを作成してみました。作成に当たって、会社のキャラクターである「ラッコ」のぬいぐるみを題材にしてみました。

なお、3Dモデルの元のぬいぐるみの画像の背景は生成時に邪魔となるため、背景を削除した画像を使用しました。

1. スペックや環境のご紹介

3Dモデルの作成にあたって、Hunyuan3Dの実行にはある程度のスペックが必要です。今回は以下のスペックのマシンで作成しました。

OS：Windows 11（25H2）
CPU：Intel Core i7-14700KF
GPU：NVIDIA GeForce RTX 5070 Ti
RAM：32GB

2. Hunyuan3Dで3Dモデルを作成

Hunyuan3Dを起動し、上記の画像を使用して、3Dモデルを作成しました。

Hunyuan3Dにはgradioで作成されたWebUIがあり、以下の画像のように3Dモデル作成に当たって、いくつかのパラメータを設定できます。以下では3Dモデル生成にあたって重要なパラメータを説明します。

Seed：ランダムな数値を設定することで、同じ画像でも様々な結果を生成できます。
Inference Steps：生成する画像の品質を制御するパラメータです。UI上では1~100で指定可能です。
Octree Resolution：生成する画像の解像度を制御するパラメータです。UI上では16~512で指定可能です。値を大きくすることで、生成する3Dモデルの解像度を高めることができますが、生成に時間がかかります。

生成した3Dモデルは、glbなどの形式でエクスポート可能です。今回はHunyuan3Dで作成した3Dモデルをglb形式でBlenderにインポートして編集を行っていきます。

Hunyuan3Dでは、テクスチャメッシュも同時に生成してくれますが、今回使用したラッコのぬいぐるみの画像は、目が非対称に写っていたため、生成された3Dモデルもその形状を反映して目が非対称になってしまいました。

また、Octree Resolution は512で指定して作成したため、非常に細かいモデルが作成できました。

3. BlenderMCPを接続したAntigravityで3Dモデルを編集

ここからは上記のHunyuan3Dで作成した3DモデルをBlenderMCPを接続したAntigravityで編集していきます。

3.1. BlenderMCPの起動

まず、作成したモデルを読み込んだBlenderでBlenderMCPを起動します。起動すると、AntigravityのMCP設定でBlenderMCPが接続されたことが表示されます。

3.2. Antigravityで具体的な作業内容を指示して3Dモデルを編集

BlenderMCPが接続されたことを確認したら、Antigravityのチャット欄に早速プロンプトを入力して、3Dモデルを編集していきます。

先ずは、目の位置を修正してもらいます。

すると、早速BlenderMCPを通してBlender内のモデルの情報を読み込み、操作対象のオブジェクトやオブジェクトのポリゴン数などを取得してくれましたが、私のプロンプトでの指示が曖昧だったため、AIは「目のテクスチャ」ではなく「目のメッシュ形状」自体を修正しようとしてしまいました。

そこで、今度は目のテクスチャを修正するように指示しました。

今度は正しく意図した通りに目のテクスチャを修正してくれそうなので、上記で作業を進めてもらいました。

修正にあたって必要な作業や工程は全てAntigravityのエージェントが自律的にタスク完了に必要な操作を計画し、実行してくれます。

AIエージェントが実際に考えたタスク

# 実装計画: 顔のテクスチャ修正 (対称性)
## 目標
モデル `textured_mesh.obj` の顔のテクスチャの対称性（特に目）を修正します。
## 提案される変更
直接の3Dペイントではなく、以下の手順でテクスチャ画像を直接修正します。
1. **テクスチャのエクスポート**: 現在のテクスチャを画像ファイルとして書き出します。
2. **画像編集**: AI画像生成ツールを使用し、テクスチャ画像の顔部分の対称性を「修正」します。
3. **テクスチャのインポート**: 修正された画像をBlenderに読み込み、モデルに適用します。
## 検証計画
- 修正後のモデルをスクリーンショットで撮影し、目視確認します。

以下の画像では、Antigravityが目のテクスチャを修正するために、BlenderMCPを介してBlender内のテクスチャ画像を取得するコードを実行して、その画像をもとに目の位置を修正したテクスチャを作成しています。（これらはすべて全自動です。凄い！）