はじめに
こんにちは！山本です。
HapInSアドベントカレンダー2023、17日目です。
openaiのgpt4では文章に加えて画像も読み込むことができるのはご存じでしょうか？
説明
gpt-4-vision-previewはGPT-4 Turboモデルに画像を読み込む機能が追加されたモデルになります。画像はリンクかBase64でエンコードした画像を渡す方法があります。
ドキュメントによると得意なことは
- 画像に何が存在するか
- 画像に映っているものの関係性
を理解できます。逆に苦手なことは
- 物体の正確な位置
です。
それでは、実際に得意なことと苦手なことを試してみます。読者の方が再現しやすいようにcurlコマンドを利用します。下記のフォーマットの「質問文」と「画像のURL」に埋め込んで試します。
curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer sk-***" \
-d '{
"model": "gpt-4-vision-preview",
"messages": [
{
"role": "user",
"content": [
{
"type": "text",
"text": 「質問文」日本語で答えてください。
},
{
"type": "image_url",
"image_url": {
"url": 「画像のURL」
}
}
]
}
],
"max_tokens": 300
}' -w "response_time:%{time_total}\n"
得意なこと
何の画像か
質問：なんの画像ですか？
回答：これは自然風景の写真です。画像には木製の遊歩道があり、その周りは緑豊かな草原が広がっています。空は晴れており、広々とした開放感が感じられる風景です。遊歩道は観察や散歩に利用されることが想像されます。
返却時間：11秒
画像の詳細な質問
質問：椅子の色は何色ですか？
回答：椅子の色はライトブラウン（淡い茶色）です。
返却時間：4秒
個数を数える
質問：椅子は何個ありますか？
回答：写真には椅子が２脚あります。
返却時間：4秒
質問：画像を読み込んでください。画像に含まれるアルファベットは何文字ありますか？
回答：画像に含まれるアルファベットは6文字あります。
返却時間：9秒
質問：画像を読み込んでください。画像に含まれる星のマークはいくつありますか？
回答：画像には50個の星のマークが含まれています。
返却時間：7秒
