生成AI・検索エンジンクローラ一覧（2025年8月時点）

自分用のメモ。

最終更新日：2025年7月30日

生成AI各社のクローラー情報を追加

• Apple
• Baidu（中国）
• Claude
  • Claude-SearchBot
  • Claude-User
  • ClaudeBot
• DuckDuckGo
• Gigablast
• Google
• LINE Search（日本）
• Microsoft Bing
• NAVER（韓国）
• OpenAI
  • OAI-SearchBot
  • ChatGPT-User
  • GPTBot
• Perplexity
  • PerplexityBot
  • Perplexity-User
• Seznam（チェコ）
• Yandex（ロシア）

 

Apple

support.apple.comユーザーエージェント名は"Applebot"。SiriやSpotlightの候補表示のために使用される。

Mozilla/5.0 (Device; OS_version) AppleWebKit/WebKit_version (KHTML, like Gecko)
Version/Safari_version Safari/WebKit_version (Applebot/Applebot_version)

 

 

Baidu（中国）

help.baidu.comユーザーエージェント名は"Baiduspider"。

 

Claude

support.anthropic.com

Claudeのクローラは3種類あります。

Claude-SearchBot

Claude-SearchBotは、Claude の検索結果に表示するためにクロールします。このUA bot を拒否すると、ウェブページのインデックス化ができないため、検索結果に表示されません。

Claude-User

Claude-Userは、ユーザーのクエリに回答するためにClaude-Userがウェブページを訪問することがあります。このUA botを拒否すると、ユーザークエリに応答してコンテンツを取得することができなくなり、ユーザー指向のウェブ検索におけるサイトの可視性が低下する可能性があります。

ClaudeBot

ClaudeBotは、生成AIモデルのトレーニングに貢献する可能性のあるウェブコンテンツを収集します。このUA bot を拒否すると、AIモデルのトレーニングデータセットから除外されます。

 

DuckDuckGo

help.duckduckgo.com

ユーザーエージェント名は"DuckDuckBot"。REPを遵守。クローラのIPアドレスは上記リソースに記載あり。

 

Gigablast

https://developers.whatismybrowser.com/useragents/explore/software_name/gigablast-crawler/

ユーザーエージェント名は"Gigabot"。

 

Google

developers.google.comユーザーエージェント名は"Googlebot"。数が多いので上記リソースを参照のこと。

 

LINE Search（日本）

help2.line.meユーザーエージェント名は"Linespider"。

Mozilla/5.0 (compatible; Linespider/1.1; +https://lin.ee/4dwXkTH)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Linespider/1.1; +https://lin.ee/4dwXkTH) Chrome/W.X.Y.Z Safari/537.36

REPを遵守。

 

Microsoft Bing

www.bing.comユーザーエージェント名は"Bingbot"。

WebクローラのUA

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36  (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

画像検索で使用するSnapshot生成クローラ"BingPreview"もある。

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534+ (KHTML, like Gecko) BingPreview/1.0b

Mozilla/5.0 (Windows Phone 8.1; ARM; Trident/7.0; Touch; rv:11.0; IEMobile/11.0; NOKIA; Lumia 530) like Gecko BingPreview/1.0b

NAVER（韓国）

https://help.naver.com/service/5626/contents/8026?lang=ko

ユーザーエージェント名は"Yeti"。

Mozilla/5.0(compatible; Yeti...)

REPを遵守。

 

OpenAI

platform.openai.com

OpenAI のクローラは3種類あります。

 

OAI-SearchBot

OAI-SearchBot/1.0; +https://openai.com/searchbot

検索（ChatGPT search）用botです。ChatGPT search 検索結果にウェブページやリンクを表示するためには、OAI-SearchBotを許可する必要があります。OpenAIの生成AIの訓練用には利用されません。このUA bot を拒否すると ChatGPT search のインデックス化ができないため、検索結果に表示されません。

IP アドレス一覧：

https://openai.com/searchbot.json

ChatGPT-User

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot

検索（RAG）用botです。ユーザーからの質問に対して、ChatGPT-User がページを訪問することがあります。ウェブページの収集や生成AIの訓練目的で利用されることはありません。このUA bot を拒否すると、ユーザークエリに応じてコンテンツを取得することができなくなります。

IPアドレス一覧：

https://openai.com/chatgpt-user.json

GPTBot

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.1; +https://openai.com/gptbot

OpenAI の生成AIの訓練データを集めるために利用されます。GPTbotの拒否は、サイトコンテンツの生成AI訓練目的での利用を拒否することを示します。

IPアドレス一覧：

https://openai.com/gptbot.json

 

Perplexity

docs.perplexity.ai

Perplexity のクローラは2種類あります。

PerplexityBot

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

PerplexityBotは、Perplexityの検索結果でウェブページやリンクを表示するために必要な情報を取得します。AIモデルの訓練用には利用されません。Perplexityの検索結果に表示させたい場合は、PerplexityBot のクロールを許可します。

IPアドレス一覧：

https://www.perplexity.com/perplexitybot.json

 

Perplexity-User

Full user-agent string: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

Perplexity-Userは検索（RAG）用botです。ユーザーからの質問に対して、Perplexity-Userがページを訪問することがあります。ウェブページの収集や生成AIの訓練目的で利用されることはありません。

IPアドレス一覧：

https://www.perplexity.com/perplexity-user.json

 

Seznam（チェコ）

napoveda.seznam.czユーザーエージェント名は"SeznamBot"。

Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)

テストバージョンのクローラ

Mozilla/5.0 (compatible; SeznamBot/3.2-test4; +http://napoveda.seznam.cz/en/seznambot-intro/)

その他、同社のクローラ仕様書によるとスクリーンショット生成のクローラも別にある。上記リソースを参照のこと。

 

Yandex（ロシア）

yandex.com

yandex.com

ユーザーエージェント名は"YandexBot"。

User-Agent Mozilla/5.0 (compatible; Yandex...

あまり詳細が記載されていない。