読み方：うぇぶくろーらー
クローラとは、インターネット上のあらゆるWebサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのことである。Webサイトを這う（クロールする）ことからこのような名称が付けられた。
クローラでは、WebサイトのHTMLに記載されているリンクをたどり、そのWebサイトがどのような内容なのか、どのような構造になっているのかなどを判断し、データベース化していく。クローラがアクセスできるファイル・情報はすべてデータベース化され、誰もが検索できるようになってしまうので、機密文書などに関してはアクセス権を設定するなどの注意が必要である。
近年では検索結果の上位に表示させるためのSEOとして、有名検索Webサイトのクローラの動きを特に意識したWebサイト構築が目立つようになってきている。
出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2023/02/02 03:32 UTC 版)
WebCrawler（ウェブクローラ）は、Google、Yahoo!、Bing、Ask.com、About.com、MIVA、LookSmart など有名な検索エンジンの検索結果を混合するメタ検索エンジン。オプションで画像、音声、動画、ニュース、イエローページ、ホワイトページの検索もできる。WebCrawler は InfoSpace, Inc. の登録商標である[1]。
WebCrawlerはかつて、初めて全文検索を提供したウェブ検索エンジンだった。ワシントン大学のブライアン・ピンカートンが開発し、1994年4月20日にネット上で稼働開始した[2]。1995年6月1日にAOLが買収し、1997年4月1日にはExciteに転売された。2001年にExciteが倒産すると、（その時点では Excite@Home と呼ばれていた）WebCrawlerはInfoSpaceが取得した。InfoSpaceは他に Dogpile と MetaCrawler というメタ検索エンジンを運営している。
本来のWebCrawlerは独自のデータベースを持つ検索エンジンで、広告的検索結果はページの別の領域に表示していた。その後メタ検索エンジンに転向し、有名な検索エンジンの検索結果を合成し、広告とそうでないものに分けて表示するようになった。
2008年までクモをマスコットにしていたが、今ではそれを廃止している。
2012年1月現在、アレクサによれば、アメリカ合衆国内で1441位のウェブサイトであり、全世界では6164位である。Quantcast は1カ月のアメリカ国内の訪問者数を約91万人と推定し、Compete は約612万人と推定している[3][4][5]。
