米Yahoo! が先日リリースした、Yahoo! Web Rank 搭載のベータ版ツールバーだが、Yahoo!独自のWebポピュラリティ指標が見られる以外にも新たな機能が搭載されている。それは新鮮なWebページを効率よく収集するための仕組みだ。
最新のYahoo! Companion Toolbar には Web Rank を有効にしているユーザーが訪問したURLをYahoo!サーバに送信する機能がある。これは Yahoo! がユーザーのトレンドや検索行動を把握することも目的だが、もう１つ、「未インデックスのWebページを発見する」ためにも用いられるのだ。
例えばあるサイトを訪問した時にそのURLがYahoo!に送られる。もしそのURLが Yahoo! Search インデックスに登録されていなければ、Yahoo! Slurp のデイリークロールが次回のクロール時のそのページを拾いに行き、インデックスに追加するわけだ。
この仕組みを使えば、Webサイトの過去の更新頻度やポピュラリティに基づいていわば「あてずっぽう」でクロールさせるよりも早く未インデックスのページを発見し収集することが可能で、包括的にWebをカバーした検索エンジンの構築に役立つ。
Google ツールバーも同じようなことをしているのでは？といわれていたが、Google 関係者はきっぱりと「Googleツールバーとクロールは関係ない」といっており、ツールバーを使った未発見のWebページの特定には活用していないようだ。しかし Yahoo! がこのシステムを取り入れたことで、今後 Google も同じ仕組みを Googleツールバーに搭載してさらなるインデックスの強化に活用する時が来るかもしれない。
ref.
Yahoo! Web Rank とは（詳細版）
