米Yahoo! のサイト内に、Yahoo! Search のクローラー "Yahoo! Slurp" に関するページが公開されています。
"Slurp" という名前は Yahoo! が買収した Inktomi のクローラーの User-Agent 名です。つまり Yahoo! は今後 Slurp という名前を引き継ぎ、ページ検索インデックス構築に利用していくのでしょう。
Slurp という名前が残ったことから、従来 robots.txt でクローラーの制御を行っていたサイトは Yahoo! Search の運用にあわせて変更する必要はありません。
なお、Yahoo! Slurp がログに残す記録は以下の通り。
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp )
Yahoo! Slurp - Yahoo!'s Web Robot
http://help.yahoo.com/help/us/ysearch/slurp/
2004.02.19 追記
Yahoo! は Yahoo! Search Technology を採用しました
ref.
Yahoo!、Yahoo! Search に独自検索技術を採用、 Google を外す
Yahoo! Inktomi の試験運用中 (2004/02/12)
Yahoo! の Inktomi ページ検索結果を見る方法 (2004/02/13)
