XMLを使ってGoogleデータベースにサイトをまとめて登録できるGoogle Sitemap（グーグル・サイトマップ）の新機能として、robots.txt分析が追加された。
robots.txtは、サイト内におけるクローラ（ウェブページを収集するロボット）の動作を制御するためのファイル。Googleの検索インデックスに登録したくないフォルダやファイルがある場合に文法に従って記述する。
robots.txtファイル分析は、サーバに設置されたrobots.txtをGooglebotが取り扱った処理結果を表示する。Googlebotが最後にrobots.txtファイルにアクセスした時間やステータスコード、Googlebotが認識できたクロール禁止フォルダ／ディレクトリ情報を参照可能だ。
robots.txtに記述した通りにGooglebotが動作しているかを把握するために利用できるだろう。
Googleサイトマップ
