はてなブックマークのやりすぎちゃったかもしれないSEO （ぼくはまちちゃん）
2000年頃まで流行していた、スパム的なクローキングというのを見たことがない人が多いでしょうから、この手のものを誤解する人が多いのも仕方ありません。しかし、はてなのケースは全く問題ありません。そもそも、クローラがアクセスしているURLを人間もアクセス可能ですから、この時点でもうクローキングうんうんの話ではないのですよ。
たとえば、次のURLはGoogleにインデックスされた文字列ですが、人間がクリックしてもクローラが見たコンテンツと同じものが表示されますので不利益はありません。
参考：アフィリエイトリンクの転送先をユーザーとクローラで変更するのはクローキングスパム？
Amazonのアソシエイトプログラムの仕組みも同様に問題がありません。上記Web担フォーラムにて解説しているのであわせてお読み下さい。
ところで、bodyにキーワードを詰め込んだページをbotに見せる昔ながらのクローキングはNGでheader(url)にキーワードを詰め込んだページをbotに見せる、よりSEO的には凶悪なこの手法が「Google先生的にはオッケーなんじゃね？」なんて思い込む人が多いのはなんでなんだろう…？
タイトルと同じ文字列がURLに入っていることが、悪質であるとは客観的にいえないからです。また、URLにタイトルの文字列を入れて、それが何のコンテンツと関係あるかをクローラに明示することは、検索エンジンに対するアクセシビリティ改善と捉えることもできます。
検索エンジンがNGという「詰め込み」というのは、「転職、転職、転職、転職・・・」みたいなことを指します。
検索エンジンは、より適切な検索結果を表示するために「ページが何について記述されているか」を正しく理解する必要があります。はてなのケースは、URL内にもページの内容を記述して伝達しやすくしているともいえますから、これをもって検索品質を著しく落とす行為とはいえません。
Google自身が、件のガイドラインにどちらともとれる文章を掲げておきながら、上と同様の手法でキツイSEOを行っているAmazonをいつまでも放置(黙認?)しているあたりが一番の問題なのかもしれないね…！
ガイドラインは、あまりに明確に書いてしまうとそれをかいくぐって悪さをするスパマーが後を絶たないので、仕方ないんじゃないでしょうか。
最後にまとめますと、クローキングというのは、同じURLにアクセスしているにもかかわらず、ユーザとクローラで全く異なるコンテンツが表示されることを指します。
ブラックな手法のクローキングの要件は
(1) 同じURLでユーザとクローラで全く異なるコンテンツが表示される
(2) クローラ用のURLにユーザがアクセス不可（またはその逆）
を満たした時を指します。つまり、「検索結果に表示されるタイトル・説明文・URLと、クリックした後に見る内容の同一性」が求められています。この原則が守られないと、ユーザの予想に反したコンテンツへアクセスさせることになり、レリバンシーの低下を招きます。検索結果で料理の作り方と書いてあったのに、クリックしたらアダルトサイトだったら不満ですよね。だから検索エンジンは悪意あるクローキング行為を禁止※するのです。
今回のように、ユーザとクローラで異なるURLに転送しても、その転送先URLをユーザとクローラの両方がアクセスできる（今回のケースなら、タイトル文字列入りURLにユーザがアクセスできる）時点で、これはクローキングの要件を満たしません。また、検索結果で表示した内容とリンク先ページは同じですし、ユーザとクローラも同じコンテンツを見ていますので、ユーザに不利益はありません。URL文字列の挿入は、タイトル文字列をそのまま入れる行為である限り、それの悪質性を見いだすことはできません。むしろ、それを悪としたら世の中の善意で行っている多くの運営者のサイトを検索結果から閉め出すことになり、良質なウェブサイトを検索できなくなることは検索利用者にも検索会社にも不利益でしょう。
ということで、全然問題ないですよ、という話でした。
※ 参考までに、検索業界でのクローキングに対する取り締まりは、Googleが最も厳しいと言われています。Yahoo!やMSは比較的寛容といいますか、「合理的な理由」として認める範囲が、Googleよりも広いです。
