INFOINFO
MAILMAIL

2007年 9月 6日(木)

* 検索エンジンのおかげで    [  blog全般 | インターネット  ]

 先日、へんなbotがやってきてるってエントリを上げたんだけど、その後、定期的にaccess_logをチェックしてるとGooglebotさんもなんだか動作が怪しげ。っていうか、全体のアクセスの7割近くがGooglebotさんで未だにアクセス頻度が落ちない…。
 まぁ、最初は初期クロールで時間がかかるんだろうと思ってたんだけど、それにしてもおかしい。で、ちょっと気になって調べてみたら、あらま、こっちのページの作成部分に大チョンボが…。手動で動かしてる分にはとくに問題ないんで気がつかなかったんだけど、bot系の場合にはハマるわけだ(^^;)。
 大急ぎでページを修正したんで、これで無制限にクロールされるのは避けられるはず。

 あと、個別ページが検索対象にされるのはいいんだけど、カテゴリとかタグ別のページでインデクスされるのは、あんまりよろしくない。ってなわけで、カテゴリとタグのページではNOINDEXになるように修正。まぁ、すでにクロールされてるのもあるんで、反映されるまで時間かかりそうだけど。

 んで、access_logから検索文字列をピックアップするスクリプトを書いたりして、検索キーワードをチェックしてたんだけど、思いもよらないユニークなキーワードでヒットしてるんだよねぇ(笑)。
 たとえば、「ステーキくに ステーキ 硬い」「名無し 宛名 手紙 上様」「ソニーのテレビが映らない」「自転車窃盗 逃げる方法」「かわず飛び込む無視の音」なんていうキーワードでヒットしてたりするんだけど、そんなの書いたっけかなぁ(^^;)。

Posted by “Lupin” on 2007/09/07 00:17:32