グーグルも避けることにした

2008年2月28日(木) 09:37 | 日記

きのうの503エラーの話で、Baiduという検索エンジンのクローラーが携帯サイトのプログラムを走らせていることが原因だと書きました。
今朝、最新のアクセスログを見てみたのですが、Baiduだけでなく、グーグルのクローラーも同じCGIを何回も読み込んでいることが分かりました。
このままだとまたエラーが発生しかねないので、robots.txtを書き換えて、すべてのクローラーが携帯サイトを読み込まないように設定しました。

ただ、きのうの段階でBaiduを避ける設定にしていたのに、ログを見ると、その後も何回かBaiduクローラーからのアクセスがあったんですよね。回数こそ減っているようですが。
やっぱり、.htaccessでクローラーを跳ね返さないとだめなんですかねえ。これでエラーが消えないようなら考えます。

コメントを投稿

※サーバーの状況によって、投稿完了まで時間がかかることがあります。
※投稿内容がすぐに反映されないことがありますが、ページを再読み込みするとコメントが表示されます。
※入力したURLは公開されますが、メールアドレスは公開されません(管理者に対してのみ通知されます)。