«前の日記(2008-06-15(日)) 最新 次の日記(2008-07-06(日))» 編集
RSS feed

からっぽの日記


2008-06-23(月) [長年日記]

Yahoo! モバイルのクローラーがヒドイ

アクセスログを久しぶりに見たら 5月が 1000 Hits になっとった! 前月の約5倍だよ。人気サイトになってきたか。ってなことは絶対ないので、どこぞの国から悪質なクローラーがやってきているのかとログを除いてみたら・・・Yahoo! さんだよ><

どうやら携帯用のクローラーのようだ。すごい台数のクローラーが縦断攻撃している... IP は違うが1分間隔くらいでクロールしているorz robots.txt は 6/1 以来アクセスしていない。月に1度なのか?*1てか、robots.txt でクロールお断りしているページもクロールしていってるし。CGI の引数舐め回し...

あまりにヒドイと思えるので、とりあえず .htaccess でアクセス拒否。でも、403 でログには残っちゃうんだよなぁ。クローラーって robots.txt が 403 で読めなかったら他のページへはクロールしなくなるのかな? それとも、robots.txt だけアクセス許可しておいて、Crawl-Delay なり、Disallow を設定すべき?*2

*1 ログは1ヶ月分しか残していないのでわからんorz

*2 robots.txt の内容を無視する可能性があるが...

*3 XX には数字が入る


«前の日記(2008-06-15(日)) 最新 次の日記(2008-07-06(日))» 編集
RSS feed