アクセスが急増。
しかし一日800overのアクセスなんて、どう考えても普通じゃない。
早速アクセスログの設定を変え、詳細にとってみると・・・
Yahoo! Slurpという行儀の悪い検索ロボットが、IPを変えて入れ替わり立ち替わりアクセスしてきていることが判明。普通の検索ロボットはカウントしないのに、Slurpだけは、普通のPCのフリをしているから厄介。早速、Yahoo! Slurpは全部アクセス拒否することに決定。Yahoo!はもう結構。Googleの検索さえ引っかかればそれでよしとしよう。
ということで、明日からまたカウンタの進み具合が普通に戻ります。
poly-tanked cosmos
ポリタンコスモ
そうですねーUAがMozillaだからですね。robot.txtだと、googleもmsnもはじいちゃうから.htaccessで Yahoo! Slurpだけはじくことにしました。Firefoxのシェア増大って、結構Yahoo! Slurpが原因だったりして。
Yahoo! SlurpはUserAgentがMozillaのなを語っているので、カウンターで引っかかるんですかね。
携帯サイトでMozillaの名のつくブラウザは別のPC用のページに飛ばそうかと思ったのですが、クローラーは残しておきたいのでこういうMozillaをかたるクローラーのための処理が増えそうです。
私のサイトはyahoo検索結果からのアクセスが一番多いです。
アクセス拒否設定して10時間、増加したアクセス80。ちょっとは信憑性のあるカウンタ表示になりました。あーめんどくさかった。