+10,000アクセスと”Yahoo! Slurp”

アクセスが急増。
しかし一日800overのアクセスなんて、どう考えても普通じゃない。
早速アクセスログの設定を変え、詳細にとってみると・・・
Yahoo! Slurpという行儀の悪い検索ロボットが、IPを変えて入れ替わり立ち替わりアクセスしてきていることが判明。普通の検索ロボットはカウントしないのに、Slurpだけは、普通のPCのフリをしているから厄介。早速、Yahoo! Slurpは全部アクセス拒否することに決定。Yahoo!はもう結構。Googleの検索さえ引っかかればそれでよしとしよう。
ということで、明日からまたカウンタの進み具合が普通に戻ります。

+10,000アクセスと”Yahoo! Slurp”」への3件のフィードバック

  1. そうですねーUAがMozillaだからですね。robot.txtだと、googleもmsnもはじいちゃうから.htaccessで Yahoo! Slurpだけはじくことにしました。Firefoxのシェア増大って、結構Yahoo! Slurpが原因だったりして。

  2. Yahoo! SlurpはUserAgentがMozillaのなを語っているので、カウンターで引っかかるんですかね。
    携帯サイトでMozillaの名のつくブラウザは別のPC用のページに飛ばそうかと思ったのですが、クローラーは残しておきたいのでこういうMozillaをかたるクローラーのための処理が増えそうです。
    私のサイトはyahoo検索結果からのアクセスが一番多いです。

  3. アクセス拒否設定して10時間、増加したアクセス80。ちょっとは信憑性のあるカウンタ表示になりました。あーめんどくさかった。

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください