AFFINGERのPVモニターでボット除外設定を入れていたものの、手元の環境ではボットと思われるアクセスがうまく除外されていませんでした。
公式ページに記載のある除外設定も入れていたので、最初は設定できているつもりだったのですが、ログを見ていると気になるアクセスが残っている状態でした。
環境差や条件の違いもあるのかもしれませんが、このままだと見づらかったので、自分の環境に合わせて除外設定を見直してみることにしました。
その後、ホスト名やユーザーエージェントの除外設定を調整したところ、これまで残っていたボット系のアクセスがきちんと除外されるようになりました。
同じように、公式の設定を入れているのにPVモニター上ではボットが残って見える場合は、まず一度、除外設定の内容を自分の環境に合わせて見直してみると改善することがあるかもしれません。
今回は、実際に動作した設定内容をメモとして残しておきます。
特定の IP / ホストを記録から除外する
.*\.yse\.yahoo\.net$
.*\.search\.msn\.com$
.*\.google\.com$
.*\.googlebot\.com$
.*\.googleusercontent\.com$
.*\.baidu\.com$
.*\.ahrefs\.com$
.*\.twttr\.com$
.*\.hatena\.ne\.jp$
.*\.dedicatedpanel\.com$
.*\.grapeshot\.co\.uk$
.*\.your-server\.de$
.*\.amazonaws\.com$
ns.*\.ip-.*-.*-.*\.eu$
.*\.spider\.yandex\.com$
.*\.bb\.sky\.com$
.*\.cloudatcost\.com$
crawl.*\.tkl\.iis\.u-tokyo\.ac\.jp$
.*\.phy\.lolipop\.jp$特定のユーザーエージェントを記録から除外する
.*DotBot/.*
.*MJ12bot/.*
.*\.crawler/.*
.*\(ias_crawler;.*
.*GrapeshotCrawler/.*
.*SemrushBot/.*
.*SEOkicks-Robot;.*
.*Steeler/.*
.*Pz-LinkCard-Crawler/.*
.*Crawler.*
.*crawler.*
.*bot.*
.*Bot.*
.* bot .*
.* Bot .*
.* bot/.*
.* bot;.*
.*_bot/.*
.*_bot;.*
.*Robot.*
