最近の困ったちゃん

Kの国のポータルNAVERが日本再上陸だとか．
日本ではそれほど認識がないだろうこのNAVERだが，
webサーバ管理者の間では相当評判が悪い．
何故かって?

ポータルサイトってことで，検索エンジンも搭載しているのだが，
この検索エンジンのbotの行儀が非常に悪いのだ．
どう悪いかというと…

○短時間に大量のリクエストを投げてくる
サーバの負荷が急上昇する．
ある程度の時間を空けてリクエストするのが普通．

○robots.txtを解釈しない
botの動作を制御するために，
ドキュメントルートに"robots.txt"というファイルを置くことがある．
botはこのファイルをまず見て，書いてある内容に従うのだが，
NAVERのbotは完全に無視する．

○UAを詐称する
クライアントがサーバにリクエストを投げる際，
User-Agentと言う変数を付ける．
ここにはブラウザとか使ってるOSとかを書くんだけど，
その内容に応じてサーバが適切なデータを返したりする．
botの場合，

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

とか，

Mozilla/5.0(compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

とか，自分が何のbotだかちゃんと名乗るのがルールだ．
NAVERは，前のように行儀が悪かったので，
いろんなところで爪弾きにされてしまっていた．

そこで，NAVERが使った手段がGooglebot詐称だ．
｢自分はGoogleのbotですよ～｣
と偽ってデータをリクエストしてくるのだ．

ただ，リクエスト元のIPを見れば，
韓国国内からのアクセスだというのはすぐわかる．
案の定すぐばれて，
韓国国内からのアクセスは全遮断などの対策を取られたのだ．

そんなわけで，みんなから嫌われているNaverBotだが，
数日前からまたクロールを開始したらしいとの情報．
うちのサーバのログを見てみると，案の定…

222.122.194.238 - [00:49:28] "GET ($PATH)/maketree.js"
222.122.194.238 - [00:49:28] "GET ($PATH)/clock.js"
220.73.146.134 - [00:51:03] "GET ($PATH)/09-0132.php"
222.122.194.234 - [00:51:04] "GET ($PATH)/maketree.js"
222.122.194.234 - [00:51:04] "GET ($PATH)/clock.js"
220.73.146.133 - [00:52:37] "GET /robots.txt"
220.73.146.133 - [00:52:38] "GET ($PATH)/04-2049.php"
222.122.194.235 - [00:52:40] "GET ($PATH)/clock.js"
220.73.146.144 - [00:56:08] "GET /robots.txt"
220.73.146.144 - [00:56:09] "GET ($PATH)/21-2327.php"
222.122.194.226 - [00:56:11] "GET ($PATH)/maketree.js"
222.122.194.226 - [00:56:11] "GET ($PATH)/clock.js"
220.73.146.107 - [00:58:59] "GET /robots.txt"

# 一部改変済

相も変わらずこんな調子でアクセスを続けてくる．
つーか，ログがほとんどNAVERからのアクセスになっている．
気持ち悪いし，無駄にログも大きくなるので，
robots.txtで規制しようにも，動作は変化なし．

そんなわけで，サクッとIPでパケットを落としてみました．

iptables -A INPUT -p tcp -i (I/F) -s 220.73.146.0/24 -j REJECT
iptables -A INPUT -p tcp -i (I/F) -s 222.122.194.0/24 -j REJECT

全くいつまでも進歩がないようで…