最近のトラックバック

無料ブログはココログ

« 海に行きたい | トップページ | 料理してみた »

2006年8月13日 (日)

最近の困ったちゃん

Kの国のポータルNAVERが日本再上陸だとか.
日本ではそれほど認識がないだろうこのNAVERだが,
webサーバ管理者の間では相当評判が悪い.
何故かって?

ポータルサイトってことで,検索エンジンも搭載しているのだが,
この検索エンジンのbotの行儀が非常に悪いのだ.
どう悪いかというと…

○短時間に大量のリクエストを投げてくる
サーバの負荷が急上昇する.
ある程度の時間を空けてリクエストするのが普通.

○robots.txtを解釈しない
botの動作を制御するために,
ドキュメントルートに"robots.txt"というファイルを置くことがある.
botはこのファイルをまず見て,書いてある内容に従うのだが,
NAVERのbotは完全に無視する.

○UAを詐称する
クライアントがサーバにリクエストを投げる際,
User-Agentと言う変数を付ける.
ここにはブラウザとか使ってるOSとかを書くんだけど,
その内容に応じてサーバが適切なデータを返したりする.
botの場合,

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

とか,

Mozilla/5.0(compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

とか,自分が何のbotだかちゃんと名乗るのがルールだ.
NAVERは,前のように行儀が悪かったので,
いろんなところで爪弾きにされてしまっていた.

そこで,NAVERが使った手段がGooglebot詐称だ.
「自分はGoogleのbotですよ~」
と偽ってデータをリクエストしてくるのだ.

ただ,リクエスト元のIPを見れば,
韓国国内からのアクセスだというのはすぐわかる.
案の定すぐばれて,
韓国国内からのアクセスは全遮断などの対策を取られたのだ.

そんなわけで,みんなから嫌われているNaverBotだが,
数日前からまたクロールを開始したらしいとの情報.
うちのサーバのログを見てみると,案の定…

222.122.194.238 - [00:49:28] "GET ($PATH)/maketree.js"
222.122.194.238 - [00:49:28] "GET ($PATH)/clock.js"
220.73.146.134 - [00:51:03] "GET ($PATH)/09-0132.php"
222.122.194.234 - [00:51:04] "GET ($PATH)/maketree.js"
222.122.194.234 - [00:51:04] "GET ($PATH)/clock.js"
220.73.146.133 - [00:52:37] "GET /robots.txt"
220.73.146.133 - [00:52:38] "GET ($PATH)/04-2049.php"
222.122.194.235 - [00:52:40] "GET ($PATH)/clock.js"
220.73.146.144 - [00:56:08] "GET /robots.txt"
220.73.146.144 - [00:56:09] "GET ($PATH)/21-2327.php"
222.122.194.226 - [00:56:11] "GET ($PATH)/maketree.js"
222.122.194.226 - [00:56:11] "GET ($PATH)/clock.js"
220.73.146.107 - [00:58:59] "GET /robots.txt"

# 一部改変済

相も変わらずこんな調子でアクセスを続けてくる.
つーか,ログがほとんどNAVERからのアクセスになっている.
気持ち悪いし,無駄にログも大きくなるので,
robots.txtで規制しようにも,動作は変化なし.

そんなわけで,サクッとIPでパケットを落としてみました.

iptables -A INPUT -p tcp -i (I/F) -s 220.73.146.0/24 -j REJECT
iptables -A INPUT -p tcp -i (I/F) -s 222.122.194.0/24 -j REJECT

全くいつまでも進歩がないようで…

« 海に行きたい | トップページ | 料理してみた »

PC / サーバ」カテゴリの記事

コメント

ホビーユーザが作ってるの?

お,なるたけ総長じゃないですか.
最近,総長とか隊長とか組長とか会長とか多くて,
紛らわしいったりゃありゃしない…(笑

韓国内じゃgoogleとかyahooと肩を並べるらしいから,
流石にプロが作ってると思うんだけど…
ネットだから何やっても良い的な考えなんでしょうかね?

コメントを書く

(ウェブ上には掲載しません)

トラックバック


この記事へのトラックバック一覧です: 最近の困ったちゃん:

« 海に行きたい | トップページ | 料理してみた »