噂どおり Naver のクローラー、 NaverBot が robots.txt を無視してあさっていくのを確認しました。
最低やねぇ。
今回確認できたのは、 4 つの IP アドレスでした。 61.78.61.0/24 に含まれていたため、 .htaccess に、
Order allow,deny
Allow from all
deny from 61.78.61.0/24
と、 こんな感じで追加。
今後も NaverBot の Agent を見たら、 直ちに追加していきます。^^
やっぱきましたか(笑)
Naverのヘルプを見ると堂々と
http://help.naver.co.jp/search/faq.html
なんて書いてあるので嘘ばっかだよなぁ。
ちなみに、NavorのBotは以下のアドレスからやってくるそうです。
deny from 61.78.59.0/21
deny from 202.234.172.0/25
deny from 219.163.205.160/27
deny from 218.145.25.0/24
deny from 220.73.165.0/22
deny from 218.144.0.0/12
deny from 220.72.0.0/11
情報どもです。
後で早速追加しておきます^^