エックスサーバー＋独自ドメインで運営しているサイトに
「blexn1.webmeup.com」というところからの
アクセスが3秒に一回アクセスが来て、アクセスログがパンクしてしまった。
robots.txtで排除を試みたが
設定方法
http://www.tohoho-web.com/wwwxx079.htm
User-agent: blexn1.webmeup.com
Disallow: /
効果なし
htaccessで排除を行った
http://kensakuyoke.web.fc2.com/htaccess2.html
UAで排除する場合
SetEnvIf User-Agent “XXX” shutout
で排除できるらしいが、うまくいかなかったので
IPで排除を行ったらうまくいった
Deny from IP
ロボットの排除方法：robots.txtと.htaccessの設定方法
.htaccess