Как прикрыться от ненужных ботов?

[Михаил Монашёв <postmaster@xxxxxxxxxxxxx>]

Здравствуйте nginx-ru,

 Ранее  составлял  список  ботов,  которые много качали и заносил их в
 чёрный  список  по юзер-агенту. Я его тут как-то публиковал ранее.

 if ($http_user_agent ~ "libwww|BlogSearch|Moreoverbot| ... |Wget"){
     set $limit_rate 100;
 }

 Но  их  всё  больше  и больше. Кроме того, есть боты, которые пишут в
 юзер-агента  полную чушь. Возникла идея ввести белый список ботов. Их
 собственно  не  много:  Гугл,  Яндекс,  Рамблер, Яха, Аск и MSN. Плюс
 браузеры:  Опера,  FireFox  и  IE.  Но как-то некрасиво это выглядит.
 Кроме того, Яха и Гугл запускают иногда новые сервисы с новыми ботами
 и из новых подсетей.

 Может  есть  какие-то ещё способы борьбы с ботами? Избавиться от всех
 ботов  задачи  не  стоит. Хочется минимизировать нагрузку и трафик от
 них,   так,   чтобы  не  пострадали  обычные  юзеры  и  вышеописанные
 поисковики.
  

С уважением,
Михаил Монашёв, SoftSearch.ru
Member of Independent Software Developers Forum (ISDEF)
mailto:postmaster@xxxxxxxxxxxxx
ICQ# 166233339
http://softsearch.ru/
Без бэкапа по жизни.