Re: Подскажите - как боротьс я с парсерами

[Anton Kuznetsov <maybe@xxxxxxxxxxxx>]

Одним нжинксом тут не отделаешься, он поможет если парсят в 100 потоков, а так... в любом случае парсер будет приспосабливаться.  Пишите анализатор логов и баньте по айпи. Пока это однопотоковый скрипт на одном адресе - ничего сложного. ;)

2011/4/20 maxim <maxim@xxxxxxxx>

У нас портал. На нем обьявления.
И возникает ситуация когда конкуренты начинают парсить скриптами сайт и копипастить обьявления.
поставил в настройках nginx

http {
.....
 limit_req_zone $binary_remote_addr zone=one:5m rate=25r/s;
 limit_zone two $binary_remote_addr  1m;
.....

server {
        listen 80;
......
limit_req zone=one burst=35 nodelay;
limit_conn   two  5;

Но не помогло. Вчера была такая картина
Айпи                 Время                         Хиты
93.126.72.176   20:28:07 - 20:28:07 1
93.126.72.176   20:28:06 - 20:28:06 1
93.126.72.176   20:28:05 - 20:28:05 1
93.126.72.176   20:28:05 - 20:28:05 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:04 - 20:28:04 1
93.126.72.176   20:28:03 - 20:28:03 1
93.126.72.176   20:28:02 - 20:28:02 1
....
93.126.72.176   20:26:52 - 20:26:52 1
93.126.72.176   20:26:51 - 20:26:51 1
93.126.72.176   20:26:51 - 20:26:51 1
93.126.72.176   20:26:51 - 20:26:51 1

Тоесть с этого айпи каждую секунду происходит одно соединение.
Понятно что это не человек.
Подскажите как с таким боротся? Возможно я неверно  указал настройки? Или это не силами nginx делается?

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru

-- 
Best regards,
Anton Kuznetsov.       
_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://nginx.org/mailman/listinfo/nginx-ru