Re: [apache-talk] продвинутый ан ализатор логов

[Sergej Kandyla <sk.paix@xxxxxxxxx>]

alexey.portnov@xxxxxxxxxxxxxxxxxxx wrote:
> Добрый день!
>
> Есть такая задача - на графиках системы (кол-во процессов httpd) 
> иногда бывают кратковременные всплески
> (буквально на несколько минут и на атаки не похоже)
> Хотелось бы научиться определять что это - приход пользователей с 
> поисковых систем, с баннеров или откуда ещё.
> Скажите пожалуйста, существует в природе анализотор, который умеет 
> делать подобные отчёты?
> Например, если формализовать задачу об анализе пиков, то я вижу это так:
> берутся два периода, один с пиком, другой ровный (с точностью до 
> минуты), допустим 12:00-12:10 и 21:20:21-21:30
> и делается сравнительный анализ сколько запросов было в один период, 
> сколько в другой, с каких ip и какие
> User-Agents были (роботы, не роботы).
Написать свою парсилку, как по мне, как раз самый быстрый способ. 
Правда, учтите что если домен не один, то реальную картину вы врядли 
увидите.
+ поможет изучения вывода httpd-status

Также по личному опыту, многие хосты (особенно буржуйские) имеют слишком 
агрессивное поведение,если поставить mod_dosevasive|evasive то можно 
увидеть что апач блокирует такие хосты, также подобные хосты часто 
залетали по правилам PF типа
pass max-src-conn-rate 15/1, overload <www-ddos>

Ну и конечно же, это не дос ;) Когда "кажется", что вас досят, - значит 
все нормально. Когда действительно досят - это сразу становится видно и 
сомнений не возникает.
> Все анализаторы, что попадались мне в интернете, делают более общие 
> отчёты и как правило с интервалом раз в час.
> На перле такое каждый раз парсить долго. Я так понимаю, если в базу 
> сложить, то будет попроще и запросы делать
> и разные новые добавлять.
> Есть уже что-то готовое на данную тему? Кто чем пользуется?
--
Best Wishes,
PAIX-UANIC | SK3929-RIPE