ПРОЕКТЫ 


  АРХИВ 


Apache-Talk @lexa.ru 

Inet-Admins @info.east.ru 

Filmscanners @halftone.co.uk 

Security-alerts @yandex-team.ru 

nginx-ru @sysoev.ru 


  СТАТЬИ 


  ПЕРСОНАЛЬНОЕ 


  ПРОГРАММЫ 



ПИШИТЕ
ПИСЬМА












     АРХИВ :: nginx-ru
Nginx-ru mailing list archive (nginx-ru@sysoev.ru)

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: парсер для error.log


  • To: nginx-ru@xxxxxxxxx
  • Subject: Re: парсер для error.log
  • From: Ivan Bondarets <bondarets@xxxxxxxxx>
  • Date: Fri, 18 Jan 2013 17:03:23 +0400
  • Dkim-signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=20120113; h=x-received:mime-version:in-reply-to:references:from:date:message-id :subject:to:content-type; bh=1hY+vATNZI2NjkQ0lTdFkpvcJLAQSCVSJHRgTsrB4q4=; b=Fy8FXEQx34Hi3abOMAdpt7Pz4ZUaeIjX6lSjPRbYy84RLtZ6/YX6wbryeVPViFD4s+ d36Wl7Pi24P7QAsgPdR7HxGoLFz7wutIdODxLqJYftCyw7omFEXFwOSMRak3OaLgyAX0 UeNjmBIJE9tW05FWlVn4EGUVyvVVMUnCjViewiARHJbMxWfwlIHIpaDMIyA8n+TrXOvV Vt/El3JZ60F6tIqEvIPMBBy5mpSG8XLZB2is3E6thnD5QxrlH6cStmX0Xj3PH12dJsOp yDjDeaC74AAbCw0EY+ErynrodszJ9eNpnICP1Z3QSDYN8hLsgM5vxqm+BVzQs12QhMiZ l8Dg==
  • In-reply-to: <50F93DB8.4070002@citrin.ru>
  • References: <CAEE9LaKj4hA-3HEetenR=T3504qO89hhuE1aKQyV0uwMLDbdvg@mail.gmail.com> <1037688526.20130118002414@softsearch.ru> <50F93DB8.4070002@citrin.ru>

мне не для суммарной статистики по типу ошибок. Мне надо анализировать логи с точки зрения событий, которые имеют хоть какое-то отношение к информационной безопасности (события передатся в SIEM для дальнейшей корреляции и анализа). Для основного лога я уже написал парсер (используется нестандартный формат лога), а вот для error как-то не выходит, потому что я не могу точно понять, как разделены поля (и разделены ли вообще), фиксировано ли количество полей или нет, что некоторые из них обозначают и т.п.


18 января 2013 г., 16:19 пользователь Anton Yuzhaninov <citrin@xxxxxxxxx> написал:
On 01/18/13 00:24, Михаил Монашёв wrote:
Если в парсере заменять все числа, строки в
кавычках  и  строки,  идущие  от  двоеточия до запятой и не содержащие
пробелов  на  ХХХ,  то получится свернуть всё разнообразие сообщение в
несколько шаблонных фраз. Ну и ради примера приводить одну несвёрнутую
ошибку ещё можно. Полезная тулза, кстати получится.

Для суммарной статистики по числу ошибок разного типа сейчас использую такой скрипт:

sed -E 's/.* (.*) [0-9]*#0: /\1 /' < $ERROR_LOG \
        | sed 's/ \*[0-9]* / /; s/, client: .*//; s/"[^"]*"/"..."/g;' \
        | sort | uniq -c | sort -rn

--
 Anton Yuzhaninov


_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru

_______________________________________________
nginx-ru mailing list
nginx-ru@xxxxxxxxx
http://mailman.nginx.org/mailman/listinfo/nginx-ru


 




Copyright © Lexa Software, 1996-2009.