https://www.opennet.me/openforum/vsluhforumID9/8493.html <br>Появилась необходимость получить статистику самых частых ошибок на основе анализа apache(nginx) access логов.<br>Размер логов &gt; 5 Гб за сутки.<br><br>Пример желаемого отчета:<br>&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;domain&gt; &lt;reffer&gt;<br>&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;domain&gt; &lt;reffer&gt; <br>...<br><br>AWStats - не получается использовать т.к. процесс анализа умирает из-за огромного размера лога<br><br>Анализатор visitors (http://www.hping.org/visitors/) - не показывает рефферы 404 ошибок, без реффера невозможно определить адрес страницы на которой находится битая ссылка <br><br>Написал простенький анализатор на основе awk<br><br>awk '($9 !~ /200&#124;304/)' $log &#124; awk '{print $9,$7,$11}' &#124; sort &#124; uniq -c &#124; sort -r -n &#124; head -n 70<br><br>В результате его работы получаю отчет вида<br>&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;reffer&gt;<br><br>Вопрос: существуют ли другие решения которые могут предоставить расширенную статистику ошибок на основе access логов?<br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#8 Mon, 07 May 2012 21:31:37 GMT Народ, помогите плиз? <br>Нужно написать скрипт на перл а у меня с ним опыта вобще никакого.<br>Задача:<br>Есть 4 папки в папке /weblogs<br>в каждой из них лежит немерянное количество архивированных логов апача.<br>Теперь есть файлик с 80тью IP адресами, и надо получить отчет какой адрес в каком файле встречается.<br><br>Человек который поставил задачу посоветовал применить перл хэши.<br>Вот сижу теперь ломаю голову что это такое и с чем его едят :(<br><br>Заранее благодарен за помощь.<br><br><br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#7 Tue, 10 Nov 2009 10:16:19 GMT попался мне тут лог httpd_access на глаза. соот-но, код меняем на этот:<br><br>#!/usr/bin/perl<br><br>use warnings;<br><br>$from="httpd_access.log";<br>$to="httpd_parsed";<br>$total403=$total404=0;<br><br>open(FH,"$from")or die"не открывается $from: $!\n";<br>open(NEW,"&gt;$to");<br><br>while(&lt;FH&gt;){<br> next if !/" (?:403&#124;404) \d/;<br><br> if(/" 403 \d/){print NEW "$_";$total403++}<br> if(/" 404 \d/){print NEW "$_";$total404++}<br>}<br>print NEW "\nвсего ошибок 403: $total403<br>всего ошибок 404: $total404\n";<br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#6 Tue, 10 Nov 2009 08:02:27 GMT &gt;Пример желаемого отчета: <br>&gt;&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;domain&gt; &lt;reffer&gt;<br>&gt;&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;domain&gt; &lt;reffer&gt; <br><br>нужен визуальный пример строки, которую нужно зацепить<br>ну и также не помешает пример строки, которую цеплять не нужно<br><br>ну а на основе пока имеющихся данных будет как-то так:<br><br>#!/usr/bin/perl<br><br>use warnings;<br><br>my$from="/path/to/logfile"; # откуда брать данные для обработки<br>my$to="/report/file"; # куда скидывать обработанный вывод<br><br>open(FH,"$from");<br>open(TO,"&gt;$to");<br>while(&lt;FH&gt;){<br>next if !/код (404,503)/g;<br>$total++;<br>print TO "$_"; # не ставлю \n, потому что строки в исходном файле уже с ним<br>}<br>print TO "\nвсего ошибок: $total\n";<br><br>получите список ошибок 404,503 и общее их кол-во в файл /report/file<br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#5 Thu, 29 Oct 2009 07:13:03 GMT 3. частая ротация<br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#4 Thu, 29 Oct 2009 07:03:28 GMT &gt;Во первых perl быстрее, во вторых больше возможностей. Обрабатывались им и куда <br>&gt;большие объемы. Правильно написанный вариант на perl справится с таким объемом <br>&gt;за несколько минут. При желании можно его вообще сделать работающим по <br>&gt;принципу tail -f да еще и интерактивным. <br>&gt;Если с perl не дружите, то опишите _детально_ задачу, как будет время <br>&gt;займусь. <br><br>спасибо<br>понял<br>1. готовых решений для анализа больших логов (вроде awstats) нет<br>2. нужно изучать perl <br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#3 Thu, 29 Oct 2009 05:50:08 GMT Во первых perl быстрее, во вторых больше возможностей. Обрабатывались им и куда большие объемы. Правильно написанный вариант на perl справится с таким объемом за несколько минут. При желании можно его вообще сделать работающим по принципу tail -f да еще и интерактивным. <br>Если с perl не дружите, то опишите _детально_ задачу, как будет время займусь. <br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#2 Wed, 28 Oct 2009 14:51:30 GMT &gt;[оверквотинг удален]<br>&gt;&gt;Написал простенький анализатор на основе awk <br>&gt;&gt;<br>&gt;&gt;awk '($9 !~ /200&#124;304/)' $log &#124; awk '{print $9,$7,$11}' &#124; sort &#124; <br>&gt;&gt;uniq -c &#124; sort -r -n &#124; head -n 70 <br>&gt;&gt;<br>&gt;&gt;В результате его работы получаю отчет вида <br>&gt;&gt;&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;reffer&gt;<br>&gt;&gt;<br>&gt;&gt;Вопрос: существуют ли другие решения которые могут предоставить расширенную статистику ошибок на <br>&gt;&gt;основе access логов? <br><br>От себя ничего полезного посоветовать не могу, но пока в качестве временных мер хочу предложить вместо awk использовать perl. сам на себе проверил что на больших файлах perl работает заметно шустрее чем awk, правда у меня файлы были от 100 мегбайт.<br><br>и кстати <br>awk '($9 !~ /200&#124;304/ {print $9,$7,$11})' $log должно работать быстрее :-)<br><br>СОРРИ за флуд<br> https://www.opennet.me/openforum/vsluhforumID9/8493.html#1 Wed, 28 Oct 2009 14:29:39 GMT ротация лога раз в несколько часов + австатс на более мелких кусках <br>&gt;[оверквотинг удален]<br>&gt;Написал простенький анализатор на основе awk <br>&gt;<br>&gt;awk '($9 !~ /200&#124;304/)' $log &#124; awk '{print $9,$7,$11}' &#124; sort &#124; <br>&gt;uniq -c &#124; sort -r -n &#124; head -n 70 <br>&gt;<br>&gt;В результате его работы получаю отчет вида <br>&gt;&lt;кол-во повторов ошибки&gt; &lt;код (404,503 ...)&gt; &lt;запрос&gt; &lt;reffer&gt;<br>&gt;<br>&gt;Вопрос: существуют ли другие решения которые могут предоставить расширенную статистику ошибок на <br>&gt;основе access логов? <br><br>