https://opennet.me/openforum/vsluhforumID9/9452.html Чем посоветуете?<br>Сделал bash скриптик но че та все не так быстро как начальник ждет<br>Посоветуйте как его оптимизировать или может у кого были такие задачи и скрипты на другом языке. Или кто знает какой нить толковый лог анализатор?<br><br>Скриптик:<br><br><br>#!/bin/bash<br><br>c=1<br>#IP cycle<br>for a in `cat /weblogs/scripts/ip`; do<br>echo $a<br><br>#internal Logs cycle<br>for b in `ls /weblogs/logs/cache1.prd/`; do<br>echo $a-----------------------------------$b<br><br>zgrep "$a" /weblogs/logs/cache$c.prd/$b &gt;&gt; /weblogs/tmp/cache$c.prd/${a}-${b}.log<br>if [ ! -s /weblogs/tmp/cache$c.prd/${a}-${b}.log ]; then<br> rm -f /weblogs/tmp/cache$c.prd/${a}-${b}.log<br>echo "Empty file"<br>fi<br><br>done<br>done<br><br><br>Спасибо<br> https://opennet.me/openforum/vsluhforumID9/9452.html#4 Tue, 08 May 2012 22:23:13 GMT &gt; Тут всё решается единичным вызовом grep, поэтому никаких супероптимизаций не предвидится <br>&gt; for b in `ls /weblogs/logs/cache2.prd/ замените на for b in `/weblogs/logs/cache2.prd/*` <br>&gt; zgrep -E лучше заменить на zgrep -F чтобы он рассматривал каждый адрес <br>&gt; не как регулярку, а как фиксированную <br><br>а если так?<br><br><br>grepres=`zgrep -f /weblogs/scripts/ip /weblogs/logs/cache$c.prd/$b`<br>if [ -n "$grepres" ]<br>then<br>echo $grepres &gt; /weblogs/tmp/cache$c.prd/${b}.log<br>fi<br> https://opennet.me/openforum/vsluhforumID9/9452.html#3 Tue, 08 May 2012 14:15:35 GMT Тут всё решается единичным вызовом grep, поэтому никаких супероптимизаций не предвидится<br>for b in `ls /weblogs/logs/cache2.prd/ замените на for b in `/weblogs/logs/cache2.prd/*`<br>zgrep -E лучше заменить на zgrep -F чтобы он рассматривал каждый адрес не как регулярку, а как фиксированную строку<br> https://opennet.me/openforum/vsluhforumID9/9452.html#2 Tue, 08 May 2012 09:11:41 GMT Да, и в целом о задаче:<br>Нужно получить на выходе: Данные говорящие о том когда и с какого из этих 200 подозрительных IP заходили и в каком логе была найдена инфа. <br><br>&gt; Чем посоветуете?<br>&gt; Сделал bash скриптик но че та все не так быстро как начальник <br>&gt; ждет <br>&gt; Посоветуйте как его оптимизировать или может у кого были такие задачи и <br>&gt; скрипты на другом языке. Или кто знает какой нить толковый лог <br>&gt; анализатор? https://opennet.me/openforum/vsluhforumID9/9452.html#1 Tue, 08 May 2012 09:08:22 GMT Решил немного оптимизировать - только не смейтесь :)<br><br><br>#!/bin/bash<br><br>set +x<br>c=2<br>#internal Logs cycle<br>for b in `ls /weblogs/logs/cache2.prd/`; do<br>echo -----------------------------------$b<br><br>zgrep "-E '1.197.174.131&#124;1.197.174.247&#124;24.187.239.58&#124;27.189.35.33&#124;41.34.142.120&#124;41.35.176.113&#124;41.35.180.236&#124;41.178.213.218&#124;41.178.239.102&#124;41.235.14.155&#124;46.176.10.51&#124;58.17.18.158&#124;58.20.66.225&#124;58.52.121.138&#124;59.159.139.148&#124;59.164.10.160&#124;60.0.85.160&#124;60.0.87.35&#124;60.4.53.124&#124;61.48.196.244&#124;61.48.197.246&#124;64.184.179.70&#124;66.239.64.109&#124;84.16.226.127&#124;84.19.169.163&#124;84.19.169.232&#124;88.227.83.203&#124;88.253.253.28&#124;89.145.108.203&#124;89.149.244.67&#124;89.178.151.23&#124;92.48.74.75&#124;92.113.213.135&#124;93.80.22.134&#124;93.182.146.47&#124;94.181.251.91&#124;95.24.10.244&#124;95.24.36.141&#124;95.25.30.53&#124;95.26.170.235&#124;95.26.233.87&#124;95.27.110.39&#124;95.143.40.43&#124;95.220.133.22