https://slinkov.ru/openforum/vsluhforumID1/97444.html На сервере терабайты логов, их надо времена парсить временами, разыскивая всякое. В некоторых случаях парсер ломается, проработав часа 3. Подозреваю, что память заканчивается и поэтому он ломается. Хотелось бы как-то это понять. Как? Можно как-то выяснить сколько процентов физической RAM, своп-файла было занято в максимально на сервере? Дело в том, что подбираю конфиг для нового сервера и не понятно, надо ли больше памяти или и так её слишком много. Когда только запускаю парсер, то если смотрю с помощью htop используемую память, то её сильно меньше общего количества физической и значение не растёт, но что там будет через несколько часов работы парсера - не знаю и постоянно вручную смотреть - какой-то мутный вариант, да и CPU мне за это время может понадобиться для дела - не хотелось бы его занимать на много часов ради эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать как потребление памяти? Есть какие-то инструменты, но только чтоб не строить графики в web типа Cacti и т.д.<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#12 Sun, 01 Sep 2019 18:16:13 GMT &gt;[оверквотинг удален]<br>&gt;&gt; слишком много. Когда только запускаю парсер, то если смотрю с помощью <br>&gt;&gt; htop используемую память, то её сильно меньше общего количества физической и <br>&gt;&gt; значение не растёт, но что там будет через несколько часов работы <br>&gt;&gt; парсера - не знаю и постоянно вручную смотреть - какой-то мутный <br>&gt;&gt; вариант, да и CPU мне за это время может понадобиться для <br>&gt;&gt; дела - не хотелось бы его занимать на много часов ради <br>&gt;&gt; эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать <br>&gt;&gt; как потребление памяти? Есть какие-то инструменты, но только чтоб не строить <br>&gt;&gt; графики в web типа Cacti и т.д.<br>&gt; Что за парсер? grep &#124; less наврядли упадет.<br><br>Самописный.<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#11 Fri, 16 Aug 2019 14:24:30 GMT &gt;[оверквотинг удален]<br>&gt; и не понятно, надо ли больше памяти или и так её <br>&gt; слишком много. Когда только запускаю парсер, то если смотрю с помощью <br>&gt; htop используемую память, то её сильно меньше общего количества физической и <br>&gt; значение не растёт, но что там будет через несколько часов работы <br>&gt; парсера - не знаю и постоянно вручную смотреть - какой-то мутный <br>&gt; вариант, да и CPU мне за это время может понадобиться для <br>&gt; дела - не хотелось бы его занимать на много часов ради <br>&gt; эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать <br>&gt; как потребление памяти? Есть какие-то инструменты, но только чтоб не строить <br>&gt; графики в web типа Cacti и т.д.<br><br>Что за парсер? grep &#124; less наврядли упадет.<br><br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#10 Fri, 09 Aug 2019 09:56:08 GMT # cat /proc/meminfo<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#9 Mon, 05 Aug 2019 16:43:10 GMT &gt; - Пацаны, тут надо с дачи ведерко помидор привезти...<br>&gt; - Бро, тебе Камаз нужен, иначе никак!<br><br>Да, разбираться с Заббиксом мне бы не хотелось (я его вообще не знаю) из-за такой ерундовой (на мой некомпетентный взгляд), разовой задачки. Хотелось бы чего-то максимально простого.<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#8 Mon, 05 Aug 2019 16:39:14 GMT &gt; Поскольку вы не пишите что за ОС на сервере - предположу <br>&gt; что виндовс.<br>&gt; Ищите в поисковике "счетчики производительности windows" <br><br>Вверху есть "Мониторинг, логи / Linux" - я думал этого достаточно.<br><br>&gt; Ну а в линухах есть такая штука как sar - если не <br>&gt; выпендривались и ставили например centos (вы же не поставили на сервер <br>&gt; убунту да?) по умолчанию - то он там есть и работает. <br><br>У меня Debian Stretch.<br> <br>&gt; ищите в поисковике как посмотреть через него параметры системы за нужный промежуток <br>&gt; времени <br><br>Спасибо, почитаю.<br><br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#7 Mon, 05 Aug 2019 09:12:33 GMT &gt;[оверквотинг удален]<br>&gt; и не понятно, надо ли больше памяти или и так её <br>&gt; слишком много. Когда только запускаю парсер, то если смотрю с помощью <br>&gt; htop используемую память, то её сильно меньше общего количества физической и <br>&gt; значение не растёт, но что там будет через несколько часов работы <br>&gt; парсера - не знаю и постоянно вручную смотреть - какой-то мутный <br>&gt; вариант, да и CPU мне за это время может понадобиться для <br>&gt; дела - не хотелось бы его занимать на много часов ради <br>&gt; эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать <br>&gt; как потребление памяти? Есть какие-то инструменты, но только чтоб не строить <br>&gt; графики в web типа Cacti и т.д.<br><br># IDX=1; while [[ $IDX -le 10 ]]; do ( date&&free) &gt;&gt; 123 ;sleep 2 ; IDX=$(($IDX + 1 )); done<br><br>получите файлик 123 в котором с интервалом в 2 секунду отражены данные 10-ти замеров занятой/свободной памяти<br><br>варьируя интервал и количество замеров можно добиться нужной продолжительности мониторинга....<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#6 Mon, 05 Aug 2019 07:44:13 GMT &gt;[оверквотинг удален]<br>&gt; и не понятно, надо ли больше памяти или и так её <br>&gt; слишком много. Когда только запускаю парсер, то если смотрю с помощью <br>&gt; htop используемую память, то её сильно меньше общего количества физической и <br>&gt; значение не растёт, но что там будет через несколько часов работы <br>&gt; парсера - не знаю и постоянно вручную смотреть - какой-то мутный <br>&gt; вариант, да и CPU мне за это время может понадобиться для <br>&gt; дела - не хотелось бы его занимать на много часов ради <br>&gt; эксперимента в рабочее время. На ночь могу поставить тестирование, но контролировать <br>&gt; как потребление памяти? Есть какие-то инструменты, но только чтоб не строить <br>&gt; графики в web типа Cacti и т.д.<br><br>Поскольку вы не пишите что за ОС на сервере - предположу что виндовс.<br>Ищите в поисковике "счетчики производительности windows"<br><br>Ну а в линухах есть такая штука как sar - если не выпендривались и ставили например centos (вы же не поставили на сервер убунту да?) по умолчанию - то он там есть и работает.<br>ищите в поискови https://slinkov.ru/openforum/vsluhforumID1/97444.html#5 Mon, 05 Aug 2019 07:35:23 GMT &gt; поставить систему мониторинга, какая нравится, например Zabbix <br><br>- Пацаны, тут надо с дачи ведерко помидор привезти...<br>- Бро, тебе Камаз нужен, иначе никак!<br> https://slinkov.ru/openforum/vsluhforumID1/97444.html#4 Sun, 04 Aug 2019 04:02:10 GMT поставить систему мониторинга, какая нравится, например Zabbix<br><br><br>