forum.opennet.ru - "Релиз системы регистрации пакетов ulogd 2.0.0" (10)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Релиз системы регистрации пакетов ulogd 2.0.0"

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
Сообщение от opennews (??) on 23-Июн-12, 17:41
Разработчики фреймворка Netfilter (http://www.netfilter.org/), используемого для фильтрации и преобразования пакетов в ядре Linux, после четырёх лет разработки представили (http://lists.netfilter.org/pipermail/netfilter-announce/2012...) релиз ulogd 2.0.0 (http://netfilter.org/projects/ulogd/index.html), демона для сбора информации, связанной с работой netfilter/iptables. После выхода ulogd 2.0.0 объявлено о прекращении развития ветки 1.x, которая переведена в разряд устаревших. Ключевым отличием ulogd 2 является переход на гибко расширяемую архитектуру на базе плагинов и внешних библиотек, позволяющих легко менять методы сбора, хранения и фильтрации данных. Ulogd способен накапливать данные на уровне отдельных пакетов или потоков (сессий c учетом соединений), что может быть использовано с целью аккаунтинга активности пользователей, сбора статистики о трафике или фиксации сетевых атак. Данные помещаются в лог в соответствии с правилами, которые могут задаваться через инфраструктуру nfacct (http://www.netfilter.org/projects/nfacct/index.html). Накопленная информация может быть сохранена с использованием различных плагинов, в том числе в SQLite3, MySQL и PostgreSQL, или с использованием дампов в форматах PCAP, CSV, XML, а также в виде в виде текстовых логов Netfilter. Плагины (https://git.netfilter.org/cgi-bin/gitweb.cgi?p=ulogd2.git;a=...) могут быть использованы для выбора источника сбора данных и для предварительной обработки данных (например, плагин PWSNIFF позволяет выделять пароли из трафика). В процессе работы ulogd 2.x использует несколько внешних библиотек: - libmnl и libnfnetlink для обеспечения связи через Netlink. - libnetfilter_log для получения данных о проходящих пакетах с использованием nfnetlink_queue; - libnetfilter_conntrack для оценки состояний соединений с использованием nf_conntrack_netlink. - libnetfilter_acct для гибкого аккаунтинга трафика через nfnetlink_acct и правила iptables nfacct; URL: http://netfilter.org/news.html#2012-06-17 Новость: http://www.opennet.dev/opennews/art.shtml?num=34170
Ответить \| Правка \| Cообщить модератору

Оглавление

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 17:52 , 23-Июн-12, (2)

Релиз системы регистрации пакетов ulogd 2.0.0, vi, 18:18 , 23-Июн-12, (3) +1

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 03:03 , 24-Июн-12, (4) +3

Релиз системы регистрации пакетов ulogd 2.0.0, MadAdmin, 06:33 , 24-Июн-12, (5)

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 23:22 , 25-Июн-12, (10)

Релиз системы регистрации пакетов ulogd 2.0.0, XoRe, 23:51 , 24-Июн-12, (6)

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 02:18 , 25-Июн-12, (9)

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 01:09 , 25-Июн-12, (8)

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 13:28 , 26-Июн-12, (11)

Релиз системы регистрации пакетов ulogd 2.0.0, Аноним, 23:53 , 24-Июн-12, (7)

Сообщения по теме [Сортировка по времени | RSS]

2. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 23-Июн-12, 17:52

Надо же, он ещё жив.
Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

3. "Релиз системы регистрации пакетов ulogd 2.0.0" +1 +/–

Сообщение от vi on 23-Июн-12, 18:18

> Надо же, он ещё жив.
> Строго говоря, он был бы актуален лет 7 назад, а сейчас морально
> устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct
> заруливает сабж в гибкости и опять же по ресурсам.
Доброго!
Есть результаты тестов?

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

4. "Релиз системы регистрации пакетов ulogd 2.0.0" +3 +/–

Сообщение от Аноним (??) on 24-Июн-12, 03:03

Делал только для себя, на 100мбитном канале, с десятком пользователей. Насчёт объективности - смотри сам.
Так вот, Данные о трафике у меня хранятся в базе, чтобы выборки делать кто/сколько выкачал.
Поставил ulogd (я говорю о первой ветке) - считать считает, на этом его преимущества заканчиваются. Он любую базу может поставить раком, если что-то качнуть во всю ширину канала. Даже при простом подсчёте - тоже грузит систему (примерно 15-20% от тогдашнего 3ГГц Прескотта). Вменяемых средств записи логов "хоть куда" при отказе бд - нет, если упала - потеряешь все данные о трафике за время, пока бд не поднимется.
ulog-acct - пишет только текстовый лог, с базой напрямую работать не умеет. Пришлось писать парсер логов для закидывания в базу. При подсчёте трафика - в топе процессов его видно только в момент записи логов (меньше секунды раз в 2 минуты). А вот загрузка лога в бд занимала ещё секунд по 5 (это с применением многострочных инсёртов и транзакций). Лучше, но хочется большего.
pmacct - аналогично выше, но умеет работать с базой. Может создавать таблицы по шаблону. В топе вообще не видно. Перешёл полгода назад - полёт нормальный - сейчас только отчёты смотрю.
По базе: изначально думал обойтись sqlit'ом. Фиг, как только база переваливает за гиг - всё начинает тормозить, там сплошные инсёрты. Поставил мускул - полегче, но всё равно тормозило (на innodb - дохло аналогично с sqlit'ом, с myisam - нормально). Посгре не пробовал.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от MadAdmin on 24-Июн-12, 06:33

Спасибо, товарищ. Очень познавательно.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

10. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 25-Июн-12, 23:22

> Спасибо, товарищ. Очень познавательно.
Примерно как сравнение по фичам windows 7 и Linux 1.0.
Все вышесказанное относится только к первой ветке ulogd, и никак не связано со второй.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

6. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от XoRe (ok) on 24-Июн-12, 23:51

Для логов в БД рекомендую использовать более специализированные для этого движки.
А то через некоторое время myisam у вас тоже начнет нехило тормозить.
Что-то конкретное подсказать не могу.
Я бы попробовал csv движок.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

9. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 25-Июн-12, 02:18

Что-то мне подсказывает, что там с индексами будет проблема. Но тем не менее - пока работает и нагрузку держит - менять не буду.

Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 25-Июн-12, 01:09

После появления nfacct, всякие юзерспейсные pmacct можно отправлять на свалку истории :)

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

11. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 26-Июн-12, 13:28

А доку по нему где брать?

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

7. "Релиз системы регистрации пакетов ulogd 2.0.0" +/–

Сообщение от Аноним (??) on 24-Июн-12, 23:53

> Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам.
Теперь его переписали с нуля, и в пору объявлять устаревшими и тормозными уже ulog-acct и pmacct :)

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

2. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
Сообщение от Аноним (??) on 23-Июн-12, 17:52
Надо же, он ещё жив. Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам.
Ответить \| Правка \| ^ к родителю #0 \| Наверх \| Cообщить модератору


	3. "Релиз системы регистрации пакетов ulogd 2.0.0"	+1 +/–
	Сообщение от vi on 23-Июн-12, 18:18
	> Надо же, он ещё жив. > Строго говоря, он был бы актуален лет 7 назад, а сейчас морально > устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct > заруливает сабж в гибкости и опять же по ресурсам. Доброго! Есть результаты тестов?
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору


	4. "Релиз системы регистрации пакетов ulogd 2.0.0"	+3 +/–
	Сообщение от Аноним (??) on 24-Июн-12, 03:03
	Делал только для себя, на 100мбитном канале, с десятком пользователей. Насчёт объективности - смотри сам. Так вот, Данные о трафике у меня хранятся в базе, чтобы выборки делать кто/сколько выкачал. Поставил ulogd (я говорю о первой ветке) - считать считает, на этом его преимущества заканчиваются. Он любую базу может поставить раком, если что-то качнуть во всю ширину канала. Даже при простом подсчёте - тоже грузит систему (примерно 15-20% от тогдашнего 3ГГц Прескотта). Вменяемых средств записи логов "хоть куда" при отказе бд - нет, если упала - потеряешь все данные о трафике за время, пока бд не поднимется. ulog-acct - пишет только текстовый лог, с базой напрямую работать не умеет. Пришлось писать парсер логов для закидывания в базу. При подсчёте трафика - в топе процессов его видно только в момент записи логов (меньше секунды раз в 2 минуты). А вот загрузка лога в бд занимала ещё секунд по 5 (это с применением многострочных инсёртов и транзакций). Лучше, но хочется большего. pmacct - аналогично выше, но умеет работать с базой. Может создавать таблицы по шаблону. В топе вообще не видно. Перешёл полгода назад - полёт нормальный - сейчас только отчёты смотрю. По базе: изначально думал обойтись sqlit'ом. Фиг, как только база переваливает за гиг - всё начинает тормозить, там сплошные инсёрты. Поставил мускул - полегче, но всё равно тормозило (на innodb - дохло аналогично с sqlit'ом, с myisam - нормально). Посгре не пробовал.
	Ответить \| Правка \| ^ к родителю #3 \| Наверх \| Cообщить модератору


	5. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от MadAdmin on 24-Июн-12, 06:33
	Спасибо, товарищ. Очень познавательно.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	10. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от Аноним (??) on 25-Июн-12, 23:22
	> Спасибо, товарищ. Очень познавательно. Примерно как сравнение по фичам windows 7 и Linux 1.0. Все вышесказанное относится только к первой ветке ulogd, и никак не связано со второй.
	Ответить \| Правка \| ^ к родителю #5 \| Наверх \| Cообщить модератору


	6. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от XoRe (ok) on 24-Июн-12, 23:51
	Для логов в БД рекомендую использовать более специализированные для этого движки. А то через некоторое время myisam у вас тоже начнет нехило тормозить. Что-то конкретное подсказать не могу. Я бы попробовал csv движок.
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	9. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от Аноним (??) on 25-Июн-12, 02:18
	Что-то мне подсказывает, что там с индексами будет проблема. Но тем не менее - пока работает и нагрузку держит - менять не буду.
	Ответить \| Правка \| ^ к родителю #6 \| Наверх \| Cообщить модератору


	8. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от Аноним (??) on 25-Июн-12, 01:09
	После появления nfacct, всякие юзерспейсные pmacct можно отправлять на свалку истории :)
	Ответить \| Правка \| ^ к родителю #4 \| Наверх \| Cообщить модератору


	11. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от Аноним (??) on 26-Июн-12, 13:28
	А доку по нему где брать?
	Ответить \| Правка \| ^ к родителю #8 \| Наверх \| Cообщить модератору


	7. "Релиз системы регистрации пакетов ulogd 2.0.0"	+/–
	Сообщение от Аноним (??) on 24-Июн-12, 23:53
	> Строго говоря, он был бы актуален лет 7 назад, а сейчас морально устарел. ulog-acct жрёт меньше ресурсов при подсчёте на аналогичном канале, pmacct заруливает сабж в гибкости и опять же по ресурсам. Теперь его переписали с нуля, и в пору объявлять устаревшими и тормозными уже ulog-acct и pmacct :)
	Ответить \| Правка \| ^ к родителю #2 \| Наверх \| Cообщить модератору