The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Режим отображения отдельной подветви беседы [ Отслеживать ]

Оглавление

OpenNews: В OpenBSD появилась возможность экспорта статистики PF в виде Netflow v5 потока, opennews (??), 09-Сен-08, (0) [смотреть все]

Сообщения [Сортировка по времени | RSS]


23. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от nuclightemail (ok), 12-Сен-08, 12:47 
>>Ждём порта под Linux (ни одной вменяемой стандартной netflow-probe нет под Linux,
>>которая бы не pcap-based и не ULOG-based).
>
>спорим?
>ipcad (ulog,pcap, _IPQ_)
>а ещё... http://sourceforge.net/projects/ipt-netflow/
>
>а ещё -- лучше жевать, когда не уверен.

Ну и какое же оно вменяемое, если оно userspace? Речь шла о ядре, а что ULOG, что PCAP, что IPQ - все отправляют в userland сами пакеты, а не уже готовый netflow.

Ответить | Правка | К родителю #6 | Наверх | Cообщить модератору

24. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 12-Сен-08, 12:50 
>[оверквотинг удален]
>>
>>спорим?
>>ipcad (ulog,pcap, _IPQ_)
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>
>>а ещё -- лучше жевать, когда не уверен.
>
>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>в userland сами пакеты, а не уже готовый netflow.

если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая она у вас там)всё кроме ядра.
а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/

Ответить | Правка | Наверх | Cообщить модератору

27. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от nuclightemail (ok), 12-Сен-08, 13:16 
>[оверквотинг удален]
>>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>>
>>>а ещё -- лучше жевать, когда не уверен.
>>
>>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>>в userland сами пакеты, а не уже готовый netflow.
>
>если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая
>она у вас там)всё кроме ядра.

Ну идите, заведите это на гигабите с 100kpps на механизмах с негарантированной доставкой в юзерлэнд. Потом передергивайте себе на здоровье дальше.

>а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/

Сами-то пробовали завести эту связку с netflow или так, теоретизируете?

Ответить | Правка | Наверх | Cообщить модератору

29. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от pavel_simple (??), 12-Сен-08, 14:50 
>>[оверквотинг удален]
>>>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>>>
>>>>а ещё -- лучше жевать, когда не уверен.
>>>
>>>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>>>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>>>в userland сами пакеты, а не уже готовый netflow.

и не сами пакеты -- а только метаинформацию о них (по желанию)
>>
>>если для вас вменяемое == !юзерспайс предлагаю выкинуть у вас из системы(какая
>>она у вас там)всё кроме ядра.
>
>Ну идите, заведите это на гигабите с 100kpps на механизмах с негарантированной

ошибочка -- старый ipq и новый netlink_ipq -- строго через, строго гарантируемая
>доставкой в юзерлэнд. Потом передергивайте себе на здоровье дальше.
>
>>а по делу -> http://web.yl.is.s.u-tokyo.ac.jp/~tosh/kml/
>
>Сами-то пробовали завести эту связку с netflow или так, теоретизируете?

а что там пробовать -- железно работает -- благо на задачах по подсчёту обычно нет каких-то других сервисов и сильно заботиться о безопасности оных не нужно

Ответить | Правка | Наверх | Cообщить модератору

38. "В OpenBSD появилась возможность экспорта статистики PF в вид..."  +/
Сообщение от Lessless (?), 25-Июн-09, 12:57 
netlink_ipq - Google об этом не знает. А зависимость LInux'оидов на каждом угле выписывать как у них там - это паталогическая склонность к решению проблем детским путем, видимо в школе прогуливали и жить не научились :)
умывайтесь на здоровье.
Ответить | Правка | Наверх | Cообщить модератору

37. "В OpenBSD появилась возможность экспорта статистики PF в вид"  +/
Сообщение от DK (??), 07-Дек-08, 20:10 
>[оверквотинг удален]
>>
>>спорим?
>>ipcad (ulog,pcap, _IPQ_)
>>а ещё... http://sourceforge.net/projects/ipt-netflow/
>>
>>а ещё -- лучше жевать, когда не уверен.
>
>Ну и какое же оно вменяемое, если оно userspace? Речь шла о
>ядре, а что ULOG, что PCAP, что IPQ - все отправляют
>в userland сами пакеты, а не уже готовый netflow.

ipt_netflow это _не_ юзерспейс... это модуль кернела с управлением через iptables.
вся обработка потоков и экспорт живет в ядре.
...так что жевать таки лучше.

Проекту ipt_netflow в феврале будет год и стал он паблик после полугодового использования в продакшин на тех задачах под которые был написан. Основная причина по которой он появился, это 100% cpu на машине с ipcad из за контекст свитчинга. Никаких телодвижений воткнуть его в офицал iptables никто не делал, ибо лень. Нужен будет - все произойдет само собой. =)

А патч для RAW был сделан потому, что захотелось выбросить ng_netflow вместе с freebsd на единственной машине которая и стояла только для сбора трафика и генерации netflow, а все остальные в этой сетке были под linux'ами (коих там десятки).

И кстате, если сравнивать по загрузке cpu ng_netflow vs ipt_netflow, то последний выигрывает. Однако никто не задавался задачей это тестить, просто по факту загрузка cpu упала, ну а желающие могут это проверить самостоятельно. =:)


Пример одной из продакшин машин:
19:45:17 up 46 days, 10:13,  4 users,  load average: 0.72, 0.69, 0.69

root@<censored>:~# grep Xeon /proc/cpuinfo
model name      : Intel(R) Xeon(TM) CPU 2.80GHz
model name      : Intel(R) Xeon(TM) CPU 2.80GHz

root@<censored>:~# lspci | grep Ethernet
0000:03:04.0 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:04.1 Ethernet controller: Intel Corp. 82546GB Gigabit Ethernet Controller (rev 03)
0000:03:09.0 Ethernet controller: Intel Corp.: Unknown device 107c (rev 05)

Это top (дада... named нужно-бы убрать на другой бокс):
  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                      
30785 bind      25   0  234m 198m 2288 S 23.9  6.5   3908:38 named                                        
3064 quagga    15   0 74452  71m  716 S  2.3  2.3 178:04.49 zebra                                        
3612 netflow   18   0 12064 5824 1576 S  0.7  0.2 132:11.20 nfmon                                        
... остальное там мелочи (nfmon локальный сборщик netflow udp).

root@<censored>:~# cat /proc/net/stat/ipt_netflow
Flows: active 55480 (peak 88853 reached 15d0h16m ago), mem 3034K
Hash: size 100000 (mem 390K), metric 1.4, 1.0, 1.0, 1.0. MemTraf: 43560110 pkt, 28305939 K (pdu 35, 4373).
Timeout: active 1800, inactive 15. Maxflows 2000000
Rate: 423049796 bits/sec, 82556 packets/sec; Avg 1 min: 418214503 bps, 81680 pps; 5 min: 417531966 bps, 82153 pps
cpu#  stat: <search found new, trunc frag alloc maxflows>, sock: <ok fail cberr, bytes>, traffic: <pkt, bytes>, drop: <pkt, bytes>
Total stat: 28232973609 84793565693 2728047348,    0    0    0    0, sock: 181865964 160 399107, 260011495 K, traffic: 87521613041, 54154242 MB, drop: 23386, 28145 K
cpu0  stat: 14493719122 43168138945 1537740460,    0    0    0    0, sock:      0 0 399107, 0 K, traffic: 44705879405, 25516990 MB, drop: 0, 0 K
cpu1  stat: 13739254487 41625426749 1190306888,    0    0    0    0, sock: 181865964 160 0, 260011495 K, traffic: 42815733637, 28637252 MB, drop: 23386, 28145 K
sock0: 127.0.0.1:20001, sndbuf 83886080, filled 0, peak 0; err: sndbuf reached 0, other 19
sock1: <censored>:20001, sndbuf 83886080, filled 0, peak 34080; err: sndbuf reached 0, other 25
aggr#0 net: match <censored>/19 strip 32
aggr#1 net: match <censored>/20 strip 32
aggr#2 net: match <censored>/27 strip 32
aggr#3 net: match <censored>/22 strip 32
aggr#4 net: match 0.0.0.0/0 strip 24
root@<censored>:~# vmstat 1
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
0  0      0 556452 216540 1268764    0    0     1     4    5     3  3 42 55  0
0  0      0 557184 216540 1267284    0    0     0     4    0  1097  7 72 22  0
0  0      0 556820 216540 1267608    0    0     0    48    0   979  3 69 29  0
0  0      0 556204 216540 1267756    0    0     0    44    0  1166  3 70 27  0
1  0      0 555400 216540 1267800    0    0     0     0    0  1043  2 70 28  0
1  0      0 554476 216548 1267940    0    0     0    72    0  1243  3 65 32  0
0  0      0 556712 216552 1268128    0    0     0   204    0  1032  3 62 36  0
0  0      0 556776 216552 1268128    0    0     0    20    0  1049  3 64 33  0
0  0      0 556540 216552 1268516    0    0     0     0    0  1144  3 61 36  0

При этом на машине живет NAT и per-ip HTB (htb_hashiz) в обе стороны (через IMQ) для 3-х сетей: /19 /20 /22. Машина под debian 4.0, правда лично я не поклонник, просто так получилось.

Всем удачи, я сюда случайно зашел =)

Ответить | Правка | К родителю #23 | Наверх | Cообщить модератору

39. "В OpenBSD появилась возможность экспорта статистики PF в вид"  +/
Сообщение от Lessless (?), 25-Июн-09, 13:10 
>[оверквотинг удален]
> 0  0      0 556540 216552
>1268516    0    0  
>  0     0    
>0  1144  3 61 36  0
>
>При этом на машине живет NAT и per-ip HTB (htb_hashiz) в обе
>стороны (через IMQ) для 3-х сетей: /19 /20 /22. Машина под
>debian 4.0, правда лично я не поклонник, просто так получилось.
>
>Всем удачи, я сюда случайно зашел =)

да пожалуйста :)

Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру