The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Выпуск системы глубокого инспектирования пакетов nDPI 4.10

05.08.2024 23:03

Проект ntop, развивающий инструменты для захвата и анализа трафика, опубликовал инструментарий для глубокого инспектирования пакетов nDPI 4.10, продолжающий развитие библиотеки OpenDPI. Проект nDPI основан после безуспешной попытки передачи изменений в репозиторий OpenDPI, который остался без сопровождения. Код nDPI написан на языке Си и распространяется под лицензией LGPLv3.

Система позволяет определять в трафике используемые протоколы уровня приложений, анализируя характер сетевой активности без привязки к сетевым портам (может определять известные протоколы, обработчики которых принимают соединения на нестандартных сетевых портах, например, если http отдаётся не с 80 порта, или, наоборот, когда какую-то другую сетевую активность пытаются закамуфлировать под http через запуск на 80 порту).

Отличия от OpenDPI сводятся к поддержке дополнительных протоколов, портированию для платформы Windows, оптимизации производительности, адаптации для применения в приложениях для мониторинга трафика в режиме реального времени (убраны некоторые специфичные возможности, замедлявшие движок), возможности сборки в форме модуля ядра Linux и поддержке определения субпротоколов.

Поддерживается определение 55 типов сетевых угроз (flow risk) и более 420 протоколов и приложений (от OpenVPN, Tor, QUIC, SOCKS, BitTorrent и IPsec до Telegram, Viber, WhatsApp, PostgreSQL и обращений к Gmail, Office 365, Google Docs и YouTube). Имеется декодировщик серверных и клиентских SSL-сертификатов, позволяющий определить протокол (например, Citrix Online и Apple iCloud), используя сертификат шифрования. Для анализа содержимого pcap-дампов или текущего трафика через сетевой интерфейс поставляется утилита nDPIreader.

В новом выпуске:

  • Добавлена начальная поддержка технологии FPC (First Packet Classification), нацеленной на определение протоколов, приложений и сервисов по первому пакету, отправляемому при установке соединения. FPC реализуем лишь для части протоколов и позволяет существенно снизить нагрузку на CPU при инспектировании трафика.
  • Добавлена поддержка и разбор более 70 новых протоколов и сервисов, среди которых:
    • Adobe Connect
    • ANSI C12.22
    • Apache Kafka
    • Beckhoff ADS
    • BFCP
    • BFD
    • Bluesky
    • Call of Duty Mobile
    • CAN over Ethernet
    • Ceph
    • ClickHouse
    • DLE
    • DTLS 1.3
    • Elder Scrolls Online
    • ElectronicArts
    • ethereum
    • EGD (Ethernet Global Data)
    • Ether-S-Bus
    • Ether-S-I/O
    • FB-Threads
    • FLUTE
    • Gearman
    • Google Chat
    • Google Protobuf
    • HART-IP
    • HiSLIP
    • HL7
    • HLS
    • IEC62056 (DLMS/COSEM)
    • IEEE 1588-2008 (PTPv2)
    • IEEE C37.118
    • ISO 9506-1 MMS
    • JSON-RPC
    • KCP
    • KNXnet/IP
    • Label Distribution Protocol
    • Mastodon
    • Monero
    • Mumble
    • Nano (XNO)
    • Naraka Bladepoint
    • NetEase
    • NoMachine NX
    • Omron FINS
    • OPC UA
    • OpenFlow
    • OpenWire
    • Path of Exile
    • PFCP
    • PIA (Private Internet Access)
    • PROFINET/IO
    • Radmin
    • Raft
    • Ripe Atlas
    • Roughtime
    • RTPS
    • S7Comm
    • Schneider Electric UMAS
    • STOMP
    • TencentGames
    • Twitter bot
    • UFTP
    • Viber (voip)
    • WebDAV
    • Yojimbo (netcode)
    • ZUG
  • Улучшен разбор и определение протоколов и сервисов:
    • Bittorrent
    • Cloudflare WARP
    • CORBA
    • CryNetwork
    • DNS
    • Dropbox
    • eDonkey
    • H323
    • Kafka
    • MySQL
    • PrimeVideo
    • Protobuf
    • QUIC
    • Telegram
    • TFTP
    • Twitter/X
    • Wireguard
    • Zoom
  • Добавлены новые идентификаторы протоколов, связанные с контентом для взрослых, рекламой, web-аналитикой и отслеживанием перемещений.
  • Расширен спектр выявляемых сетевых угроз и проблем, связанных с риском компрометации (flow risk).
  • Добавлен скрипт для загрузки и обновления списка суффиксов доменов.
  • Обеспечена идентификация трафика Huawei.
  • Проведена оптимизация производительности.
  • Расширена поддержка IPv6.


  1. Главная ссылка к новости (https://www.ntop.org/ndpi/rele...)
  2. OpenNews: Выпуск системы глубокого инспектирования пакетов nDPI 4.8
  3. OpenNews: Система анализа интернет трафика OpenDPI выпущена под лицензией LGPL
  4. OpenNews: Система анализа сетевых угроз Metron получила статус первичного проекта Apache
  5. OpenNews: CERT опубликовал сетевой анализатор Tapioca 2.0
  6. OpenNews: Выпуск сетевого анализатора Wireshark 4.2
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/61663-ndpi
Ключевые слова: ndpi, dpi
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (57) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.7, Аноним (7), 00:44, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +28 +/
    А можно не развивать никакие DPI и не помогать цензуре?
     
     
  • 2.9, Аноним (9), 01:23, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +7 +/
    Наоборот, очень хочется, чтобы провы ставили себе именно открытые опенсорсные DPI. Чтобы можно было их изучать и организовывать противодействие. Хотя впрочем даже наглухо проприетарный китайский файрвол успешно обходят, анализируя его сайд-эффекты.
     
     
  • 3.13, Мальчик Бананан (?), 03:22, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > даже наглухо проприетарный китайский файрвол успешно обходят

    Чтобы его обойти достаточно иметь непубличный собственный VPN на базе какой-нибудь VDSки. Проверено лично путешествуя по всяким ж#пaм мира, начиная с Китая и заканчивая Ираном и Туркменистаном!

     
     
  • 4.14, Аноним (14), 03:51, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –5 +/
    И c каким конфигом OpenVPN вы можете сконнектиться через бесплатный Wi-Fi штатовского Amtrak?
    По вашему опыту, все еще достаточно использовать пароль, вместо ssl cert, что бы быть неуловимым Джо для DPI?
     
     
  • 5.20, Аноним (20), 06:52, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Всегда можно использовать "ssh -D" и пусть они попробуют понять, внешний сервак ты бэкапишь/синхронизируешь или youtube смотришь.
     
     
  • 6.28, Жироватт (ok), 08:44, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    А зачем им понимать?
    Дроп неизвестного для них шифрованного потока пакетов и все.
     
     
  • 7.31, Соль земли (?), 09:32, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Значит прикинемся "известным". Сменим порт на 443.
     
     
  • 8.34, Аноним (9), 09:46, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Также заодно - устанавливай tls sni-соединение, потому что gfw ожидает на этом ... текст свёрнут, показать
     
     
  • 9.40, Аноним (40), 10:41, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Домен не обязательно второго уровня должен быть, так что найти можно и бесплатно... текст свёрнут, показать
     
  • 6.71, rustacean (?), 19:54, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Зарежут любой ssh до скорости в условные 50кбит, и какое видео ты сможешь посмотреть?) При этом на администрирование серверов это никак не скажется, такой скорости вполне достаточно чтобы текст в терминале туда-сюда гонять.
     
  • 4.16, Аноним (9), 04:23, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    ЕМНИП у туристов не тот же самый инет, что у местных жителей -- ты успешно обошел фильтры, отключенные для дорогих гостей Поднебесной. Для самих китайцев применяется фильтр по известным протоколам VPN, а там, где он не известен, эвристика достаточно легко обнаруживает полностью зашифрованный трафик. Т.е. даже если ты изобретешь свой собственный протокол и никому о нем не скажешь -- твой приватный сервак забанят автоматом в течение 5 минут после первого подключения.
     
     
  • 5.21, Аноним (21), 07:38, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Почти все способы обхода GFW разработаны в самом Китае и они работали и работают. Следовательно, твои рассказы про "заблокируют через 6 минут" не соответствуют истине.
     
  • 5.23, Виктор (??), 08:07, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Да да... скажи это китайцам которые на дальнем востоке массово арендуют серверные мощности и ставят на домашний интернет сервера для впн-ов...
     
     
  • 6.74, Fbekwbshru (?), 21:27, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Для тебя может быть сюрпризом, но из китайского интернета в российский трафик ходит петлей через Европу. Причина - его запредельная цена.
     
  • 5.56, Школьник (ok), 12:53, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    >эвристика достаточно легко обнаруживает полностью зашифрованный трафик

    А в чем проблема сделать его не полностью зашифрованным? Вставлять рандомные куски html в определенные места в трафике, например. Никакая эвристика такое не отследит, пока программеры код DPI не настроят для этого. Эта борьба будет вечной, волшебной пилюли не будет ни для одной из сторон.

     
     
  • 6.62, Мальчик Бананан (?), 16:12, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    > Вставлять рандомные куски html

    По такой логике, если это сработает, значит ваше https шифрование фyфлo.

     
     
  • 7.65, Школьник (ok), 16:22, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Причем тут https? Речь шла о утверждении, что есть, мол, такая эвристика, позволяющая за несколько минут  определить наличие ранее не известного никому зашифрованного протокола, чтобы его сразу же заблокировать.

    Если такая эвристика существует, то как она _автоматически_ справится с перемежением закрытого трафика незашифрованными кусками текста с повторениями?

     
  • 3.24, ryoken (ok), 08:18, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Скоро в Китае будет совсем грустно:
    https://3dnews.ru/1108956/kitay-sobiraetsya-sozdat-natsionalnuyu-sistemu-inter
     
     
  • 4.26, Жироватт (ok), 08:34, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Не в Китае, а на Тайбэе (целиком), молодёжи Гонконга поплохеет (это не скакать в балаклаве и не разносить магазинчики по пути), маргиналам Макао (как и всем "людям с хорошими литсями") и совсем уж малой кучке отщепенцев на материке (которые настолько бедны, что не могут уехать и настолько незначительны, что с миллионных грантов перепадает долларов по сто, и то, если носом в землю пашут).

    У остальных оно уже много лет как есть (weibo) и живут как-то.

     
     
  • 5.39, Аноним (39), 10:36, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Раз этого так хорошо чего ты сам себе айдишник не присвоил для входа в интернет?
     
  • 3.42, Full Master (?), 10:48, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А они и не ставят, у них ТСПУ от роскомпозора, а там попильная хрень от RDP.
     
     
  • 4.49, 12yoexpert (ok), 12:11, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    чего ж у тебя ютуб тормозит, срыватель покровов?
     
     
  • 5.52, Аноним (52), 12:23, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Ну, лично же тебе никто не запрещает поставить себе nDPI и ограничивать, например, доступ к госуслугам и вк-видео.
     
     
  • 6.81, 12yoexpert (ok), 22:49, 07/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    чтоб я ещё ими пользовался
     
  • 5.60, Мальчик Бананан (?), 16:02, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –12 +/
    > чего ж у тебя ютуб тормозит,

    Видимо потому что гугл отключил свои кэш сервера?

     
     
  • 6.61, Аноним (61), 16:07, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +4 +/
    >потому что

    https://www.rbc.ru/technology_and_media/25/07/2024/66a266439a794721b822daac

     
  • 3.66, YetAnotherOnanym (ok), 16:32, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > можно было их изучать и организовывать противодействие

    Нарыл чонить? Поделись.

     
  • 2.18, iPony129412 (?), 05:41, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –12 +/
    У всех своя работа.
    Сам работал над ПО так сказать по сдаче определённых данных пользователя, и делал банеры мигающие в IE на заказ (которые встраиваются при установке сомнительного ПО в нагрузку).
     

  • 1.8, Abra (?), 01:00, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    С Ютубом он успешно работает?)
     
     
  • 2.11, РКН (?), 02:08, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +9 +/
    Скоро узнаешь 🫶
     
  • 2.35, Аноним (61), 09:50, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    https://habr.com/ru/articles/832678/
     
  • 2.64, Мальчик Бананан (?), 16:20, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Cloudflare WARP спасёт отца русской демократии.
     
     
  • 3.67, ник (??), 17:14, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Dom.ru его удачно банит и приходится каждые 2 часа обновлять другой. Дома работает warp но после простоя приходится переподключаться.
     
     
  • 4.68, ник (??), 17:25, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    sshocean подсказали как то так что если надо то заморочься...
     
  • 2.85, РКН (?), 13:08, 10/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Спасибо, уже скачал! Сейчас попробуем.
     

  • 1.10, Аноним (10), 01:32, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А Ethernet Global Data чем-то отличается от Ethernet? Зачем вообще так называть протокол? Можно спутать.
     
     
  • 2.19, Admino (ok), 06:00, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Да.
     
  • 2.43, Full Master (?), 10:49, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    https://en.m.wikipedia.org/wiki/Ethernet_Global_Data_Protocol
     

  • 1.33, Аноним (33), 09:43, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    Интернет устарел. Пора переходить на прозрачные шлюзы с полностью зашифрованным траффиком. Это когда чтобы государству заблокировать ютуб, придется блокировать весь западный интернет. А кто нибудь знает, HTTP/3 лучше защищен от DPI?
     
     
  • 2.37, Аноним (37), 10:32, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Зачем шлюзы, сразу в мозг. Из космоса. И только одна команда: "плоти"!
     
     
  • 3.45, Аноним (39), 10:51, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Так Маск уже двоим такое внедрил до конца года их будет 10.
     
     
  • 4.47, нах. (?), 12:07, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    оптимист... кто сказал что эти доживут до конца года-то?

    Ведь методики опробированы на теслах и драконах - абы как, бабахнуло - ща, ща поправим и заново.

    Вот когда пара сотен передохнет - можно будет и продажи начать.

     
  • 2.54, Ананас (?), 12:38, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    DPI в РФ полностью блочит HTTP/3, а значит можно сделать вывод, что HTTP/3 защищает от фильтрации с помощью DPI.
     
  • 2.55, Аноним (55), 12:39, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    А такие левые шлюзы не могут заблокировать, даже не пытаясь разобраться, что там через них передаётся?
     
     
  • 3.80, Аноним (52), 14:16, 07/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Любые!
    Или ты думаешь, там будут сидеть и вручную анализировать траффик каждого васи пупкина, что бы выделить из его запросов соединения к "левым шлюзам"?
     

  • 1.51, Аноним (51), 12:22, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Кто знает может есть что то похожее, но бесплатное? Нужно блокировать torrent трафик на wg сервере, блокировка трекеров и закрытие портов не работает.
     
     
  • 2.70, glad_valakas (-), 19:44, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • –3 +/
    если вы не можете себе позволить простой недорогой ngfw с хорошей базой сигнатур (а там уже забиты все узлы dht, популярные трекеры и т.д.), то вам на самом деле не нужно блокировать torrent трафик на wg сервере.

    если вы не можете себе позволить нанять сетевого инженера, который своими инструментами проанализирует трафик, выделит адреса, сигнатуры и заблокирует их, то вам на самом деле не нужно блокировать torrent трафик на wg сервере.

    в общем, тот кто ничего не может сделать, не должен ничего хотеть.

    немного саморекламы: я в 2006-7 году блокировал skype, который позиционировался как вездеходный протокол и свысока плевал на фаерволлы с проксями. при этом я не лазил по клиентским комплюхтерам, и обошелся без всяких там DPI (почти).

     
     
  • 3.79, Аноним (52), 14:14, 07/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    >я в 2006-7 году блокировал skype

    Надеюсь, ты не бывший сотрудник Ёты\мегафона (которые в те времена выставляли счета за звонки через скайп зарубеж)

     
     
  • 4.82, glad_valakas (-), 04:58, 08/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    не сотрудник и не был (у опсосов своя мафия). но идея интересная. одно время мне и соседям в почтовый ящик приходил бумажный спам - официально выглядящие счета за коммуналку с расчетом, печатями и т.п. но реквизиты левой фирмы с названием, похожим на настоящее. наверно кто-то даже платил.
     
  • 3.83, фф (?), 11:46, 08/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а я в 2006-2007 году еле разрешал в фаерволе работать хоть как-то, при этом все остальные программы (браузеры, почта, мессенджеры итп) работали с интернетом отлично. А долбанный скайп хотел чтоб был открыт случайно выбранный им порт видите ли, иначе просто складывал лапки говорил, что "интерента нету насяльника, работать не буду".
     
     
  • 4.86, glad_valakas (?), 20:47, 10/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    очень странно. оно пролезало через обычный http proxy типа squid с разрешенным методом connect на 443/tcp. IP адреса супернод были hardcoded в бинарнике, но супернод конечное число, выявить на стенде и перебанить их всех работы на неделю максимум.
     

  • 1.72, Аноним (72), 19:58, 06/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Я не понял. Эта штука запускается на маршрутизаторе? И как она может дешифровать пакеты (к примеру HTTPS) если у неё нет ключей?
     
     
  • 2.73, Qq (?), 20:37, 06/08/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >>И как она может дешифровать пакеты (к примеру HTTPS) если у неё нет ключей?

    Без собственного CA в доверенных на клиенте - никак не может дешифровать. Но у трафика есть свои сигнатуры и «общеизвестные паттерны», которые видны без расшифровки трафика. В случае https - есть заголовок SNI который передается в открытом виде и содержит доменное имя сервера (если сервер не использует esni/ech). Развитые DPI - способны до некоторой степени оценивать тип трафика внутри зашифрованного туннеля, не супер точно, но обычно этого хватает, ну и по косвенным признакам принимать решения о блокировке или шейпе

     
  • 2.87, Full Master (?), 13:29, 11/08/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Просто библиотека, как будешь использовать, в хороших или плохих целях, зависит только от тебя.
     

  • 1.76, BrainFucker (ok), 00:00, 07/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    А Ютуб с помощью него замедлить можно? Ещё бы возможность отправлять комменты там заблочить.
     

  • 1.77, Carantin (?), 00:59, 07/08/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Не вижу проблемы для мобильника. Гонять трафик через мобильник через раздачу. ТыТруба не тормозит. Если только в этом проблема.
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру