The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Доступна система глубокого инспектирования пакетов nDPI 3.0

26.12.2019 19:06

Проект ntop, развивающий инструменты для захвата и анализа трафика, опубликовал выпуск инструментария для глубокого инспектирования пакетов nDPI 3.0, продолжающего развитие библиотеки OpenDPI. Проект nDPI основан после безуспешной попытки передачи изменений в репозиторий OpenDPI, который остался без сопровождения. Код nDPI написан на языке Си и распространяется под лицензией LGPLv3.

Проект позволяет определять в трафике используемые протоколы уровня приложения, анализируя характер сетевой активности без привязки к сетевым портам (может определять известные протоколы, обработчики которых принимают соединения на нестандартных сетевых портах, например, если http отдаётся не с 80 порта, или, наоборот, когда какую-то другую сетевую активность пытаются закамуфлировать под http через запуск на 80 порту).

Отличия от OpenDPI сводятся к поддержке дополнительных протоколов, портированию для платформы Windows, оптимизации производительности, адаптации для применения в приложениях для мониторинга трафика в режиме реального времени (убраны некоторые специфичные возможности, замедлявшие движок), возможности сборки в форме модуля ядра Linux и поддержке определения субпротоколов.

Всего поддерживается определения 238 протоколов и приложений, от OpenVPN, Tor, QUIC, SOCKS, BitTorrent и IPsec до Telegram, Viber, WhatsApp, PostgreSQL и обращений к GMail, Office365 GoogleDocs и YouTube. Имеется декодировщик серверных и клиентских SSL-сертификатов, позволяющий определить протокол (например, Citrix Online и Apple iCloud), используя сертификат шифрования. Для анализа содержимого pcap-дампов или текущего трафика через сетевой интерфейс поставляется утилита nDPIreader.


  $ ./nDPIreader -i eth0 -s 20 -f "host 192.168.1.10"

   Detected protocols:  
   DNS                  packets: 57    bytes: 7904     flows: 28
   SSL_No_Cert          packets: 483   bytes: 229203   flows: 6  
   FaceBook             packets: 136   bytes: 74702    flows: 4
   DropBox              packets: 9     bytes: 668      flows: 3
   Skype                packets: 5     bytes: 339      flows: 3  
   Google               packets: 1700  bytes: 619135   flows: 34

В новом выпуске:

  • Информация о протоколе теперь выводится сразу при определении, не дожидаясь получения полных метаданных (даже когда специфичные поля ещё не разобраны из-за неполучения соответствующих сетевых пакетов), что актуально для анализаторов трафика, которым необходимо сразу реагировать на определённые виды трафика. Для приложений, которым нужен полный разбор протокола, предложен API ndpi_extra_dissection_possible(), позволяющий убедиться, что все метаданные протокола определены.
  • Реализован более глубокий разбор TLS с извлечением сведений о корректности сертификата и SHA-1 хеше сертификата.
  • В приложение nDPIreader добавлен флаг "-C" для экспорта в формате CSV, что даёт возможность при помощи дополнительного инструментария ntop выполнять достаточно сложные статистические выборки. Например, для определения IP пользователя, который дольше всего смотрел фильмы в NetFlix:
    
       $ ndpiReader -i  netflix.pcap -C /tmp/netflix.csv
       $ q -H -d ',' "select src_ip,SUM(src2dst_bytes+dst2src_bytes) from /tmp/netflix.csv where ndpi_proto like '%NetFlix%' group by src_ip"
    
      192.168.1.7,6151821
    
  • Добавлена поддержка предложенной в Cisco Joy техники определения вредоносной активности, скрытой в шифрованном трафике, используя анализ размера пакетов и времени отправки/задержек. В ndpiReader метод активируется опцией "-J".
  • Обеспечена классификация протоколов по категориям.
  • Добавлена поддержка расчёта IAT (Inter-Arrival Time) для определения аномалий в использовании протокола, например, для выявления использования протокола при совершении DoS-атак.
  • Добавлены возможности анализа данных на основе вычисляемых метрик, таких как энтропия, среднее значение, стандартное отклонение и дисперсия.
  • Предложена начальная версия биндингов для языка Python.
  • Добавлен режим определения в трафике читаемых строк для выявления утечек данных. В ndpiReader режим включается опцией "-e".
  • Добавлена поддержка метода идентификации TLS-клиентов JA3, позволяющего на основе особенностей согласования соединений и задаваемых параметров определять какое ПО используется для установки соединения (например, позволяет определить использование Tor и других типовых приложений).
  • Добавлена поддержка методов идентификации реализаций SSH (HASSH) и DHCP.
  • Добавлены функции для сериализации и десериализации данных в форматах Type-Length-Value (TLV) и JSON.
  • Добавлена поддержка протоколов и сервисов: DTLS (TLS over UDP), Hulu, TikTok/Musical.ly, WhatsApp Video, DNSoverHTTPS, Datasaver, Line , Google Duo, Hangout, WireGuard VPN, IMO, Zoom.us.
  • Улучшена поддержка анализа TLS, SIP, STUN, Viber, WhatsApp, AmazonVideo, SnapChat, FTP, QUIC OpenVPN UDP, Facebook Messenger и Hangout.


  1. Главная ссылка к новости (https://github.com/ntop/nDPI/r...)
  2. OpenNews: Система анализа интернет трафика OpenDPI выпущена под лицензией LGPL
  3. OpenNews: Межсетевой экран уровня приложений OpenFWTK 2.0
  4. OpenNews: Cloudflare представил инструменты для выявления перехвата HTTPS
  5. OpenNews: Доступна система обнаружения атак Suricata 5.0
  6. OpenNews: Система обнаружения атак Snort 3 перешла на стадию бета-тестирования
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/52097-dpi
Ключевые слова: dpi, ntop, traffic
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (34) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 20:36, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Ну все, теперь телеграмм точно забанят :-)
     
     
  • 2.3, Аноним (3), 20:44, 26/12/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Россиянский дырявый "великий" фаервол давно базируется на лицензируемом у Ipoque DPI движке. Но толку-то.
     
     
  • 3.4, Аноним (4), 21:10, 26/12/2019 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Очень странно что это не аналоговнетDPI от какого-нибудь Касперского
     
     
  • 4.15, шпион лейтенант (?), 07:20, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • –2 +/
    пишутъ!

     
  • 4.19, asdasd (?), 09:21, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • –5 +/
    Сразу видно админа локалкоста.
    Если что Касперский (и его дочь как минимум) занимаются вопросами информационной безопасности (промышленный шпионаж и т.п.), а не анализом трафика.
     
     
  • 5.21, Аноним (4), 09:57, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Сразу видно не имеющего отношения к ИБ. DPI - неотемлимая часть системы DLP.
     
  • 5.24, шпион лейтенант (?), 10:53, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • –1 +/
    и что не так? Для промышленного шпионажа, которым мы занимаемся, когда не воруем документы NSA, системы DPI вполне нужные и полезные животные.
     

  • 1.2, Аноним (3), 20:43, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Фига себе, оно живое! Я думал, Ipoque давно закопали OpenDPI, а форки сдохли. Интересно.
     
  • 1.6, Аноним (6), 21:55, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Годный продукт
     
  • 1.7, Имя (?), 22:04, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    Хорошая утилита будет использоваться для злых дел.
     
     
  • 2.16, пох. (?), 07:24, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    долго думал, к какому бы хорошему делу такое можно было бы приспособить.
    Не придумал.

    Ну кроме, разумеется, хорошего для дяди дела - денег, дядиных, за нормальный dpi не платить.

     
     
  • 3.17, z (??), 08:34, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Фаервол, не?
     
     
  • 4.27, Аноним (27), 11:50, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Еще для шейпинга трафика можно использовать.
     
  • 3.22, Аноним (3), 10:03, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Для IPS, например.
     
     
  • 4.25, шпион лейтенант (?), 10:57, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    для ips    Detected protocols:  
       DNS                  packets: 57    bytes: 7904     flows: 28
       SSL_No_Cert          packets: 483   bytes: 229203   flows: 6  
    феерически бесполезная инфа.

    А подсчет топчика качающих с нетфликса - и тем более.

    А для чего оно на самом деле полезно - так это для слежки за сотрудниками, c последующей показательной поркой. Для каковой и будет массово применено, разумеется - "6ешлптаное! Взять, взять, взять!"

    Ну и товарищмайору, конечно, на пользу, вон, тор детектит. Молодцы, он доволен.

     
     
  • 5.26, Аноним (27), 11:50, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >"6ешлптаное! Взять, взять, взять!"

    До проприентарного продукта айпока этой штуке еще очень далеко.
    >Ну и товарищмайору, конечно, на пользу, вон, тор детектит. Молодцы, он доволен.

    Товарищ майор держит свои энтри ноды.

     
  • 3.28, Anonymoustus (ok), 12:08, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Собак выгуливать пробовал?
     
     
  • 4.30, пох. (?), 19:40, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > Собак выгуливать пробовал?

    там нельзя "пробовать" - это ж типичная цепная реакция. Если у тебя все идет как надо - тебя передают с рук на руки. А если тебе позвонили "меня вечером дома не будет, выгуляй Тузика", а в ответ "у меня йолки!" (или что там сегодня у альфа-банки слуцилась - корпоративная вечеринка по продолбу полимеров?) или вообще сброс звонка потому что кластер надо поднять два часа назад - то клиент тебе больше вообще никогда не позвонит.

    так что вписываться в это дело надо всерьез и лучше не в одиночку, полумеры тут приведут к очередной бесполезной догвалке.

     
  • 3.34, Аноним (-), 01:36, 30/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    > долго думал, к какому бы хорошему делу такое можно было бы приспособить.

    Отлов более или менее успешных интрудеров у себя в сети, например? :)

     
  • 2.29, Аноним (29), 14:26, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Удачному мимикрированию протокола?
     

  • 1.8, ммнюмнюмус (?), 22:12, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    Чую тов. гв. ген. майор одобрит
     
  • 1.10, sergio8888 (?), 23:51, 26/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    теле2 уже вовсю торренты душит, как и ета ранее. и то ли ещё будет.
     
     
  • 2.11, dimqua (ok), 00:11, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    У йоты это способен обойти любой школьник.
     
  • 2.14, Put In (?), 07:03, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Да не. Норпмально качает. Только что попробовал с рутрекера скачать фильм.
    Все работает как часы.
     
     
  • 3.18, йкЛще (?), 09:19, 27/12/2019 [^] [^^] [^^^] [ответить]  
  • +6 +/
    >> Все работает как часы.

    Время показывает?

     
     
  • 4.33, Put In (?), 00:38, 29/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    >>> Все работает как часы.
    > Время показывает?

    +100 к карме

     

  • 1.12, Иваня (?), 03:44, 27/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Годнота вообще, спасиб за инфу
     
  • 1.20, Тов. Майор (?), 09:45, 27/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Одобряю.
     
  • 1.31, Аноним (31), 20:23, 27/12/2019 [ответить] [﹢﹢﹢] [ · · · ]  
  • +2 +/
    > Добавлена поддержка протоколов и сервисов: ... DNSoverHTTPS

    А как красиво пели, что этот костыль нужен для маскировки DNS-трафика от DPI.

     
     
  • 2.32, Аноним (32), 22:02, 28/12/2019 [^] [^^] [^^^] [ответить]  
  • +1 +/
    и ты верил? Да ну ладно
     
     
  • 3.35, Аноним (-), 01:38, 30/12/2019 [^] [^^] [^^^] [ответить]  
  • +/
    Ну так теперь DPI будет с той или иной надежностью догадываться что это DNS over HTTPS но что там внутри - все же не узнает. В отличие от обычного DNS.
     
     
  • 4.37, Pofigis (?), 17:06, 03/01/2020 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Узнают. Ибо MitM
     
     
  • 5.38, nebularia (ok), 13:24, 30/07/2021 [^] [^^] [^^^] [ответить]  
  • +/
    Откуда бы? HTTPS вполне защищён от MitM, если сертификаты никуда не протекли.
     

  • 1.36, manster (ok), 16:06, 03/01/2020 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    в белом шуме что-то выловить, это как поиск полезных сигналов
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру