Подведены итоги амбициозного проекта Internet Census 2012, нацеленного на полное сканирование портов для всех IPv4-адресов в сети Интернет. Сканирование осуществлялось с марта по декабрь 2012 года с использование ботнета, построенного на базе незащищённых маршрутизаторов. В результате удалось собрать самую полную в истории статистику по активности хостов и распределению сетевых портов в сети Интернет.

Для загрузки доступен полный архив со всеми собранными данными (565 Гб при использовании сжатия ZPAQ, архив gzip занимает 1.5 Тб), подборка отчётов с общей статистикой по распределению сервисов и набор изображений с наглядным представлением распределения адресов по странам и подсетям. Особенно интересна визуализация изменения доступности IP в зависимости от времени суток и интерактивная карта, позволяющая использовать типовые фильтры и допускающая масштабирования для увеличения детализации вплоть до выделенных провайдерам подсетей.

Предпосылкой к проведению полного сканирования всего диапазона IPv4-адресов послужили ранее проводимые эксперименты по автоматизации сканирования портов с использование пакета Nmap и доступного в нём движка NSE (Nmap Scripting Engine), позволяющего автоматизировать выполнение любых действий по сканированию и накоплению результатов. В итоге ранних экспериментов было выявлено, что Сеть просто изобилует незащищёнными встраиваемыми устройствами, многие из которых оснащены стандартным Linux-окружением с BusyBox и открыты для доступа под заданным производителем паролем или вообще не защищены (пустой или тривиальный пароль, вида root:root и admin:admin ).

Всего было выявлено около 420 тысяч подобных незащищённый устройств, на основе которых был создан ботнет, выполнявший в течение 10 месяцев задачи по распределённому сканированию сетевых портов. Так как для реализации проекта использовались незаконные методы, исследователи не раскрывают своих имён и действуют анонимно. Тем не менее, заявлено, что в процессе эксперимента ни одно из взломанных устройств не пострадало (конфигурация не была изменена, промышленные системы и маршрутизаторы провайдеров пропускались), влияние сканирования был сведено к минимуму (использовалась низкая интенсивность сканирования - 10 IP в секунду), а ботнет после завершения сканирования был ликвидирован. Вместе с загружаемым на устройство файлом, выполняющим сканирование, поставлялся текстовый файл с описанием сути проекта и email для связи.

В число выполняемых для каждого IP-адреса проверок входила оценка доступности наиболее часто используемых портов, ICMP ping, запрос DNS-записи для IP и SYN-сканирование. Сканирование проводилось в дублирующем режиме, для накопления статистики с разрезе времени и учёта систем, включаемых лишь на время. В итоге было накоплено около 9 Тб данных, включающих информацию о 52 миллиардах проверок через ICMP ping; 10.5 миллиарда DNS-записей; 180 миллиардов записей о сетевых портах; 2.8 миллиарда параметров SYN-сканирования для 660 млн IP и 71 миллиарда протестированных сетевых портов; 80 млн проверок слепков TCP/IP; 75 млн IP ID-последовательностей; 68 млн трассировок маршрута (traceroute).

Некоторая статистика:

• Были получены ping-ответы от 420 млн IP-адресов, плюс дополнительно 39 млн адресов отвечали по типовым портам, но были недоступны через ping. 141 млн хостов были прикрыты межсетевыми экранами и потенциально являются активными; ещё 729 млн IP, не фигурирующих в вышеотмеченных списках, имеют обратную запись в DNS. В итоге, общий размер активных адресов оценивается примерно в 1.3 миллиарда. Для 2.3 миллиарда адресов следов использования не обнаружено;
• 165 млн IP имеют один или более открытых портов из списка 150 наиболее часто используемых портов;
• 141 млн IP имеют только закрытые или сбрасываемые порты и не отвечают на ping, т.е. вероятно используются, но защищены извне межсетевым экраном;
• 1051 млн IP имеют обратную запись в DNS из них 729 млн не реагируют на проверки;
• 30 тысяч подсетей /16 содержат адреса отвечающие на ping, 14 тысяч подсетей /16 включают в себя 90% из всех отвечающих на ping адресов;
• 4.3 млн подсетей /24 содержат 420 млн отвечающих на ping адресов;
• 70.84 млн адресов отвечают по 80 TCP-порту, на 20% из низ удалось определить http-сервер Apache, 18.5% - Allegro RomPager, 12.5% - тип сервера не определён, 8.57% - Microsoft IIS, 5.7% - AkamaiGHost, 5.7% - nginx, 2.8% - micro_httpd;
• На 244 тысячах IP удалось определить наличие сетевого принтера;
• 14.16 млн IP отвечают по SSH, 34.38 млн - telnet, 4.11 млн - upnp, 6.7 млн - Windows RPC, 6.18 млн - imap, 5.9 млн - pop3, 13.57 млн - smtp, 15 млн - DNS, 27.26 млн - snmp.