Исследователи из Мэрилендского университета в рамках проекта Geneva предприняли попытку создания движка для автоматизации определения методов, применяемых для ограничения доступа к контенту. Вручную пытаться перебрать возможные бреши систем глубокого инспектирования пакетов (DPI) достаточно трудный и долгий процесс, в Geneva попытались использовать генетический алгоритм для оценки особенностей DPI, определения ошибок в реализации и выработки оптимальной стратегии проверки надёжности DPI на стороне клиента. Код проекта написан на языке Python...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=52249
Раньше для обхода блокировки Ростелекома достаточно было дропнуть RST-пакеты, но с осени это работать перестало, видимо DPI сменили.
Похоже, скоро начнут все по IP блочить, а какие сайты (и другие ресурсы) на нем - без разницы. :(
Возможно, Ростелеком это не делает, но я на discuss.cocos2dx.org, например, получаю Unable to connect. Потому что когда-то один мудрец в погонах заметил на этом сервере Телеграм, а другой - вынес решение. И ни один не почешется, чтобы вернуть в Рунет ни в чем давно не повинный сервер.
Из TLS 1.3 DPI провайдера не может вытащить доменное имя из пакета и ему приходится блочить по IP. Попробуй TLS 1.2. Настройка security.tls.version.max
Не из-за 1.3 не может, а из-за eSNI, который не является обязательным.
открылось, дропаю рст
Телеграм? да не, очевидно же, что кокос - это на самом деле кокс, и это площадка по торговле наркотиками
добро пожаловать в 2020они так пытались телегу прикрыть и сервера амазон блочили по ойпи
и доставили всем много лулзов, оконфузившись
Думаешь там кого-то ***т карикатуры Ёлкина?
вы так говорите, как будто они ни когда не блочили целые подсети гугла за просто так
РТК днище
Отличная компания, всегда на стороне клиента </sarcasm>
А много ли сейчас провайдеров, предлагающих белые IP?
DPI же сейчас в основном у мобильных провайдеров?
Не согласен, что РТК днище. Он даже рутрекеровские трекеры не блочит (по отзывам). Только тсс, никому не говорите.
А иначе как в Tixati их блок обходить? Ведь Tixati с 2015 года не умеет пускать через прокси трекеры отдельно.
Пускаешь весь торрент-трафик через ProtonVPN на максимальной скорости
там p2p платный
> А много ли сейчас провайдеров, предлагающих белые IP?каждый первый, не?
Интересно другое - много ли сейчас еще осталось провайдеров, которые не куплены давным-давно ростелекомом?> DPI же сейчас в основном у мобильных провайдеров?
смотря что ты называешь "DPI". Примитивная проксилка, сравнивающая SNI hostname с выгрузкой роспозора - у всех, у кого не нашлось денег на железку, делающую в общем-то примерно то же самое. Исходники на гитшлаке - такой вот впопенсорс на пользу товарищмайору, поэтому даже у самых т-пых и местечковых, которые в принципе могли бы просто дать взятку. Я, кстати, сомневаюсь, что ее может обойти этот ИИ от незамутненных персонажей.
У мобильных 4g значительно более серьезные штуки встроены (by design, слава пожизненному лидеру Си!) напрямую в ядро - ибо один хрен линукс, а качать всякую дрянь с гитхаба китайцы тоже умеют. Правда, могут случайно не работать.
> Он даже рутрекеровские трекеры не блочит
те что не попали в выгрузку - разумеется, не блочит. С чего их блочить, если они разрешены?
РТК - таки днище. Если какой-нибудь "мегалабс" (пятиэтажное, на минуточку, здание в центре Москвы, и нет, сервера стоят не там) занимается пакостями на промышленной основе все же исключительно в целях сравнительно честного отъема денег у населения, и это можно понять и простить - кушать-то хочется, а цены контролирует ФАС, то "исследовательские лаборатории" ростелека, под чутким и справедливым прищуром товарищмайора, заняты как раз совершенно не приносящими доходов государственно-полезными вещами, типа изоляции чебурнета. Даже я побрезговал (потому что Реутов - это вообще что за город и в какой ж0пе? ;)
Ла не у опсосов стоит чуть сложнее софт. Там разработаны и дорабатываются платы захвата трафа на 40 гбс. Спец прокси, спец машинки по анализу трафика. Интересный софт по анализу, и перехватк звонка. Опсосники не мелочатся на dpi как ни удивительно.
>С чего их блочить, если они разрешены?Святая простота.
>>С чего их блочить, если они разрешены?
>Святая простота.Это сказал памятник, ведь кто ж его посадит?
>DPI же сейчас в основном у мобильных провайдеров?DPI сейчас, в основном, у всех провайдеров. Только у очень мелких его может не быть.
ровно наоборот - только очень мелкие могут страдать такой фигней.
У крупных - a) очень дорого получится b) все равно лопнетДля исполнения указивок роспозора - [полноценный] dpi не нужен.
Для влезания в http траффик с нужной и полезной (оператору) рекламой - тоже.
Я занимаюсь исследованиями DPI в России и знаю, о чём говорю. У меня есть статистика. Провайдеров, у которых нет DPI, и которые блокируют по IP-адресам — единицы.
> Я занимаюсь исследованиями DPI в России и знаю, о чём говорю. Упрежде чем заниматься васян-исследованиями - не пытался просто поговорить с инженерами?
А то слепые, ощупывавшие слона, были немного удивлены, когда один из них, случайно, обнаружил слоновий х...й.
> меня есть статистика. Провайдеров, у которых нет DPI, и которые блокируют
> по IP-адресам — единицы.другие варианты, похоже, тебе не приходят в голову, видимо, потому что ты в нее - ешь?
Днище немножко другое (конкретная геосоцполитическая локация), РТК тут только часть целого
Дорожная.mp3
Всё ещё работает, но несколько сайтов, например 7-zip.org всё равно не открываются (не с осени, а с тех пор как заблокировали) Почему есть несколько "избранных" которые заблокировали качественно, а для всех остальных достаточно дропа rst, не понятно.
на моём РТК https://www.7-zip.org/ открывается
На Ростелекоме можно обойти блокировку по IP-адресам: https://ntc.party/t/dpi/85
См. https://ntc.party/t/dpi-telegram/62/11
> Раньше для обхода блокировки Ростелекома достаточно было дропнуть RST-пакеты, но с осени это работать перестало, видимо DPI сменили.Это не DPI, это банальный iptables.
А что работало и работает до сих пор -- это взять в DO дроплет за $6 в месяц, развернуть там VPN и выставить MTU 1400.
Зря это они. Меньше знаешь - крепче спишь. Знание полезным только избранным
А чего с толпой бесполезных идиотов делать? Столько сторожей и кассиров в природе не нужно.
Можно подумать, миллионы погромистов кому-то нужны.
Я тебе больше скажу - нужны миллиарды. Софт сам собой не напишется.
> Я тебе больше скажу - нужны миллиарды. Софт сам собой не напишется.у вас софт приходится переписывать каждую новую версию электрона?
Нет дело не в этом. Если предварительно продумать всё то 90% нынешних погромистов можно выгнать охранниками в пятерочку. Хотя, упс, они и там не нужны. Но так в отрасли сверху донизу поголовная безграмотность вот и получаем: аджайл; канбан; ещё парочку, ещё парочку миллиардов погромистов.
> Софт сам собой не напишется.Это неправда, уже с конца 1960-годов софт пишется софтом, - компилятор.
А 10 лет. Назад IBM запустила Watson.
Нужны грамотные программисты, а не кодеры после техникума.
Изучи историю развития ПО, 1960-тые годы США проект MULTICS (Multiplexed Information and Computing Service) не потянули из-за нехватки математиков-програмистов.
абсолютный вахтер
присоединяюсь. Потому что теперь китайский файрвол просто будут переделывать с учетом того факта, что где-то работает подобный ИИ. ВСЕМ станет хуже. Включая тех, кто вообще ничего не собирался противозаконного открывать.Но это ж прожектец sjwшников и борцунов за все хорошее против всего плохого, так что чего еще от них ждать?
Я думаю, где-то в Реутове уже собирают лабораторию с этой хренью для углубленного тестирования и разработки новых рекомендаций по улучшению великого чебурнетского файрвола.
Как по вашему отделить мух от котлет? То есть отделить ихнюю борьбу за мой счет, от моего счета? Вдруг вероятность наступления в моей жизни того события (событий), против чего они (sjwшники и борцуны) борютюся, очень мала? Или мне не просто не нужна, а и может быть даже вредна их борьба?Что такое понятие счет (деньги), мы покуда опустим.
Мне кажется, вероятность наступления в твоей жизни события, когда ты начнешь всерьез бороться за свое право ходить в женский туалет, но писать там непременно стоя (не потому что зacpaли мужской, а потому что ты внезапно ощутил себя ОНО) - действительно с хорошей точностью равна нулю. Она обычно определяется воспитанием и окружением еще в раннем возрасте, а в наших краях "я ответил им, что если они не перестанут валять дурака - я пepeeбу их лопатой!" гораздо популярнее.А последствия их борьбы для тебя лично - да, безусловно вредны. Вот, например, теперь у товарищмайоров есть отличный инструмент для тестирования своих поделок. И они им, разумеется, будут с удовольствием пользоваться.
А так можно обходить запрет при отрицательном балансе? На йоте, например, некоторые виды UDP (dnscrypt) на низкой скорости все-таки проходят. Интерес чисто спортивный. А раньше даже UDP OpenVPN держался, сейчас уже нет. По TCP RST сыпятся.
Зависит от фактической реализации отключки при этом. Некоторые вообще весь траф грохают, там упс. Некоторые не весь - там уже разные варианты есть. Есть и другие варианты наелова dpi, например с левыми хидерами - найдешь если сильно интересно.
Теле2 например блокирует доступ ко всему кроме своих серверов + серверов для пополнения баланса. Можно например по wifi подключиться по wireguard vpn, отключить wifi и продолжать пользоваться полным интернетом через vpn правда с адскими лагами и рандомными скачками скорости (реальную скорость не замерял).
Вообще-то, речь идёт об обходе цензуры, а не о халявном интернете при минусовом балансе.
А рашкованам на самом деле и не надо обходить цензуру - им бы провайдера нае..ть, и еще бы софт украсть какой-нибудь. Конечно же - под видом борьбы за шва6одку, как иначе. Шва6одку красть.А ты думал, им 7zip нужен, или они никак не могут заслать нужный и полезный патч на bugs.php.net? Наивное дитя.
а с её помощью мои комментарии на опеннете не будут удалять?
пока не будут, но это не точно
Посмотрю как будешь себя вести.
> Посмотрю как будешь себя вести.тогда это цензура. даёшь опеннет без запретов!
>> Посмотрю как будешь себя вести.
> тогда это цензура. даёшь опеннет без запретов!Вахтёров надо бить трудовым рублём, как я советовал и в прошлом году, и в позапрошлом: не донатьте им денег. Ибо удаление комментариев — это позорное днище и плевок в лицо каждому посетителю сайта. Если вахтёры не понимают, что такое интернет и свобода слова, надо их учить нищетой.
Супер, теперь цензоры смогут автоматически определять дыры в своей блокировке
Есть ли докер образ готовый? Они хотят питон 3.6 и только его иначе одни ошибки при установке.
Virtualenv спасёт отца русской демократии
Впопеннетовские борцуны за шва6одку не умеют virtualenv.
Им доскер в доскере под доскером подавайте.(они даже FROM: pyhton3.9 не могут сами - давайте им готовенькое, на халявку - ужо они потом за шва6одку-то поборются)
Есть конкурент у Geneva, проект BlockCheck от ValdikSS
https://github.com/ValdikSS/blockcheck
> Есть конкурент у Geneva, проект BlockCheck от ValdikSS
> https://github.com/ValdikSS/blockcheckblockcheck только простейшие вещи проверяет, типа разбивки GET на части или указание "host:" вместо "Host:". Geneva пытается через манипуляции с пакетами, не привязываясь с протоколу уровня приложения, делать запросы невидимыми для DPI. Да и отправка телеметрии по умолчанию по всем выполненным проверкам на внешний сервер в BlockCheck очень смущает.
владик, конеш, молодец, но одно дело хоть и талантливый, но прогер-одииночка, а другое - полноценный проект
А этот проект работает над направлением устранения цензурирования доступа к содержимому сайта самими сайтовладельцами? Тут друг просил, ему надо некоторые графичечкие данные получить с сайта, а там владельцы ценник вывесили в BTC.
А ты проверь, возможно они доступны по прямому запросу. Некоторые сайтовладельцы просят пароль на сайт, а контент заблочить забывают.
Не blockcheck,а GoodbyeDPI
> Не blockcheck,а GoodbyeDPIGoodbyeDPI только для Windows и является переработкой WinDivert.
"Windows 7, 8, 8.1 and 10 with administrator privileges required"
>является переработкой WinDivertне является. GoodByeDPI использует WinDivert как библиотеку. но GoodByeDPI бесполезна и не нужна, ибо работает только для plain http.
Вполне себе работает и для HTTPS на многих провайдерах.
Для линукса есть аналог - reqript.
https://reqrypt.org/reqrypt.html
Это не аналог. Аналог для линукса - https://github.com/bol-van/zapretReQrypt это совершенно отдельный метод. Во-первых, там только олна техника (в отличие от GoodbyeDPI/zapret, которые умеют использовать кучу трюков), во-вторых, он гонит трафик через сторонний сервер (опять-таки в отличие от упомянутых утилит, которые модифицируют трафик локально), в-третьих, он не для активных DPI (которые пытаются разбирать пакеты на лету), а для случаев, когда блокировка идёт тупо по айпи-адресам.
Таким образом, это не аналог, а более узкопрофилтный инструмент (который работает в случаях, когда упомянутые утилиты пссуют - при блокировке по айпи-адресам)
Да, Интернет уже не торт!
А интересно, есть ли Интернет без IP протокола (раз уж некоторые мудецы, додумались отключить доставку датаграм от одного IP к другому :(
Похоже я плачу провайдеру за резиновую...
> Да, Интернет уже не торт!
> А интересно, есть ли Интернет без IP протокола (раз уж некоторые мудецы,
> додумались отключить доставку датаграм от одного IP к другому :(
> Похоже я плачу провайдеру за резиновую...ну есть инеты с IP, но с возможностью ходить к серверам этого инета неблокируемыми (полностью) путями: i2p, tor-onion, retroshare, ipfs,... имена интересных серверов тамошних где взять - не знаю
> ну есть инеты с IP, но с возможностью ходить к серверам этого
> инета неблокируемыми (полностью) путями: i2p, tor-onion, retroshare, ipfs,... имена интересных
> серверов тамошних где взять - не знаюесли рассматривать только доступность сайта (без анонимности)
интересно во сколько обойдётся включение для opennet.ru входа через i2p/tor-onion (остальные технологии вроде не позволяют напрямую засунуть обычный сайт?) в режиме 1) readonly, 2) полном ?
кто-то имел опыт перевода обычных сайтов общего назначения на такие транспорты? на сколько проблемно/дорого?зы: у опеннета даже ipv6 нет, одно неловкое движение и судьба 7zip ?
зыы: вот за эту новость и внесут
А можно ж просто reverse-proxy устроить, или не тру?:)
и что по вашему случилось с 7зип?
> и что по вашему случилось с 7зип?он утонул^w забанен ркн за соучастие в распространении терроризма с помощью архивов с паролем^wwwwwwwww то, что расположен не на том ip
Флоппинет.
>скрыть сам факт обращения к заблокированному сайту, немного видоизменив параметры HTTP-запросаЭто дерьмо ведь работает только для нешифрованных сайтов. А с нешифрованными сайтами можно сделать разговор короткий - сразу вставлять эксплоиты с малварью во все страницы. А когда на государство в суд подадут, сказать что это не вредоносное ПО: критерий вредоносности из 177 УК РФ - это несанкционированность действий, а дальше можно за уши притянуть, что согласно ст. 55 п 3 Конституции разрешено неопределённое множество действий, включая удаление запрещённой в РФ и просто пиратской информации с вашего компа и копирование информации с вашего компа на сервера опричников, и раз вы живёте под юрисдикцией РФ и не отказались от гражданства РФ и не уехали из неё в более либеральные государства (таких даже в Африке не нашёл, не говоря уже об остальных, так что приходится жить в РФ), то значит вы как оператор ЭВМ санкционируете применение ПО для этого, значит можно сказать, что это вредоносное ПО невредоносное. Разумеется, это всё филькина грамота, но если у судьи конфликт интересов, то можно ожидать принятие любой извращённой логики, соответствующей интересам судьи.
Не говоря уже о записи трафика по закону Яровой.
Поэтому использование нешифрованного http следует вообще не рассматривать как вариант, а всё остальное, что DPI анализировать не умеет, просто блокирутся по IP, и контрмеры бесполезны.
TLS иногда анализируется через SNI, но принятие поддельного SNI хостером приведёт только к тому, что тот хостинг заблокируют безусловно. Было уже с гуглом и амазоном, когда, заблокировав полинета, к***рт****р***ы вынудили их изменить политику относительно meek.
Кстати, относительно plain http такое тоже сработает: DPI заточены под то, чтобы не ломать то, что реально присутствует в софте. Можно самовольно ужесточить спецификацию http 1.1 до уровня, который обеспечивает срабатывание DPI, назвать её DPI Friendly HTTP (которая заведомо реализована в браузерах и curlе, ибо с оглядкой на них DPI и делалось), а дальше прислать патчи в сервера (nginx, apache), отклоняющие пакеты, несоответствующие спецификации. А дальше просканить инет, разослать письма и заблокировать все сервера и хостинги, так и не включившие режим соответствия данной спецификации, по IP.
> Поэтому использование нешифрованного http следует вообще не рассматривать как вариант, а всё остальное, что DPI анализировать не умеет, просто блокирутся по IP, и контрмеры бесполезны.Я правильно понял что ты веришь в сказку что DPI не умеют анализировать HTTPS?
Ну как не умеют? IP виден, sni видны, задержки видны, размеры с гранулярностью до блока видны. Большие файлы, наверное, можно идентифицировать, после того, как они уже загружены, если их размеры в блоках уникальны. То есть для реалтаймовой цензуры не подходит.MITM не рассматриваем вообще - если есть MITM, то можно считать что вообще доступ к инету обрубили.
Скоро по закону о "безопасном Интернете" всем операторам вкорячат "технические средства предотвращения угроз", которые устанавливаются строго в разрыв и будут среди всего прочего заниматься блокировкой доступа к ресурсам из реестра запрещенных сайтов.
пока что получился только автостучащий tp-link за три миллиона ржублей.Непригодный ни для чего - "подключение должно быть осуществлено тем же способом, что и для обычных клиентов". Ээй, ребята - "обычные клиенты" у меня по lte подключались! КУДА я вам должен всунуть этот ваш тyполинк с его единственным интерфейсом rj45?
Так что на эту тему можете не переживать - отключит вас от интернета ваш любимый ростелеком, и он это сделает гораздо проще.
Может наконец хоть этот аноним предоставит нам судебную практику с такими вот исходами?
> Код проекта написан на языке Python.Почему-то я не удивлён.
>> Код проекта написан на языке Python.
> Почему-то я не удивлён.Ну, не всем охота писать реализацию генет. алгоритма для проблемы X с нуля на сишечке.
Это довольно сомнительное удовольствие само по себе, а уж при необходимости реализации (причем - нескольких вариантов) наследования, отбора, мутации и "скрещивания" из "популяции" с последовательностью "базовых примитивов" в качестве генома …
А геном конкретно тут - кодирует последовательность примитивов-действий, т.е. является "виртуальным" опкодом, котрый придется для оценки эффективности таки прогнать через интерпретатор.С другой стороны, никто никому не запрещает взять вот это вот готовое решение и переписать хоть на расте, если уж не смогли создать что-то свое сразу на правильном ЯП :)
> Geneva re-derived virtually all previously published evasion strategies within hours, and has discovered new ways of circumventing censorship in China, India, and Kazakhstan.
>
>>> Код проекта написан на языке Python.
>> Почему-то я не удивлён.
> Ну, не всем охота писать реализацию генет. алгоритма для проблемы X с
> нуля на сишечке.
> Это довольно сомнительное удовольствие само по себе, а уж при необходимости
> реализациида вы зае со своей сишечкой (и питоном как "правильным" выбором для прототипирования)
rust, D, go, java - куча возможностей, не сложные языки, куча библиотек
какого хрена выбор между C и Python ?!
Для около-AI штук на питоне выбор библиотек намного больше. Так уж сложилось.
> да вы зае со своей сишечкойА на опеннете зае со своим вечным "почему в шап^W питон?! Почему не <вставить нужное - на опеннете это обычно 'сишечка'>"
> (и питоном как "правильным" выбором для прототипирования)
А еще на опеннете зае вычитывать между строк или приписывать то, о чем не писалось.
> rust, D, go, java - куча возможностей, не сложные языки, куча библиотек какого хрена выбор между C и Python ?!
Наверное, того же самого хрена, какого опеннетчики, с их извечным "это неправильный ЯП! Нужно было <ценные указания>…", не написали (прототип) сабжа на "правильном"?
Да здравствует гонка вооружений!
Можно догадаться, в какой стране родится скайнет 2.0 (который типа VM).
> Исследователи из Мэрилендского университета в рамках проекта Genevaа какой DARPA contract number у этого проекта ?
> оптимальной стратегии обхода блокировки
> написан на языке Python.поперхнулся минералкой
Как в Малайзии комментируют введение цензуры: "не противоречит принципам свободы и позволяет задерживать нарушителей, которые провоцируют возникновение конфликтов, а также искажают официальные показатели экономического роста страны".
это правильная-демократическая цензура. Прямо как в google / facebook по запросу единственно правильного правительства сами все цензурируют. А это обычный DARPA контракт для помощи молодым неокрепшим демократиям.
>iptables -A INPUT -p tcp --dport 80Куда это вписа́ть, чтобы сохранилось после перезагрузки? Система с systemd.
Тут цензурно не написать, удаляют сразу.
цензурно-то написать, но ход ваших мыслей мне нравится.Туда, угу, именно туда. И поглубже, пока не научится чему-то кроме "с системде".
(ну или systemd-firewalld или еще какая хрень - научится за него, верю, чо. Правда, это туда тоже некуда будет засунуть, потому что ее конфиг совершенно не правила устаревшего нимодна-нимодна-мамонтов-кал iptables содержит)
Да ладно, что сте..сь над человеком :)
И да, что то торкнуло, не ужели system-ды сожрало rc.local?
ну, в общем, да.То есть где-то, наверное, ты еще найдешь юнит, его воскрешающий, но я таких не наблюдаю.
К тому же твой совет товарисчу-с-сыстемде будет вреден еще и тем, что у него вполне может вообще не быть iptables, или быть shittyd-firewalld, ufw и хрен его еще знает что.
Ну вы ж хотели "как в винде"?
> iptables -A INPUT -p tcp --dport 80
> Куда это вписать, чтобы сохранилось после перезагрузки?Для Ubuntu 16.04:
sudo apt-get install iptables-persistent netfilter-persistent
sudo iptables -A OUTPUT -s 1.2.3.4 -j DROP (добавить)
sudo iptables -D OUTPUT -s 1.2.3.4 -j DROP (удалить)
sudo iptables -L OUTPUT -v -n (посмотреть)
sudo nano /etc/iptables/rules.v4
sudo netfilter-persistent save
sudo netfilter-persistent reload
Это фильтрация исходящих соединений на IP 1.2.3.4
TCP и UDP на любом порту.
Цензура это не всегда плохо. Например, если бы не было цензуры, не сняли бы второй фильм - "Каникулы Петрова и Васечкина", который оказался лучше первого. Режиссеру сказали "если не снимете продолжение, больше ничего не дадим снимать". Вот так вот бывает.
Правда, потом не хотели на экраны выпускать, лол, но это удалось разрулить.