https://www.opennet.ru/openforum/vsluhforumID3/138252.html Для отсеивания ботов, агрессивно [[https://www.opennet.ru/opennews/art.shtml?num=62925 индексирующих]] контент, игнорируя правила из robots.txt, можно воспользоваться тем, что многие боты запрашивают заранее предопределённый набор страниц и не передают Cookie, выставленные в ответ на прошлые запросы. <br><br>Идея в том, чтобы при поступлении запроса проверять наличие определённой Cookie и если она отсутствует вместо запрошенного контента отдавать HTML-заглушку, возвращающую JavaScript-код для выставления Cookie и перенаправления пользователя на ту же страницу. При отправке запроса из браузера при первом входе запрос незаметно для пользователя будет проброшен через код установки Cookie. В промежуточном ответе используем код <br>ошибки HTTP [[https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Status/418 418]], информирующий о нежелании обрабатывать автоматизированные запросы.<br><br>Предложенный метод не отсеивает всех ботов, но проще в настройке и менее назойливый для посетителей, чем применение системы защит https://www.opennet.ru/openforum/vsluhforumID3/138252.html#36 Sun, 29 Mar 2026 16:05:18 GMT Куки в боте нет вообще никакой проблемы выставлять. Это тривиально делается в httpx. Как и подделка хедеров под браузер. Но это всё - проигранная игра, я уже сказал - на гитхабе в последнее время все скрейперы почти поголовно на Microsoft Playwright написаны, видимо клод натренировали именно его юзать. На куку на домен общее максимум полмегабайта хранить можно, но учитывая что инстанс браузера минимум сотни мегов жрёт, и им - ОК, так вы ботов не заблокируете. Некоторым и нейросеть ведь крутить ресурсов хватает, а это уже десятки гигов для имеющей смысл нейросети, ведь без пропускания через нейросеть скрейпинг почти бесполезен, ни парсинг яндекс томита-парсером (GLR-парсер ... но для естественного языка), ни Stanford NER нужного качества вам не обеспечат, только БЯМ. Так что даже требуя полноценный браузер вы ботов не заблокируете. Даже если вы на просто просмотр каптчу поставите, так вы мощных ботов не заблокируете, для её распознавания нейронка на MobileViT всего 10 мегов весила, 10000 классов объектов, 5 ле https://www.opennet.ru/openforum/vsluhforumID3/138252.html#35 Sun, 29 Mar 2026 05:28:13 GMT Сделал выставление cookie не через JS, должно во всём работать, что поддерживает Cookie.<br><br>С ботами совсем всё становится плохо. Раньше они не выставляли referrer и по этому признаку их можно было отсеивать. С прошлой недели referrer стал приходить в основной массе и пришлось сделать отсеивание по cookie. Незнаю насколько этого хватит. Небольшой процент ботов, в основном от ByteDance, Cookie умеет ставить, но трафик от них относетильно небольшой.<br><br>Проблема в том, что на страницах с комментриями под каждым комментарием ссылка на отправку ответа. Индексируя эти страницы боты игнорируют атрибут nofollow и флудят запросами на скрипт отпрвки ответа. Сам скрипт нересурсоёмкий, но боты параллельно индексируют несколько станиц и получается, что отправляют одновременно сотни запросов. Усугубляет это то, что всё это происходит с разных IP - лезут разом с кучи адресов, в основном из китайских, вьетнамских и бразильских подсетей. Например, за вчера были обращения к скрипту публикации ответа с 257581 уникальных IP. За https://www.opennet.ru/openforum/vsluhforumID3/138252.html#34 Sat, 28 Mar 2026 22:10:52 GMT Блин, анон, вот ты вредитель, теперь Чирков эту гадость на опеннет запилил, и постинг комментов без JS отвалился. Я, конечно, починил<br><br>cookieStore.get("btime").then(c =&gt; {<br>if (!c) {<br>let nowtime = new Date().getTime() // 1000;<br>cookieStore.set({<br>"name": "btime",<br>"path": "/",<br>"value": nowtime + '.' + nowtime,<br>"saneSite": "strict",<br>"maxAge": 2592000,<br>});<br>}<br>});<br><br>, но в lynx это дерьмо, разумеется, работать не будет.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#33 Sat, 28 Feb 2026 06:17:30 GMT По итогу Cloudflare будет единственным, кто имеет автоматизированный доступ к контенту сайтов, т.к. его используют для обнаружения ботов. Можно будет продавать данные. И вообще, как можно отличить поискового бота от AI? Суть ведь их работы одна и та же - собирать данные.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#32 Tue, 24 Feb 2026 23:44:03 GMT Авторы Anubis не принуждают сайты с опенсорсом использовать своё творение. Так что, надеюсь, ты уже заблокировал(-а)(-о) себе ану^W эти негодные сайты с опенсорсом и пользуешься только "всяким проприетарным" с правильными, цисгендерными толстыми зондами.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#30 Fri, 06 Feb 2026 18:00:00 GMT Мне как-то фиолетово, есть та же наружная и телевизионная реклама, которая &gt; SEO.<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#29 Fri, 06 Feb 2026 14:22:45 GMT <br>&gt; К слову, ботов порезать проще простого. Достаточно красить трафик по автономкам и <br>&gt; без ограничений пускать только интернет-провайдеров, предоставляющих услуги населению. <br>&gt; Но это же думать надо и как-то страшненько.<br><br>Откройте для себя рынок таких услуг как резидентные (и мобильные) прокси. Удачи в фильтрации. <br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#28 Fri, 06 Feb 2026 14:20:24 GMT &gt; Владельцы сайтов не обязаны делать вам хорошо. Скорее это вы должны думать, <br>&gt; как не делать им плохо. Потому что на самом деле не <br>&gt; являетесь теми, для кого создается и наполняется сайт. Правильно было бы <br>&gt; как-то платить за данные, если в дальнейшем из них извлекается какая-то <br>&gt; прибыль.<br><br>Внезапно - Cloudflare уже тестируют Pay-per-crawl. Ну да - с тотальным vendor lock-in но все же<br> https://www.opennet.ru/openforum/vsluhforumID3/138252.html#27 Fri, 06 Feb 2026 14:18:33 GMT &gt; При обнаружении бота - слать его в tarpit, лимитировать число запросов десятью <br>&gt; и отдавать со скоростью 100 байт в секунду.<br><br>Придет с другого IP. <br>Ну и - есть еще один интересный ньюанс.<br>Бывают боты которые собирают материал для обучения ИИ а бывают - которые проверяют страницу прежде чем возвращать данные с нее в ответе пользователю (Perplexity например ловили на этом и они именно этот довод для защиты использовали), если боту второго типа прилетит такое...он просто не будет использовать результаты с этой страницы (и ссылки не будет показывать), найдет откуда _еще_ показать. С учетом что поиск потихоньку становится ИИ-шным...вы только убили себе SEO этим. <br>