https://www.opennet.ru/openforum/vsluhforumID3/136353.html Различные открытые проекты столкнулись с волной сбоев и замедления работы элементов инфраструктуры из-за повышения активности индексаторов содержимого сайтов (скраперов), собирающих информацию для обучения больших языковых моделей или для обеспечения ИИ-поиска в Web (например, компания Anthropic вчера представила вариант модели Claude 3.7 с возможностью поиска в Web)...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=62925<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#236 Wed, 09 Apr 2025 03:33:39 GMT &gt; Когда я зашёл на сайт, то внимательно посмотрел, никакого намёка на платное апи, тем более, принимающего мои карты - не увидел.<br><br>Платить за информацию, что владелец уже выложил, с целью чтобы поделиться с другими? Бред...<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#235 Tue, 01 Apr 2025 11:46:27 GMT Нет. Только CHM.<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#234 Sun, 30 Mar 2025 17:35:21 GMT Потому что ему очень быстро начнёт жаловаться кто-то из других 254+ пользователей в этом блоке.<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#233 Sun, 30 Mar 2025 09:03:42 GMT &gt; Просто блоками /24 (v4) и /48 (v6) блокировать на месяц, и быстро <br>&gt; перестанут "использовать" - ни один провайдер не согласится.<br><br>Почему провайдера должен волновать бан на вашем сайте на который от него только клиентский робот и ходит?<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#232 Sun, 30 Mar 2025 08:59:32 GMT Дубликат удалён<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#231 Sun, 30 Mar 2025 08:56:26 GMT На самом деле достаточно сделать так, чтобы хранение и выдача сайта ложилась на p2p пользователей, например через уже разработанную nfs.<br><br>Но правильнее бы с учётом накопленного p2p опыта просто сделать новую версию сервера и браузера на p2p соединениях.<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#230 Sun, 30 Mar 2025 08:17:07 GMT &gt;Если ресурсов всего интернета не хватает для обучения ботов, что они надувают количество данных даже такими вещами как git blame, которые можно получить локально, то это очень многое говорит о качестве самого обучения<br><br>Согласен, человек учится на заведомо намного меньшем количестве материала.<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#229 Sun, 30 Mar 2025 08:14:08 GMT Думаю будет следующее: возьмут несколько вебкамер которые будут собирать свои некачественные изображения с монитора в одно качественное и прикрутив к камерам opencv сделают паука который будет обходить сайт как обычный пользователь.<br> https://www.opennet.ru/openforum/vsluhforumID3/136353.html#228 Sun, 30 Mar 2025 08:05:21 GMT Я думаю что пихать отравленный контент это ошибка, например я недавно скачивал видео размером 700 мб, оно почему то при скачке браузером обрывалось на 389 МБ, так как видно таки скачалось после того как я поставил менеджер закачек я думаю что это был баг.<br>Но прежде чем это произошло я раз шесть пытался это видео скачать, в результате чего сайт вместо одного раза в 700 МБ израсходовал 6х389 около двух гигабайт плюс 700 мегабайт на скачку менеджером закачек.<br>