Исследователи из компании Truffle Security опубликовали результаты анализа публичного набора данных Common Crawl, используемого при обучении больших языковых моделей (например, DeepSeek). В исследовании использован декабрьский архив Common Crawl, включающий 400 терабайтов данных с содержимым 2.67 миллиардов web-страниц...Подробнее: https://www.opennet.dev/opennews/art.shtml?num=62823
Стоит заметить, что создатели оригинальной статьи поступили очень плохо и грязно, назвав её "Research finds 12,000 ‘Live’ API Keys and Passwords in DeepSeek's Training Data". Да, технически они правы, но на деле практически все современные языковые модели были обучены на CommonCrawl, это по сути самый популярный датасет для моделей вообще. Но Trufflehog, похоже, решили ещё раз показать именно в сторону Deepseek, что-то вида "вот видите, как у них всё плохо и небезопасно", так как из-за успеха Deepseek многие начали обвинять эту компанию во всех смертных грехах.
а в чём успех, уже заработали миллиард или пока только в планах?
Обрушить акции конкурента, и переманить не малую часть пользователей оплачивать свой сервис - это не успех?
Не, там реально как будто амеры открыли кран на канализационной трубе, у них прям сильно-сильно пригорело от DeepSeek.
Так они вам и скажут, на сколько денег их "знакомые" зашортили стоки, ждите.
Классический вебдев, хоть что-то не меняется в этом мире.
> Классический вебдев, хоть что-то не меняется в этом мире.Зато ж сколько хайпа у веб-дев было, когда принудительно везде засаживали HTTPS ...
Ну уот же ж - ключи теперь утекают - безопастненько!
> Наиболее часто встраиваемыми учётными данными оказались API-ключи к
> Mailchimp - выявлено около 1500 подобных ключей, которые были указаны
> прямо в HTML-формах или JavaScript-коде, вместо использования
> переменных окружения на серверной сторонеХм.. и их до сих пор не нашли господа cпамеры и не разослали тонны спама? (после чего маилчимп должен был поблочить ключ).. Да, обленились...
github весь завален ключами от сервисов, от s3, логины/пароли от почтовых ящиков и баз данных.. адъ и израиль.
я одному товарищу написал, что у него утекли секреты от s3, через месяц проверил, а они все еще актуальны. Комментарии излишни
Ну васянский С3 мало кому интересен. ценных данных там нет, разве что снесут и положат файлик "для восстановления пересылать 1.5 битка сюда". И то врядли, что тот вообще найдёт этот файлик, а если найдёт, то 1.5 битка у него нету и никогда не будет. а вот почта это спам, судя по потокам оного это комуто да интересно.
ну может хотя бы сгодится свою порнуху хранить?
Да, где то мелькал прототип проекта для размещения своих данных на 100500 чужих поломатых хостингах, шифруем, рубим на небольшие чанки и раскладываем по N (если N кажется мало, то можно M или даже Q*2) копий вот в такие вот S3 и гугл доксы. ну пропадёт десяток-другой, 80+% останется.Дело только в автоматизации регулярной проверки "выбывших", поиска новых "жертв" и восстановлении кворума.
Сверху обвязку в фузе, и пиши-читай.. писать да, не быстро.. но при наличии буфера на запись может оказаться и ничего.
Главное в Великобританиию не писать.. а то вроде им там законом предписано умереть от угрызений совести, если они не смогут расшифровать данные со своего сервиса. Не хорошо'с получится...
и это же хорошо! когда мне нужен доступ к какому-то дорогому сервису, или к сервису, где геморная регистрация типа "укажите ваш е-мэйл в домене .edu или .gov и мы рассмотрим вашу заявку в течение 99 рабочих дней" я просто открываю гугл, пишу site:github.com или site:gitlab.com, "адрес сервиса" "api" (или "pass" или "key") и пользуюсь.
спасибо вчерашним таксистам за удобный доступ.
то есть как это не нашли и как это не разослали?!
И чего вдруг должен - когда оная мак@ка именно для спамрассылок и нужна?Счет за эти рассылки, правда, выставят кому-то не совсем тому, но тот их тоже оплатит не присматриваясь - "что-то в этом месяце подорожало, надо бы девляпсам в пятницу плетей выписать"
Тогда ещё griggorii говорил что всё в мире уязвимо даже твой монитор , умная колонка или же другая вещь hdd-ssd-data я учёный cdn , диалог учёный аналитег: нет я не мошенник , но надо зарабатывать сдерем дата сет код чужой стабле machine , скажем что наш и бинари тоже или сделаем слакс и потом из этого альт или другую поделку мол не убунту основанную на дебиане за счёт именно стандартизации расширения .deb и тому подобное у. Ну и ушел в другую метадату.
Это какая-то очень фиговая модель. Даже Алиса выражается яснее
Эта модель 65536 , даже плюс тебе поставила что бы ты не был доволен , как видишь эта модель не нуждается во внимании , а лишь констатирует факты.
Датасеты какие-то, второй человек в США черпает информацию из сторис в Инстаграмме.
и купил при этом твиттер, заодно переименовав его?
Маск такой же фейк как пашка дуров, который на словах оппозиционер, революционер, гений, бездетный холостяк.
Но волосы-то с ладошек - пересадил себе на плешь! Завидуй, Иплон!
А от чего у него растут волосы на ладонях? Школьные истории о побочных эффектах онанризма прпвда?
Это первый купил, не перепутай.
И первый не в сторис а в тиктоке в основном информируетсо.Второй хотя бы честно использует произведенный в стране продукт.
Он про JD Вэнса ващето.
> второй человек в США черпает информацию из сторис в ИнстаграммеА откуда он должен их черпать, чтобы снискать одобрение анонима Опеннета? Из протоколов ареопага Богемской рощи?
> в наборе присутствует 2.76 миллионов web-страниц, в которые встроены пароли и ключи доступа к API.Минууууточку!
Я конечно понимаю, что наверное ключики надо было положить на стороне сервера, в директорию чуть повыше.
НО!
Как тогда пользователь _из своего браузера_ получит доступ к апи?
Этож наверное на стороне сервера надо городить какой то прокси-фронтэнд, который будет встраивать ключи, и посылать уже со своих мощностей запросы!
А так - JS запросы исполняются на компах миллионов хомячков - ценные серверные ресурсы сбережены.Ну и я не верю что 2.76 миллионов web-маkаk руками пилили странички свстраивая коды доступа к АПИ.
Наверняка дело тупо в инклудах(хеадер, футер) на стороне сервера, которые встраиваются во все страницы автоматически - а это уже другой вопрос, эти миллионы можно смело делить на 100 и то и на тысячу.>зафиксировано 11908 уникальных ключей и паролей, встроенных в HTML-разметку или JavaScript-код
Что непрозрачно нам намекает, на порядка 12 тысяч сайтов, при этом заранее оговорившись в новости, что часть из них тупо клоны.
> Как тогда пользователь _из своего браузера_ получит доступ к апи?Ну, можно хотя бы, хм... получить ключи отдельным асинхронным запросом после аутентификации, а уж после того юзать апи из браузера. Тоже палево, но не такое палево, как встраивание этих ключей в статику, которую может прочесть любой бот.
Все тут нормально с ключами в форме, просто забыли добавить доступ к самой странице. Или Васян-админ специально открыл, чтобы не париться.
> Как тогда пользователь _из своего браузера_ получит доступ к апи?Про куки не слышали?
НУ НАКОНЕЦ-ТО! ДОЖДАЛИСЬ!Теперь я могу задать чатгопоте и дипкику вопрос, ответ на который меня на самом деле интересует - "какое, блин, кодовое слово сбербак привесил к моей карте?"
>сбербакидеально! =)
А вы думали зачем все это? Когда какой-нибудь Мэйл.ру открывал бесплатную почту, вы думали, что это не для того, чтобы читать ваши письма? Когда какой-нибудь яндекс и гугл открывали поисковики, вы думали , что это чтобы не читать ваши поисковые запросы? Когда они открыли "безопасный" DNS, свои операционки, телефоны, колонки? А тут у них просто еще не все срослось. Слишком много палятся, что на самом деле все эти "ИИ в браузере" будут на самом деле лить кучу приватной информации, даже ваши пароли.
Всё это было понятно но все сервисы и особенно поиск каждый человек не может позволить на своих серверах держать. :(
Я правильно понимаю, что Зоркий Глаз нашел, например, такие "уязвимости"?Добавьте в заголовок head HTML-страницы строку следующего вида:
<head>
<script src="https://api-maps.yandex.ru/2.1/?apikey=ваш API-ключ&lang=ru_RU" type="text/javascript">
</script>
</head>
Либо кого-то попросили дать ссылку, и он скопипастил урл, будучи залогиненым. А в урле был ключ. Страницу, куда он скопипастил, спарсили и положили для обучения.
Ну да.
Можно конечно было написать на php, но ты же понимаешь, что тогда выполнятся он будет на сервере, а не в браузере миллионов хомячков.
Я понимаю, что нет смысла прятать то, что не имеет ценности.
Сколько же всякого мусора на самом деле покоится в этих "топовых" датасетах...
Хм, а отечественные датасеты в открытом доступе где-либо существуют?
> большинство популярных больших языковых моделей в ответ на запрос кода для интеграции со Slack и Stripe выдали небезопасные примеры, использующие встраивание ключей прямо в web-страницуНа чём учились тому и научились.
Но вообще веберы обленились. Всё тащат на фронт, и даже в S3 и Slack ходят с фронта. Не удивлюсь если у каждой из этих фирм есть специалист по ИБ, но ему гораздо интереснее чтобы согласие на обработку ПД было по форме.
Дело не в том что-то кто-то ленится. Дело в том что прибыль получают только самые быстрые :(
Представьте себе алгоритм-анализатор с дедукцией уровня Эйнштейна. Заприте его на субъективные миллионы лет(внутри время идет быстрее) в симуляции где он будет читать и перечитывать CommonCrawl. Я уверен, в результате обнаружится столько интересной информации, что эти несчатные ключи просто померкнут на общем фоне. Скандалы-интриги-расследования потекут рекой, от мелких до мегакрупных
Он от качества этой информации просто отупеет и по истечению времени вы его уже не узнаете. :)
Т.е. я пока все эти ИИ технологии отношу к цифровому оружию. Как это по другому назвать ещё? Я имею в виду утечку ключей с паролями. Многие пеняют на программистов. А что будет когда оно само будет не хуже некоторых специалистов по заходу туда куда нельзя будет заходить? Ну и повторю то что некоторых наверно уже задолбало - веб устарел, технологии будут меняться и как минимум решение в инкапсуляции сети, из-за чего неизбежно будут развиваться новые протоколы передачи данных. Рано или поздно придётся сказать прощай DNS, прощай IP. А вместо них пока ничего толкового нет. Если кто знает лучше решение и своё предположение как это в итоге будут решать в (ближайшем) будущем - напишите. Я лично пока лучшего решения не вижу, т.е. решение проблемы неизбежно, а лучшего варианта никто не предложил кроме как минусовать. Т.е. проблема вероятнее всего многим понятна, но решения нет.
> которые были указаны прямо в HTML-формах или JavaScript-коде, вместо использования переменных окружения на серверной стороне.Тот самый момент, когда фронтендеры объявляют себя фулстеками. Такому только скажи, что нельзя палить ключи во фронте и надо как минимум использовать переменные окружения, так он вкорячит ещё 100500 npm-модулей сомнительного происхождения, для "зашЫфрованных переменных окружения", которые при сборке всего этого rect/vue/и т.д. всё равно захардкодятся в публичные жабоскрипты.