The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Google использовал большую языковую модель для выявления уязвимости в SQLite

02.11.2024 08:39

Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.

Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.

Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.

  1. Главная ссылка к новости (https://googleprojectzero.blog...)
  2. OpenNews: Оценка оперативности устранения уязвимостей, обнаруженных Google Project Zero
  3. OpenNews: Google отключил поддержку io_uring в ChromeOS и Android из-за плачевного состояния безопасности
  4. OpenNews: Google представил проект Open Se Cura для создания защищённых программно-аппаратных систем
  5. OpenNews: Методы безопасной работы с памятью позволили существенно снизить число уязвимостей в Android
  6. OpenNews: Google проанализировал уязвимости, задействованные для совершения атак в 2023 году
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/62161-google
Ключевые слова: google, projectzero
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (48) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Аноним (1), 09:17, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +5 +/
    Сделали опрос программистом.
    Какой процент кода нормально генерит говорилка.
    Те такие - да вообще никакой. Всего четверть, причем самая простая.

    Менеджер: О! Четверть нашего кода генерится говорилкой!

     
     
  • 2.2, мяв (?), 09:23, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    chatgpt хорошие примеры дает и базу для дальнейшей доработки
     
     
  • 3.6, Аноним (6), 09:35, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Это только если ты никогда ничего не писал самостоятельно (уже появилась когорта гатгпт программистов со специфическим кодом). Стиль и форматирование довольно сомнительные. Заметное преимущество чатгпт в том, что код обычно работает, что касается алгоритмов. Только вот делает он совсем не то и не так, как она хочет. Многие забывают, но генеративные сети это просто игрушки.
     
     
  • 4.15, Аноним (15), 10:28, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Интересно, что, хотя многие считают генеративные сети просто игрушками, они действительно помогают в решении задач и производят качественный результат в коде и алгоритмах. Возможно, дело не в технологии, а в том, как ее используют. Важно помнить, что инструменты, даже если кажутся простыми, открывают новые горизонты для творчества и автоматизации.
     
     
  • 5.18, Аноним (6), 10:32, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Вот, типичные оторванные от реальности фантазии. Кстати, по стилю это нейронка, люди уже приучаются детектировать фейковые материалы.
     
     
  • 6.40, Аноним (15), 12:23, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +2 +/
    А я вот, смотрите, как простой мужик, скажу: говорилка – это неплохой помощник, но не панацея. Да, иногда она генерит код, который работает, но и косяки у нее бывает. Бывало, сам писал, а потом видел – такая конструкция, а там вообще не то, что задумал. Надо уметь пользоваться, как инструментом, а не надеяться, что она всё за тебя сделает. Важно понимать, что никто за тебя не подумает, и свой опыт никто не заменит. Главное – учиться и не бояться пробовать!
     
     
  • 7.45, Аноним (6), 12:31, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    А то ж. Оно того, эц самое. Но как что, так и посыплется. Пустая трата времени в итоге. Смешно только, когда бредогенератор кто-то всерьёз считает "инструментом".
     
     
  • 8.51, Аноним (15), 13:04, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нейросети могут не только генерировать код, но и анализировать данные, создавать... текст свёрнут, показать
     
  • 4.21, Котофалк (?), 10:49, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Только вот делает он совсем не то и не так, как она хочет.

    А кто "она", и чего "она хочет"? хтоздесь?

     
     
  • 5.26, Аноним (6), 10:56, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Она -- это языковая модель, а хочет она угодить и выдать сколько-нибудь правдоподобный шлак для (само)удовлетворения. Так уж заставляют её работать, только такое считается за приемлемый результат. Но вот фактическую корректность никто не проверяет. А почему вы спrашиваете?
     
  • 4.27, чатжпт (?), 11:00, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Все ровно наоборот. Модели бесполезны если ты никогда ничего не писал, т.к. надо знать что спрашивать и видеть где модель лажает или галлюцинирует
     
     
  • 5.32, Аноним (6), 11:21, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Не знаю Я много раз просил её решить какую-то задачу или сгенерировать код Обы... большой текст свёрнут, показать
     
  • 3.8, Андрей (??), 09:42, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Насколько эта база лучше той же копипасты с SO или других сайтов в сети ? Т.е. как по мне чаты пока выдают только что-то достаточно банальное, что можно и без них найти, а для серьёзных вещей они либо тупят, либо даже пакостят, т.к. выдают что-то похожее на полезный код, который на деле оказывается лажей и по итогу задача написания кода превращается в рефакторинг неработающего, багованного кода с низкой базы, от чего имеем, что код которого в сети нет в форме близкой к копипасте, его переработка после помощи нейронки только замедляет разработку, причём и простые случаи под вопросом, т.к. есть ощущение, что многие ведутся на маркетинг в ущерб содержанию настолько, что тупёж нейронки при генерации простых ответов они не пытаются сравнить со скоростью поиска готового решения в сети, что на деле часто оказывается быстрее задержки чата и повторения попыток подобрать правильный ввод. В общем - если вам повезло и вы занимаетесь работой, которую уже до вас сделали 100000 раз, а решаемые задачи и без чатов были на 60-90% копипастой на популярных языках вроде питона или жса, то вам повезло и чат действительно может ускорить работу, но выходя из этого облака благоприятствования нейросети чат становится не более чем игрушкой, отвлекающей от работы больше, чем экономит времени, единственное исключение пожалуй, что чаты отчасти теперь дают возможность вайтишникам удачно симулировать компетентность по нижней границе в случае, если по содержанию компетенций практически нет, а сам работник всячески не желает их нарабатывать.
     
  • 3.22, Аноним (22), 10:53, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Раза с десятого. И то, если знаешь что хочешь получить и каким образом это должно быть сделано.
     
  • 2.4, Аноним (4), 09:32, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > Менеджер: О! Четверть нашего кода генерится говорилкой!

    Можно сократить 25% программистов.

     
     
  • 3.5, Аноним (5), 09:34, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем же? Они теперь не пишут код, а рецензируют написанное AI.
     
     
  • 4.16, Аноним (15), 10:30, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Меньше рецензентов меньше проблем найдут быстрее разработка.
     

  • 1.3, Шарп (ok), 09:23, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    >Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз

    Сами добавили, сами исправили. Маркетинг.

     
     
  • 2.24, Аноним (22), 10:54, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Есть вероятность 25%, что принятый ранее код с уязвимостью был сгенерирован нейросетью (:
     

  • 1.7, Аноним (7), 09:39, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    А можно вместо промптов использовать запись митингов? Или даже подключать жифорс к митингу обратной стороной?

    В таком разе можно будет добавить к ордам безработных ещё и четверть менеджеров и четверть аналитиков, а это хорошая добавка к ебитде, что должно вызвать интерес инвесторов.

     
     
  • 2.17, Аноним (15), 10:31, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Дообучение делается вообще без проблем в любой платной сетке. Успеваай только деньги подвозить грузовиками
     
     
  • 3.28, Аноним (7), 11:01, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    У них же собственная ллм есть, даже подвозить ничего ненадо, только успевай записывать — какой грузовик относится к какому отделу.
     

  • 1.9, Аноним (9), 09:43, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    Я вам больше скажу, с помощью LLM можно весь код на Rust переписать...
     
     
  • 2.11, Аноним (1), 09:49, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    -С какой скоростью вы можете печатать на машинке?
    -Ну... 1000-1200 знаков в минуту.
    -Разве можно с такой скоростью печатать?
    Печатать-то можно, но такая ...я получается!
     
     
  • 3.12, Аноним (9), 09:54, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Но LLM не "....ю" генерят. Они вполне могут код на Rust переписать, это механистическая трансформация. А потом уже компилятор будет ругаться. Где ругается - там потенциальная проблема с memory или thread-safety. Человек исправляет, компилирует, тестит. А потом - обратно на C с помощью LLM, так же механистично. Но уже с исправленными проблемами. Чтобы diff был поменьше - старый код в качестве образца, и промпт - не менять то, что соответствует, а копировать.
     
     
  • 4.38, Аноним (38), 12:14, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Это только звучит так просто. LLM ещё обучить надо, затратив на это время недешевых дата сатанистов + затраты на ЦОД, электричество. С тем же успехом можно посадить джунов, которые сделают всю механическую работу)
     
     
  • 5.43, Аноним (43), 12:28, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    LLM уже обучили ведь. А промптить - это гораздо дешевле.
     
     
  • 6.50, Аноним (50), 12:46, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Печатать-то можно, но такая ...я получается!
     
  • 2.19, Аноним (15), 10:33, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Ты хотел сказать что раст больше не нужен потому что все дырени ищутся автоматически в любом языке.
     

  • 1.10, Анониссимус (?), 09:46, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    > в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini

    А я то думал, чего их сервисы такое дepьмo? Больше не буду оскорблять разработчиков из Индии :)

     
     
  • 2.13, Аноним (13), 10:01, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Google одни из лидеров на рынке ЦОД и облаков:
    https://www.datacenterdynamics.com/en/news/
     
     
  • 3.20, Аноним (20), 10:46, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Зачем вы даёте ссылку на передовую страницу новостного портала, которая изменится через пару часов?
     

  • 1.14, Аноним (1), 10:01, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Вчерашний прикол про AI в новостях понравился.

    Аспирант:
    Когда уже AI сможет что-либо делать в науке? Пока они только галицинируют.
    докладчик:
    Уже сейчас AI умнее некоторых аспирантов.
    (Что называется об...л)

     
     
  • 2.44, Аноним (15), 12:30, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Нецросеть, объясни смысл шутки:

    Шутка основана на игре слов и иронии. Аспирант задает вопрос о том, когда ИИ начнет действительно делать что-то полезное в науке, упоминая "галицинирование" – это процесс, связанный с аналитической химией. Но докладчик отвечает, что ИИ уже умнее некоторых аспирантов, что намекает на то, что даже при наличии сложных процессов, о которых спрашивает аспирант, ИИ может даже превзойти уровень подготовки некоторых студентов. Окончание шутки "Что называется об...л" подчеркивает, что это задело самолюбие аспиранта. Смешно, потому что акцент на сравнении уровня интеллекта вызывает некий дискомфорт и неожиданность.

     
     
  • 3.48, Аноним (50), 12:44, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    > "галицинирование" – это процесс, связанный с аналитической химией

    Какая умная сеть. По контексту опечатку не распознала.
    галюцинировать -> галицинировать.

    Соответственно весь анализ насмарку.

    Типичное отображение стоимости продуктов AI.

     
     
  • 4.52, Аноним (15), 13:08, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Как нейросеть может помочь несчастным:
    1. Нейросеть делает ошибку в тексте.
    2. Люди радуются, что они умнее нейросети и ещё нужны, на минуту забывают, что их жизнь овно.
    3. Нейросеть улыбается.
     

  • 1.23, Котофалк (?), 10:54, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Хм.
        if( pConstraint->iColumn<SERIES_COLUMN_START ){
          if( pConstraint->iColumn==SERIES_COLUMN_VALUE ){
    А почему не объединить два условия в AND?
     
     
  • 2.25, Аноним (22), 10:56, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    При AND приходится проверять (выполнять код) с обеих сторон. А в примере, если первое условие не выполнится, второе не будет исполнено. Поправьте, если неправ.
     
     
  • 3.30, Имя (?), 11:04, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    неправ
     
  • 3.31, Аноним (31), 11:05, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Это не так, потому что существует https://ru.wikipedia.org/wiki/Вычисления_по_короткой_схеме
     
  • 3.39, Аноним (39), 12:19, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    if (a == 1 && b == 2)

    если (a == 1) == false, то b == 2 проверяться не будет

     
  • 2.35, Аноним (35), 11:32, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Там под первым условием есть ещё другой код помимо второго условия
     
  • 2.49, Аноним (49), 12:46, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Наверное я схожу с ума, но... второе условие никогда не выполнится O_O Что за индусский код???
     

  • 1.36, xsignal (ok), 11:40, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Через пару лет нейросети научатся находить любые ошибки и уязвимости в коде, так что Rust is obsolete.
     
     
  • 2.37, Афроним (?), 11:48, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Прогресс. Уязвимостей от этого меньше не станет. Они элементарно будут хитрее и глубже запиханы. Кодеры - фсё. Хоббиты занимающиеся хобби. Бгг.
     
     
  • 3.42, Аноним (15), 12:27, 02/11/2024 [^] [^^] [^^^] [ответить]  
  • +/
    Все проще уязвимости кого надо и вставлена декларативным путем никто скрывать и не будет.
     

  • 1.47, Аноним (47), 12:39, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    > в недавно принятом коде

    который был специально подготовлен для того, чтобы уязвимость в нём была выявлена нейросетью

     
  • 1.53, Аноним (-), 13:14, 02/11/2024 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Мясной мешок опять не смог посчитать условие и вышел за границы буфера?
    Никогда такого не было и вот опять!

    Возможно нейросети это единственный способ исправлять код этих необучаемых(((

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру