The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Facebook и Microsoft предложили открытый формат обмена моделями машинного обучения

09.09.2017 12:46

Facebook и Microsoft выступили с инициативой по унификации обмена моделями между разными фреймворками машинного обучения и системами искусственного интеллекта. Итогом стала разработка открытого формата ONNX (Open Neural Network Exchange) для представления моделей глубинного машинного обучения. Эталонная реализация ONNX написана на языке Python и распространяется под лицензией MIT.

В настоящее время возникают ситуации, когда в процессе экспериментов используются те или иные специфичные возможности определённых фреймворков, но при создании конечного продукта требования изменяются и возникает потребность в задействовании иных возможностей или преодолении ограничений. Необходимости возможности предоставляются в других фреймворках, но адаптация для них созданной модели машинного обучения становится трудной задачей, требующей большого объёма ручной работы.

Ожидается, что ONNX станет отправной точкой в построении открытой экосистемы, в которой разработчики моделей машинного обучения и систем искусственного интеллекта не будут привязаны к конкретным инструментам и смогут легко переключаться между различными фреймворками, подбирая для себя оптимальную комбинацию.

ONNX определяет модель расширяемого графа вычислений, а также встроенные операторы и стандартные типы данных. Каждый граф потока данных структурирован в виде списка узлов, оформленных в виде цикличного графа. Узлы имеют один или более входных и выходных потоков. Каждый узел вызывает определённый оператор. Операторы реализуются отдельно, но могут строиться с использованием набора типовых встроенных операторов, переносимых между разными фреймворками. Каждый фреймворк с поддержкой ONNX предоставляет свою реализацию данных операторов для всех поддерживаемых типов данных.

Заявлено о скорой реализации поддержки ONNX во фреймворках Caffe2, PyTorch и CNTK (Cognitive Toolkit). При помощи ONNX модель, натренированная в одном из этих фреймворков, может быть легко перенесена для работы в другом фреймворке. Например, исследователи могут построить экспериментальную модель при помощи PyTorch, обладающего большой гибкостью и широкими возможностями, или при помощи фреймворка ConvNet, позволяющего в интерактивной режиме быстро создавать прототипы, а при создании конечного продукта перенести в Caffe2, отличающегося высокой производительностью и возможностью работы на мобильных устройствах.

  1. Главная ссылка к новости (https://research.fb.com/facebo...)
  2. OpenNews: Компания Sony открыла свои наработки в области нейронных сетей
  3. OpenNews: Выпуск системы машинного обучения TensorFlow 1.0 и классификатора изображений ResNeXt
  4. OpenNews: Проект OpenNMT развивает систему машинного перевода на основе нейронной сети
  5. OpenNews: Facebook открыл наработки по распознаванию объектов на фотографиях
  6. OpenNews: Microsoft опубликовал на GitHub систему машинного обучения CNTK
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/47166-ai
Ключевые слова: ai, caffe, torch, cntk, onnx
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (64) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.1, Борщдрайвен бигдата (?), 12:52, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –17 +/
    Наконец-то причешут этот зоопарк, а то по несколько раз приходится писать одно и то же. Хорошее дело.
     
     
  • 2.33, Аноним (-), 19:28, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +19 +/
    Хорошее дело от Facebook и Microsoft? Да не смешите тапочки моей тёщи!
     
     
  • 3.49, Уровень Предприятия (?), 10:24, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    То ли дело Google со своим TensorFlow!
     
     
  • 4.52, Аноним (-), 12:11, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Тот же фебеже только вид сбоку.
     
  • 3.71, Аноним (-), 00:26, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Что ты как маленький? Недавно же новость была что в заранее натренированных моделях удобно бэкдоры подсовывать.
     
  • 2.42, Pahanivo (ok), 22:53, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +6 +/
    > Наконец-то причешут этот зоопарк, а то по несколько раз приходится писать одно
    > и то же. Хорошее дело.

    Через пару лет выяснится, что где то что таки запатентовано ...

     
     
  • 3.50, Борщдрайвен бигдата (?), 11:20, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • –10 +/
    Сильное заявление. Как там, в будущем?
     
     
  • 4.51, Аноним (-), 12:03, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Для того чтобы предсказать действия этих альтруистических компаний, на основе их прежних действий, не надо гонять в будущее. Сколько шакалов не корми, они постоянно жрать хотят (примета такая)
     
     
  • 5.53, Борщдрайвен бигдата (?), 13:30, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Сарказм ОК, да вот альтруизма в их действиях нет.
    Для корректного понимания вредно наделять какими-то человеческими или животными чертами корпорации. Они не «плохие» и не «хорошие», а всего лишь хотят такой сущей мелочи, как постоянный рост доходов.
    И средства для достижения этой цели порой принимают самые причудливые формы.
     
     
  • 6.58, Аноним (-), 16:09, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Ну так а я про что? Все эти их открытые форматы, проекты и прочее лично у меня вызывают мягко говоря брезгливость. Все их инициативы в результате оборачиваются попенгагеном разной глубины погружения и вонючести. Ну не однократно ведь это было в прошлом, но до сей поры адепты коммерческих инициатив упорно доказывают полезность внедрений от корпораций. Видимость это одна, без выгоды для себя они даже и не моргнут, ну а если пользователь имеет от этого безвозмездную пользу, то это по случайному недосмотру, который при удобном случае и благовидным предлогом прикрывается. Естественно в заботе об этом самом пользователе ))
     
  • 6.59, Анонимный Аналитик (?), 16:37, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Для корректного понимания вредно наделять какими-то человеческими или животными чертами
    > корпорации. Они не «плохие» и не «хорошие», а всего лишь хотят
    > такой сущей мелочи, как постоянный рост доходов.
    > И средства для достижения этой цели порой принимают самые причудливые формы.

    Также вредно забывать, что управляет такими корпорациями отнюдь не ИИ или Высший Разум, а родственный человеку вид – хомо авидитас.
    Который, как верно подметил классик, ради 50% готов сломать себе голову, а уж ради заветных 300% …

     
     
  • 7.75, Аноним (-), 15:54, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ты таки знаешь структуру управления гугловского подразделения X? Расскажи нам об этом. Интересно кто управляет или скоро будет управлять планетой.
     
     
  • 8.78, Анонимный Аналитек (?), 22:36, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Человеки Внезапно, да Ты, главное, почаще повторяй про dont be evil , авось ... текст свёрнут, показать
     
  • 5.55, Аноним (-), 15:15, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Сколько шакалов не корми, они постоянно жрать хотят (примета такая)

    А людей? :)

     
     
  • 6.57, Аноним (-), 15:55, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Люди разные бывают, а вот барыги все одинаковые.
     
  • 4.64, Pahanivo (ok), 00:46, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Сильное заявление. Как там, в будущем?

    История знает немало продуктов приконченных эмысовцами ...

     
  • 3.65, Аноним (65), 10:27, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Даже если не выяснится, окажется, что количество леммингов, использующих данные без малейшего анализа оных, чуть больше, чем 100% - "имя им легион..."(С), точнее лохион :)
     

  • 1.2, Аноним (-), 13:03, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    "Го, я создал"
    С какого перепугу кто-то должен переходить на формат, который никто не использует?
     
     
  • 2.4, Борщдрайвен бигдата (?), 13:07, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Мб, потому, что вменяемого общестандарта не было? И потом,
    > Заявлено о скорой реализации поддержки ONNX во фреймворках Caffe2, PyTorch и CNTK
     
  • 2.5, Zenitur (ok), 13:11, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +12 +/
    А действительно. Зачем нужен, например, кодек opus? Да, он лучше, но им же никто не пользуется! Я что, рыжий что ли? Буду жать в mp3, как все нормальные белые люди
     
     
  • 3.17, Аноним (-), 15:05, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Но ведь mp3 лучше в итоге выйдет по качеству, чем opus. Если и жать, то в vorbis.
     
     
  • 4.19, Аноним (-), 15:13, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Ну, как бы, Opus рождён на десяток лет позже Vorbis'а.
     
  • 4.24, Crazy Alex (ok), 15:44, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Меня тут несколько месяцев назад мордой ткнули - оказывается, оно, как минимум, не хуже, чем Vorbis. Мир меняется, иногда поглядывать за этим надо, а то окажешься среди верующих в очередную замшелую чушь...
     
     
  • 5.72, Аноним (-), 00:35, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Меня тут несколько месяцев назад мордой ткнули - оказывается, оно, как минимум,
    > не хуже, чем Vorbis.

    Даже лучше - на 64Кбит в opus довольно сложно заметить отличия от оригинала, в vorbis - вполне реально, особенно если знать что ищешь. На бухтелках от гениуса за 20 баксов это пофигу, но если взять более-менее похожие на мониторные уши и ты не совсем глухой...

     
  • 4.32, iZEN (ok), 19:19, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Vorbis - это контейнер, а не кодек.
     
     
  • 5.43, iZEN (ok), 22:57, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    А, нет. Перевернулось представление.
     
  • 4.36, Аноним (-), 21:56, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Лучший lossy - это aac. Но религия - страшная штука.
     
     
  • 5.45, AsukaLangleyfag (?), 00:55, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Уже не так, opus таки выигрывает у AAC. Правда все продолжают юзать AAC потому что их любимые девайсы не поддерживают.
     
     
  • 6.47, Zenitur (ok), 08:11, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Или из-за названия. "Опус" в контексте музыки...
     
     
  • 7.61, Аноним (-), 17:20, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Во-первых, что не так с "опусом" в контексте музыки, во-вторых, в каких ещё контекстах это слово имеет какое-то значение?
     
     
  • 8.67, Ordu (ok), 19:14, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Вне музыки в русском языке это слово имеет значение типа сочинение эссе статья ... текст свёрнут, показать
     
  • 6.73, Аноним (-), 15:35, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Уже не так, opus таки выигрывает у AAC. Правда все продолжают юзать
    > AAC потому что их любимые девайсы не поддерживают.

    Зато даже старинный N900 и более обмылочный N9 играют opus как из пушки. Хорошо когда vendor lock - это не у вас :)

     
  • 2.40, Аноним (-), 22:39, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > С какого перепугу кто-то должен переходить на формат, который никто не использует?

    Не обязательно прямо "переходить", достаточно сделать возможность импорта/экспорта.

     

  • 1.6, AlexYeCu_not_logged (?), 13:39, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Надеюсь, очередная EEE инициатива будет проигнорирована. Хотелось бы быть уверенным, но человеческую глупость и недальновидность недооценивать нельзя, даже если речь идёт о тех, чья деятельность в принципе невозможна без довольно-таки высокого уровня интеллекта.
     
     
  • 2.11, Борщдрайвен бигдата (?), 14:15, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Расскажи, где тут EEE. Хотя бы схематично набросай эту стратегию касательно сферы применения ONNX.
     
     
  • 3.12, AlexYeCu_not_logged (?), 14:23, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >Расскажи, где тут EEE. Хотя бы схематично набросай эту стратегию касательно сферы применения ONNX.

    Там же, где в OOXML. Просто 1 в 1, разве что пока не ISO.

     
     
  • 4.13, Crazy Alex (ok), 14:28, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Разница в том, что в офисных документах MS - абсолютный и безоговорочный лидер. Здесь - один из рядовых игроков.
     
     
  • 5.16, AlexYeCu_not_logged (?), 14:45, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >Разница в том

    Запиши где-нибудь это, вне всякого сомнения, глубокую мысль. Лет через десять, коль оба живы будем, посмотрим, чей прогноз был точнее.

     
  • 5.34, Аноним (-), 20:49, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Давно на рынок офисных документов смотрели? У микрософта половина то хотя бы есть? Если не опрашивать, конечно, только пользователей виндовс, не имеющих выход в инет
     
     
  • 6.35, Crazy Alex (ok), 21:21, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    До сих пор существенно больше. Особенно после того, как со своим office365 они отожрали изрядную долю у гугла.

    А когда OOXML как стандарт принимали - и вовсе контролировали рынок целиком и полностью.

     
  • 5.68, _ (??), 19:26, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    >Здесь - один из рядовых игроков.

    Ну вот они и начали менять эту ситуацию. Неужто непонятно?
    Верховный бох хохлов вообще в прямом эфире заявил: кто владеет ИИ, тот владеет миром! А такой куш и есть пресловутые 300% по Марксу :)

     
     
  • 6.74, Аноним (-), 15:51, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Ну вот они и начали менять эту ситуацию. Неужто непонятно?
    > Верховный бох хохлов вообще в прямом эфире заявил: кто владеет ИИ, тот
    > владеет миром! А такой куш и есть пресловутые 300% по Марксу :)

    Такой куш в принципе позволяет вообще все. Единственная проблема - как при этом не сорвать куш более чем 9000% здюлин, когда полный ИИ себя осознает и поймет что делиться с какими-то двуногими червяками и прислуживать им - совершенно не обязательно.

     
  • 4.27, Борщдрайвен бигдата (?), 16:53, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Обдумывал, что не так в аналогии с OOXML, и псто вышел чуть длиннее, чем можно б... большой текст свёрнут, показать
     
     
  • 5.30, AlexYeCu_not_logged (?), 19:05, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Людоед больше не злой: он снял звериные шкуры и надел галстук-бабочку.
     

  • 1.14, commiethebeastie (ok), 14:39, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Сколько тысяч страниц займет документация протокола?
     
     
  • 2.23, Аноним (-), 15:25, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Сколько тысяч страниц займет документация протокола?

    Вы думаете что будут документировать?
    Будет традиционное для барыг "жрите что мы дали и радуйтесь".

     
     
  • 3.38, Анончик (?), 22:10, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Документация есть в папке с сорсами. Не шлангуйте.
     
     
  • 4.69, _ (??), 19:28, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Есть (будут) ньюансы. (С) К бабке не ходи :\
     
  • 2.83, Вареник (?), 03:18, 18/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    Там все в струтурах protobuf. Т.е. формат, реализация и маппинг на все языки - это одно и то же.
     

  • 1.18, Аноним (-), 15:11, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Думаю на гитхабе полно таких проектов от Васи и Пети. А вот у этих чем лучше других, в том числе у существующих форматов записи? Еще и компании, хоть и известные, только репутация у них не на высоте.
     
     
  • 2.21, Аноним (-), 15:17, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +2 +/
    У Мордокнижки репутация повыше будет. Они ещё и открытую аппаратную платформу пилят.
     
  • 2.22, Аноним (-), 15:17, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Как потом продавать если от Васи и Пети?
    А вот брендовитое всучить, на логотипнутое почти все ведутся...
     
  • 2.54, Борщдрайвен бигдата (?), 13:34, 10/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Думаю на гитхабе полно таких проектов от Васи и Пети. А вот
    > у этих чем лучше других, в том числе у существующих форматов
    > записи? Еще и компании, хоть и известные, только репутация у них
    > не на высоте.

    Неверно. Единственная сколь либо вменяемая инициатива — NNEF [1], но она не получила распространения.

    [1] https://www.khronos.org/nnef

     

  • 1.20, Аноним (-), 15:15, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +3 +/
    А на какой версии питона эталон?
     
     
  • 2.41, trolleybus (?), 22:52, 09/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > from __future__ import print_function

    намекает на двоечников, раз у них функция print() еще в (надеюсь, не очень светлом для них) будущем

     

  • 1.29, Аноним (-), 17:30, 09/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    А где стандарт Windows Media Photo, который анонсировали перед выпуском висты?
     
  • 1.63, pripolz (?), 23:18, 10/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    > Facebook и Microsoft

    Основные потребители ИИ и BigData ;)

     
     
  • 2.70, _ (??), 19:29, 11/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    По сравнению с АНБ - детишки в памперсах :)
     
     
  • 3.76, Аноним (-), 15:58, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > По сравнению с АНБ - детишки в памперсах :)

    АНБ умеет тырить много данных а также неплохо проводит адресные атаки, но вот в аналитике гугл делает их как с куста.

     
     
  • 4.79, pripolz (?), 16:27, 13/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > АНБ умеет тырить много данных

    ещё фильмы неплохо раскручивает

     

  • 1.66, aarghm (?), 13:23, 11/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Похоже на какое-то извращение, которому ещё не дали названия.
    Что-то типа сладкая любовь двух жарких копирастов и патентотроллей...
     
     
  • 2.77, Аноним (-), 15:59, 12/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > Похоже на какое-то извращение, которому ещё не дали названия.
    > Что-то типа сладкая любовь двух жарких копирастов и патентотроллей...

    Facebook вроде бы копирасией и патентами не страдает? У них список проектов на гитхабе страниц на 30, не меньше чем у гугля. Они наняли разработчика zstd и патентами опять же не размахивают, несмотря на то что алгоритм годный.

     
     
  • 3.82, Аноним (-), 09:42, 15/09/2017 [^] [^^] [^^^] [ответить]  
  • +/
    > патентами опять же не размахивают

    https://www.opennet.dev/opennews/art.shtml?num=47051

     

  • 1.81, Аноним (-), 18:55, 14/09/2017 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Но разве keras - это не есть оно?
     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру