The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Компания Microsoft открыла код распределённого инструментари..."
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Компания Microsoft открыла код распределённого инструментари..."  –1 +/
Сообщение от opennews (??) on 13-Ноя-15, 22:30 
Компания Microsoft объявила (http://blogs.technet.com/b/inside_microsoft_research/archive...) о переводе в разряд открытых проектов инструментария DMTK (http://www.dmtk.io) (Distributed Machine Learning Toolkit), предназначенного для создания распределённых систем машинного обучения. Система может применяться для решения таких задач, как распознавание естественного языка, классификация документов, компьютерное зрение, распознавание речи и определение смысла текстовой информации.

В состав инструментария входят:


-  Масштабируемый фреймворк машинного обучения, состоящий из хранилища Parameter Server (http://parameterserver.org/), поддерживающего хранение гибридных моделей данных, и клиентского SDK, который можно применять для планирования работ на стороне клиента, организации обучения моделей и поддержания локального кэша моделей, синхронизированного к моделями на Parameter Server.

-  Cистема тематического моделирования (https://ru.wikipedia.org/wiki/%D0%A2%D0%...)  LightLDA;

-  Реализация распределённых алгоритмов векторного представления слов (https://ru.wikipedia.org/wiki/%D0%92%D0%...) (Word2vec и multi-sense), позволяющих применять методы обработки информации на естественном языке.

<center><a href="http://blogs.technet.com/cfs-file.ashx/__key/communityserver... src="https://www.opennet.dev/opennews/pics_base/0_1447439204.png&q... style="border-style: solid; border-color: #e9ead6; border-width: 15px;max-width:100%;" title="" border=0></a></center>


Разработчикам предоставляется достаточно простой API, предоставляющий средства для обработки данных, построения моделей и организации обучения. Обучение производится с распараллеливанием операций по кластеру из группы серверов с использованием достаточно эффективных алгоритмов. Например, при использовании DMTK кластера из 24 серверов достаточно для классификации документов по  тематической модели, охватывающей миллион тематик и словарь в 20 млн терминов, или для решения задач обработки естественного языка при словаре в 20 млн слов и 1000 тематических векторов, или для обработки коллекции web-документов из  200 миллиардов токенов. Отмечается, что для решения аналогичных задач ранее требовались кластеры из тысяч машин.


Исходные тексты DMTK написаны на языке С++ и опубликованы (https://github.com/Microsoft/DMTK/) под лицензией MIT.  DMTK изначально поддерживает работу в кластерах на базе Linux, используя MPI-интерфейс MPICH (https://www.mpich.org/) (для Windows используется MS-MPI). Готовые бинарные сборки подготовлены (http://www.dmtk.io/download.html) для Windows и Linux (Ubuntu). В качестве шины обмена данными применяется ZeroMQ (http://zeromq.org/).

URL: http://blogs.technet.com/b/inside_microsoft_research/archive...
Новость: http://www.opennet.dev/opennews/art.shtml?num=43323

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Компания Microsoft открыла код распределённого инструментари..."  +5 +/
Сообщение от Аноним (??) on 13-Ноя-15, 22:30 
Соревнуются с гуглом?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Компания Microsoft открыла код распределённого инструментари..."  +6 +/
Сообщение от Зенитарка on 14-Ноя-15, 00:00 
Мелкософт проиграл. Теперь сами юзают Linux и OpenSource, т.к. свой софт весьма сомнительного качества, плохо с безопасностью, да и юзабилити не очень.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

9. "Компания Microsoft открыла код распределённого инструментари..."  +3 +/
Сообщение от XD on 14-Ноя-15, 00:16 
XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки Майкрософт "Хрен знает что туда понапихали" )))
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

10. "Компания Microsoft открыла код распределённого инструментари..."  –5 +/
Сообщение от Аноним (??) on 14-Ноя-15, 00:25 
> XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
> Майкрософт "Хрен знает что туда понапихали" )))

Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?
А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?


Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

12. "Компания Microsoft открыла код распределённого инструментари..."  –1 +/
Сообщение от Аноним (??) on 14-Ноя-15, 02:52 
К сожалению только тогда когда
1. цикл релиза кадого софтинки будет не меньше 2 года
(цикл релиза ядра будет 4 года
сторонних модулей ядра - 2 года)
2. когда все будут нормально зарабтывать деньги
то есть привыкнут чуваки честно нормально расписывать бизнес план
например делаем релиз 1.0 через два года
распространяем софт так-то
зарабатываем на саппорте таким то способом
3. стандартизация и унификация

Прекрасный пример С++ и Java
Как по мне сообщество С++ - позорище которое своим нежеланием договариваться и стандартизировать библиотеки и стиль программирования превратило С++ в язык на котором пишут дрова и прочюю низкоуровневую штуку
Это просто стыдно что потребовалось какое то чмо которое вышло и сказало
у нас тут есть конченый язык под названием джава
но под него есть библиотека.
Все ваши классы будут наследоваться от классов в нашей библиотеке.

И к чему это привело ? Джава - самый популярный язык программирования последние 5 лет.

Какого хрена самим было не сделать подобноее в С++ ?
Был бы прекрасный язык с прекрасными библиотеками.
А сейчас с каждым днем все сложнее найти библиотеку с высокоуровневыми задачами.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

30. "Компания Microsoft открыла код распределённого инструментари..."  +4 +/
Сообщение от Йода on 16-Ноя-15, 01:13 
Наркоман
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

13. "Компания Microsoft открыла код распределённого инструментари..."  +4 +/
Сообщение от Аноним539 (ok) on 14-Ноя-15, 03:15 
> Так когда победите? Когда на моём компе будет Линукс потому, что у всех вокруг тоже Линукс
> и все программы и сервисы заточены под Линукс?

Ну вы вокруг взгляните: большинство трубок, роутеров, серверов в вебе как раз на Линукс, это Линукс везде, а вы дальше своего носа не видите.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

17. "Компания Microsoft открыла код распределённого инструментари..."  –2 +/
Сообщение от Тот_Самый_Анонимус on 14-Ноя-15, 07:16 
Вопрос был, как я понимаю в том, когда линух завоюет ПК. Винда на роутерах даже самым упорoтым не нужна. И вопрошающий(ая) прав(а): несмотря на кучу плюсов линь пока что куpит в сторонке.
Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

18. "Компания Microsoft открыла код распределённого инструментари..."  –2 +/
Сообщение от анончик on 14-Ноя-15, 08:14 
>Трубок

Андроид, как известно, не линукс. Или сделаем исключение?
>Роутеров

В них он настолько кастрирован, что пользоваться им невозможно. Да и без надобности, работает себе и работает.
>Серверов - единтвенное верное применение линуксу.

Так на десктопы когда уже придет? Чтобы хомячки на радостях начали сносить винду и ставить убунту? Сколько еще лет для этого потребуется?

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

20. "Компания Microsoft открыла код распределённого инструментари..."  +1 +/
Сообщение от Аноним (??) on 14-Ноя-15, 08:37 
как только напишут вменяемый DE. За 20 лет не смог никто написать, может еще через 20 лет что-то получится.
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

21. "Компания Microsoft открыла код распределённого инструментари..."  +1 +/
Сообщение от Аноним (??) on 14-Ноя-15, 09:55 
>> Андроид, как известно, не линукс. Или сделаем исключение?

Ядро у него как раз linux, с разморозкой.
p.s. linux - не ОС, а ядро для построения оных. Не надо разводить демагогию.

Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

22. "Компания Microsoft открыла код распределённого инструментари..."  –2 +/
Сообщение от Аноним (??) on 14-Ноя-15, 10:47 
И какие плюсы тебе этот линух даст, если будет насквозь зативоизированным?
Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

15. "Компания Microsoft открыла код распределённого инструментари..."  +/
Сообщение от Аноним (??) on 14-Ноя-15, 04:43 
>> XDD Майкрософт не юзают свой софт потому что ...цитирую главу отдела разработки
>> Майкрософт "Хрен знает что туда понапихали" )))
> Так когда победите? Когда на моём компе будет Линукс потому, что у
> всех вокруг тоже Линукс и все программы и сервисы заточены под
> Линукс?
> А теперь попытайтесь объяснить мне как домохозяйке, как кучка прыщавых необразованных извращенцев
> дрюкающих на куклы может создать мне удовлетворяющий меня юзерспейс!?

Да не как будет как с darwin и os x

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

31. "Компания Microsoft открыла код распределённого инструментари..."  –1 +/
Сообщение от Анон 1 on 16-Ноя-15, 02:00 
>что у всех вокруг тоже Линукс и все программы и сервисы заточены под Линукс?

Что было вначале, все программы и сервисы для мастдая или сам мастдай? Линукс уже есть в наличии и DE не проблема, остальное зависит уже не от него.

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

36. "Компания Microsoft открыла код распределённого инструментари..."  +/
Сообщение от D on 16-Ноя-15, 21:42 
От него зависит стандартизация
1) сроков выпуска ядра, базовых библиотек и виндо манагеров
2) собственно функционала
чтобы были отличия у wm не в названии а собственно в wm
потому что судя по всему происходит какая то фигня
когда разработчики wm почему то пишут софт чего не должно быть
3) интерфейса а также user experience
то что gnome и kde потеряли львиную долю пользователей после 3й версии gnome и 4ой kde
более чем понятно. Пользователь скорее заплатит чем будет разбираться с новым интерфейсом не говоря уже о новом способе хранения конфигов в гноме.
То что у этих двух есть до сих пользователи - это большое недооразумение. Шваль которая приняла подобные решения не имеет права остаться на рынке хоть платного хоть бесплатного софта.
Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

35. "Майкрофоун"  +/
Сообщение от GrammarNarziss on 16-Ноя-15, 21:05 
"Микрософт", позорище
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

16. "Компания Microsoft открыла код распределённого инструментари..."  +/
Сообщение от ыыыыыыыыы on 14-Ноя-15, 05:53 
там все изза бабок, ubuntu server развернуть почти так же легко как вин сервер, тогда нах.я платить бабос за вин сервер если есть лучше и бесплатно?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

23. "Компания Microsoft открыла код распределённого инструментари..."  +2 +/
Сообщение от Аноним (??) on 14-Ноя-15, 11:15 
> ubuntu server развернуть почти так же легко как вин сервер

А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

27. "Компания Microsoft открыла код распределённого инструментари..."  +1 +/
Сообщение от Andrey Mitrofanov on 14-Ноя-15, 11:19 
>> ubuntu server развернуть почти так же легко как вин сервер
> А как же брендовый шилдик прикрутить? Многим он важнее всего прочего ))

Важнее только голограмки блестючие на бумажке с фамилией.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

33. "Компания Microsoft открыла код распределённого инструментари..."  +/
Сообщение от pkdr (ok) on 16-Ноя-15, 09:30 
А как же волшебная вещь, которую хорошо умеет M$ под названием "откат" (ну или bonus для англоговорящих)?
Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

25. "Компания Microsoft открыла код распределённого инструментари..."  +1 +/
Сообщение от ага on 14-Ноя-15, 11:16 
Майкрософт посмотрел на свои прайсы и вскрикнул "да шли бы они нахрен с такими ценами!"?
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

19. "Компания Microsoft открыла код распределённого инструментари..."  –2 +/
Сообщение от Аноним (??) on 14-Ноя-15, 08:33 
как там 1% поживает? уже не 1, а 0.7?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

26. "Компания Microsoft открыла код распределённого инструментари..."  +3 +/
Сообщение от Аноним (??) on 14-Ноя-15, 11:17 
кисло там, доля вин сервер уже 0.5 и продолжает снижаться!
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

24. "Компания Microsoft открыла код распределённого инструментари..."  –1 +/
Сообщение от CSRedRat (ok) on 14-Ноя-15, 11:16 
Сатья Наделла учит маму пользоваться генту, т.к. там юзабилити лучше!
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

28. "Компания Microsoft открыла код распределённого инструментари..."  –1 +/
Сообщение от Andrey Mitrofanov on 14-Ноя-15, 11:25 
> Сатья Наделла учит маму

Она умерла вроде? Тема для шуток?

> пользоваться генту, т.к. там юзабилити лучше!

Ответить | Правка | ^ к родителю #24 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру