Google открыл код SyntaxNet, системы восприятия естественного языка

13.05.2016 10:18

Компания Google анонсировала открытие исходных текстов фреймворка SyntaxNet, предоставляющего модель парсинга, описывающую синтаксис естественного языка. SyntaxNet может применяться для построения систем разбора предложений на естественном языке, в том числе в составе системы машинного обучения TensorFlow. Более того, для TensorFlow опубликована уже натренированная модель нейронной сети "Parsey McParseface", пригодная для разбора текста на английском языке. Код открыт под лицензией Apache 2.0.

Система разработана в рамках проекта, основными задачами которого является придание компьютерным системам возможности читать и понимать человеческий язык. Возможности "Parsey McParseface" и SyntaxNet сравниваются со способностью пятилетнего ребёнка усваивать нюансы языка. Точность работы модели "Parsey McParseface" оценивается Google в 94%. Производительность SyntaxNet позволяет обрабатывать приблизительно 600 слов в секунду на обычном настольном компьютере. В качестве сопутствующих инструментов предоставлены средства для анализа лингвистической структуры предложений или высказываний, показывающие функциональную роль каждого слова.

Например, при разборе фразы "Алиса увидела Боба", Алиса и Боб определяются как объекты (существительные), а "увидела" как определяющее действие ключевое слово (глагол). Возможен разбор и более сложных конструкций, например "Алиса, читавшая про SyntaxNet, вчера увидела Боба в прихожей". "Parsey McParseface" и SyntaxNet дают возможность определить зависимости и связи между частями предложения, и ответить на такие вопросы, как кого увидела Алиса, кто увидел Боба, о чём читала Алиса и когда Алиса увидела Боба. При этом сильной стороной SyntaxNet является вовлечение системы машинного обучения, которая позволяет правильно разобрать неоднозначные фразы, воспринимаемые человеком на интуитивном уровне (например, "Я забронировал билет в Google" воспринимается как покупка в Google, а не как билет для доступа в Google).

исправить +19 +/–

Лицензия: CC BY 3.0

Короткая ссылка: https://opennet.ru/44416-tensorflow

Ключевые слова: tensorflow

При перепечатке указание ссылки на opennet.ru обязательно

Обсуждение (51)

1.1, Аноним (-), 10:32, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
>Алиса, читавшая про SyntaxNet, вчера увидела Боба в прихожей Перевод незаметен. Это какой язык вообще?

2.3, Crazy Alex (ok), 10:48, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+1 +/–

А в чём дело? Нормальная фраза.

Вот что я не могу понять - так это в чём величие. Подобное делается без всякой супералгоритмики уже многие годы, и скорость явно повыше, чем 600 слов в секунду - к примеру, чем-нибудь вроде http://aot.ru/cgi-bin/synan.py

Наверняка гугловцы что-то покруче сделали, но вот что именно - из статьи непонятно.

3.4, Crazy Alex (ok), 10:52, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+5 +/–
Разобрался. Их основное достижение - хорошее понимание всяких неоднозначных конструкций. То есть если предложение можно понять несколькими способами, выбирается тот же вариант, что выбрал бы человек. К примеру, в предложени "Боб зашёл в магазин с сумкой" сумка будет отнесена к Бобу, а не к магазину.

4.18, тоже Аноним (ok), 13:54, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+7 +/–
Однако фразу "Алиса зашла в магазин с сумочками" человек поймет совсем иначе. Во всяком случае, женатый человек ;)

5.20, Crazy Alex (ok), 14:16, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Ну вот поэтому туда нейросеть и приходится совать

6.40, _ (??), 16:40, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Глупцы! Их британские коллеги достоверно доказали что женская логика не моделируется от слова напрочь! :-р

7.56, anonimous (?), 10:41, 15/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Логика не делится по половому признаку.

5.39, _ (??), 16:39, 13/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Женатый как раз поймёт не как ты :) Как ты он поймёт фразу "Алиса вышла из магазина с сумочками" :-\| Но как говорил один султан: "Нет такой красавицы, чтобы стоила более половины состояния!" :-)

6.47, тоже Аноним (ok), 18:26, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
Вот как женился 14 лет назад - это помню. А как мы с вами кого-то когда-то пасли - что-то вылетело из памяти...

3.24, Лингвист (?), 14:37, 13/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Да, это просто очередной синтаксический парсер, на несколько процентов обгоняющий в качестве предыдущего чемпиона. Ничего прямо сверхъестественного тут нет, но всё равно приятно, что Гугл открыл код.

4.41, _ (??), 16:45, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Ничего прямо сверхъестественного тут нет "Ви слишком много кушать" (С) Ширли-Мырли Как то потихоньку многое о чём писали в НФ произведениях старого века - входит в жизнь и становится рутиной. У меня СМО тоже всю нетленку через речевой ввод набирает. И как то уже и не удивляешься :-/

5.45, Лингвист (?), 17:05, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Эффективные открытые парсеры существуют уже не менее десятка лет. http://maltparser.org, например. SyntaxNet обгоняет предыдущие результаты на пару процентов, это прекрасно, но не то чтобы мир перевернулся.

2.21, Аноним (-), 14:18, 13/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+3 +/–
Алиса из Купчино, читавшая за Syntaxnet, вчера контачилась с Бобом за гаражами.

3.42, _ (??), 16:48, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
> Алиса из Купчино, читавшая за Syntaxnet, вчера контачилась с Бобом за гаражами. А Аноним подглядывал и д*чл вприсядку. Гугель сраму не имёт, упражняйся сколько влезет, тебя всё равно распознают, про-индексируют и подвесят на крючок до нужного времени :-\

1.2, psrafo (ok), 10:41, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
Мне показалось, или они сказали SkyNet ?

2.5, Crazy Alex (ok), 10:53, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Тебе показалось. Это тихий мирный синтаксический разбор, просто по возможности корректный в присутствии неоднозначностей.

3.43, _ (??), 16:53, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
> Тебе показалось. Это тихий мирный синтаксический разбор, просто по > возможности корректный в присутствии неоднозначностей. Таки почему ви нам заговариваете зюбы?! Всё это юзается для анализа содержимого форумов, чата и потока мыла доступного Добро Inc. и уже давно. И не только Боборо, но у других зонты другие.

4.44, Crazy Alex (ok), 16:56, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Сюрприз - это кто угодно может использовать. Открытого софта подобного рода полно, качество ненамного хуже, что при желании решается эвристиками для конкретной предметной области. Беда только в том, что для анализа надо хоть как-то понимать, что именно тебе нужно. А у большинства анонимов-параноиков с этим традиционные проблемы.

5.48, тоже Аноним (ok), 18:29, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Параноики просто не в курсе, что Интернет - это удачный эксперимент по созданию "демона второго рода" Лема.

1.6, Andrey Mitrofanov (?), 11:00, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

13.05.2016 10:18 Google открыл код SyntaxNet, системы восприятия естественного языка

> Возможен разбор и более сложных конструкций, например "Алиса, читавшая про SyntaxNet,
> вчера увидела Боба в прихожей". "Parsey McParseface" и SyntaxNet дают
> возможность определить зависимости и связи между частями предложения, и ответить на
> такие вопросы, как кого увидела Алиса, кто увидел Боба, о чём
> читала Алиса и кода Алиса увидела Боба.

Дежавю. //А у гугля голоса не открывали?

10 мая 2016 Разработчики революционного голосового помощника Viv показали своё детище в действии

"К примеру, Даг Киттлаус (Dag Kittlaus), который является одним из основателей новой компании, задал вопрос следующего содержания: «Будет ли завтра в районе моста Golden Gate теплее 70 градусов после 17:00?» В данном случае, конечно, подразумевались градусы по Фаренгейту (около 21°С). Viv понял вопрос и ответил, что не будет, приведя заодно сводку погоды, соответствующую запрошенному периоду.

Далее Киттлаус показал логические схемы различных запросов. Правда, подробно рассмотреть их на видео нельзя, но можно примерно понять, «логику мышления» Viv." --http://www.ixbt.com/news/2016/05/10/razrabotchiki-revoljucionnogo-golosovogo-

1.7, hoopoe (ok), 11:15, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
пусть разберёт фразу: косая с косой косила на косе

2.8, hoopoe (ok), 11:18, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
ушло слишком рано... так надо: косая с косой косила на косе косой

3.9, fomkin (?), 11:38, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Косой косой косил Косой.

4.10, моррут (?), 11:40, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+12 +/–
Закосяча косячок, с косой косой в косой косе, Косец (косящатый косой косец (косок, косач, косарь) из Косы) косой косой Косого из Косы и Косая (косая косушка (косица) коса с косой косой в косой косе) косенькой косой Косы из Косы косо, косенько касаясь косой косы, наперекосяк от косой косы к косой косе, скосившись с покосившихся косых кос, кося на перекосившихся косуль на косой косе, косно косили некошеную косую косу за косарь, а скосив нескошенное, покосились на косую косу, косея от косяков — перекоса косьбы с косинкой

5.12, Аноним (-), 12:09, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Хорошо! :)

6.33, Crazy Alex (ok), 15:15, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Ну да, вроде того. Крупные компании играются в Big Data потому что их "немногим отличающиеся" модели строятся автоматом, с минимальным привлечением специалистов в конкретной узкой области. В отличие от тех старых простых систем, на создание которых тратилась масса усилий экспертов.

Часть нити удалена модератором

8.38, Crazy Alex (ok), 16:04, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Почему не получилось Получилось Сам же говоришь, что результат их применения ... текст свёрнут, показать

6.49, Анончег (?), 21:51, 13/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

–1 +/–

> играясь с известными ему словами (

"играясь"!!!

Товарищ, из какого зажопинского Мухосранска ты сюда взошёл?

7.50, solomon243 (ok), 22:57, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+2 +/–
Просто глаголу "играя" умышленно придали пренебрежительный оттенок. Вот и все.

8.51, Анончег (?), 23:39, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Ага, ага Пойди это своей бабушке на досуге расскажи Дерёвня Загадюкино вылезла... текст свёрнут, показать

9.53, мимоопровергнул (?), 02:35, 14/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Слово известно, употребляется широко, зафиксировано в словарях http dic acade... текст свёрнут, показать

10.54, тоже Аноним (ok), 10:38, 14/05/2016 [^] [^^] [^^^] [ответить] [↓] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	–1 +/–
Думаю, со временем фразеологизм метать бисер перед свиньями постепенно будет в... текст свёрнут, показать

11.57, anonimous (?), 12:47, 15/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Из Библии церковно-славянский текст В Евангелии от Матфея гл 7, ст 6 прив... текст свёрнут, показать

10.55, Анончег (?), 22:45, 14/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+1 +/–
Ты сам-то по своей ссылке ходил Там вот чего сообщают Обрати внимание на сокра... текст свёрнут, показать

4.11, Аноним (-), 12:09, 13/05/2016 [^] [^^] [^^^] [ответить] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Говорят говорить говори говорю.

5.22, Аноним (-), 14:21, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Управляемое управление управляется с места водителя. (из лекций на военной кафедре)

6.32, Crazy Alex (ok), 15:12, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Совершенно однозначная фраза, кстати, здесь и нейросетка не нужна

7.52, . (?), 01:38, 14/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Ну военные же! Там так и болжно быть, чтоб "без тени сомнения" ... ТовариЩЩ боец! Приказываю копать от забора и до обеда! :)

4.30, Crazy Alex (ok), 15:09, 13/05/2016 [^] [^^] [^^^] [ответить] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Да плевать на такие примеры. Тут и человек не сразу разберётся, если разберётся воообще. На практике смысла в поддержке извращений - никакого.

1.19, Аноним (-), 13:57, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Русский поддерживается?

2.25, Лингвист (?), 14:38, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> Русский поддерживается?

Если обучить на размеченном русском корпусе, то будет поддерживаться.
Авторы выложили модель только для английского.

3.34, Crazy Alex (ok), 15:16, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
И добавить модель русского синтаксиса - нейросеть там только поверх анализатора, для разрешения неоднозначностей.

4.35, Лингвист (?), 15:42, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
"Модель русского синтаксиса" нужна только в том смысле, что люди-аннотаторы должны договориться, как им размечать обучающий корпус. И это давно сделано (http://www.ruscorpora.ru/instruction-syntax.html). Теперь нужно только гугловский алгоритм обучить на этом, и посмотреть будет ли он работать лучше, чем уже существующие парсеры.

5.37, Crazy Alex (ok), 16:01, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Хм, действительно они и парсер на нейросетях сделали... Но зачем? Отдать выбор наиболее вероятного варианта нейросетке - это логично, но парсеры же есть для всех значимых языков на нормальной алгоритмике, и работают с весьма приличной скоростью.

6.46, Лингвист (?), 17:09, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]

+/–

> Хм, действительно они и парсер на нейросетях сделали... Но зачем? Отдать выбор
> наиболее вероятного варианта нейросетке - это логично, но парсеры же есть
> для всех значимых языков на нормальной алгоритмике, и работают с весьма
> приличной скоростью.

Весь синтаксический парсинг - это и есть "выбор наиболее вероятного варианта". Rule-based парсеров уже давно не осталось, все работают на машинном обучении. И нейронные сети показывают результат чуть лучше, чем другие алгоритмы. Поэтому их и используют.

1.27, Аноним (-), 15:01, 13/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↓] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
> Я забронировал билет в Google" воспринимается как покупка в Google, а не как билет для доступа в Google А я вот не знал что в гугл можно совершить покупку и подумал о тракторе. Анализатор какой-то политически ангажированный.

2.28, Аноним (-), 15:06, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Хех, и гуглтранслейт тоже не знает что в гугле можно купить билет.

2.31, Crazy Alex (ok), 15:11, 13/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Нет, просто ты к той аудитории, на текстах которой оно было обучено, отношения не имеешь.

2.59, vvv (??), 12:41, 17/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Эт как бы сунуть в гугл билет бумажный, а вынуть бронированный? Чтобы не мялся наверное? А куда совать то? ... "Госпрода офицеры - молчать!"

1.58, Аноним (-), 21:36, 15/05/2016 [ответить] [﹢﹢﹢] [ · · · ] [↑] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
На русском не заработает. :)) Сдохнет на фразе "да нет наверное".

2.60, Аноним (-), 22:31, 20/05/2016 [^] [^^] [^^^] [ответить] [п╨ п╪п╬п╢п╣я─п╟я┌п╬я─я┐]	+/–
Задорнов, залогиньтесь.

игнорирование участников | лог модерирования

Добавить комментарий

Имя:

E-Mail:

Текст: