OpenForum RSS: Как получить язык ISO 639 из юникода? Надо автоопределять https://opennet.dev/openforum/vsluhforumID9/8792.html язык, нет ли готовых функций напр. у ICU? Копаю пока безрезульт, подскажи, если знаешь, ALL<br> Как получить язык ISO 639 из юникода? Надо автоопределять (аноним) https://opennet.dev/openforum/vsluhforumID9/8792.html#5 Fri, 06 Aug 2010 13:26:07 GMT &gt;Ну да, есть ведь коды конкретно принадлежащие языкам. Если нет - значит <br>&gt;неизвестно, на нет и суда нет, а если есть - я <br>&gt;думал, что есть готовые решения на C++ получать это автоматически. Всё <br>&gt;надо делать самому, гля <br><br>Те кто хочет странного, всегда все делают сами.<br> Как получить язык ISO 639 из юникода? Надо автоопределять (vle) https://opennet.dev/openforum/vsluhforumID9/8792.html#4 Thu, 05 Aug 2010 22:12:08 GMT &gt;Собственно, текст в UTF-8 может содержать одновременно несколько языков. Что вы предполагаете <br>&gt;получить в таком случае? <br><br>Такие вещи делаются с помощь статистики. Ключевые слова: цепи маркова (hidden markov model), сглаживание (smoothing, Good-Turing, Witten-Bell, Add-lambda,...), текстовый корпус (texts corpus)<br>и др.<br><br> Как получить язык ISO 639 из юникода? Надо автоопределять (UTF8) https://opennet.dev/openforum/vsluhforumID9/8792.html#3 Mon, 12 Jul 2010 16:19:36 GMT &gt;[1] наводит на мысль, что можно провести нормализацию формы C, а потом, <br>&gt;закрыв глаза на диапазон 0x0300 - 0x036F и ему подобные из <br>&gt;[2], прикинуть, что там за язык. <br><br>Ну да, есть ведь коды конкретно принадлежащие языкам. Если нет - значит неизвестно, на нет и суда нет, а если есть - я думал, что есть готовые решения на C++ получать это автоматически. Всё надо делать самому, гля<br><br> Как получить язык ISO 639 из юникода? Надо автоопределять (arturpub) https://opennet.dev/openforum/vsluhforumID9/8792.html#2 Wed, 30 Jun 2010 16:52:23 GMT [1] наводит на мысль, что можно провести нормализацию формы C, а потом, закрыв глаза на диапазон 0x0300 - 0x036F и ему подобные из [2], прикинуть, что там за язык.<br><br>[1] http://ru.wikipedia.org/wiki/Unicode#.D0.9C.D0.BE.D0.B4.D0.B8.D1.84.D0.B8.D1.86.D0.B8.D1.80.D1.83.D1.8E.D1.89.D0.B8.D0.B5_.D1.81.D0.B8.D0.BC.D0.B2.D0.BE.D0.BB.D1.8B<br>[2] http://www.unicodemap.org/<br> Как получить язык ISO 639 из юникода? Надо автоопределять (jd) https://opennet.dev/openforum/vsluhforumID9/8792.html#1 Mon, 28 Jun 2010 23:43:28 GMT Собственно, текст в UTF-8 может содержать одновременно несколько языков. Что вы предполагаете получить в таком случае?<br>