https://www.opennet.ru/openforum/vsluhforumID9/8150.html Добрый день, уважаемые.<br><br>Подскажите пожалуйста почему Perl не парсит рег.выражения на русском вида [а-яА-Я] при использовании UTF8. Хотя с CP1251 проблем нет(если делаю iconv + использую setlocale(LC_CTYPE,"ru_RU.CP1251");<br><br>Имею:<br>$ locale<br>LANG=ru_RU.UTF-8<br>LC_CTYPE="ru_RU.UTF-8"<br>LC_NUMERIC="ru_RU.UTF-8"<br>LC_TIME="ru_RU.UTF-8"<br>LC_COLLATE="ru_RU.UTF-8"<br>LC_MONETARY="ru_RU.UTF-8"<br>LC_MESSAGES="ru_RU.UTF-8"<br>LC_PAPER="ru_RU.UTF-8"<br>LC_NAME="ru_RU.UTF-8"<br>LC_ADDRESS="ru_RU.UTF-8"<br>LC_TELEPHONE="ru_RU.UTF-8"<br>LC_MEASUREMENT="ru_RU.UTF-8"<br>LC_IDENTIFICATION="ru_RU.UTF-8"<br>LC_ALL=<br><br>Файл, к-ый хочу пропарсить имеет строки вида:<br>"Администратор" "Марфа Васильевна"<br>Естественно он сохранен в UTF-8<br><br>Мой скрипт:<br>#!/usr/bin/perl<br><br>use strict;<br>use warnings;<br><br>open(DATA,'file.txt');<br>my $infile = &lt;DATA&gt;;<br>close DATA;<br><br>while($infile =~ m/([А-Яа-я]+)/gi) {<br> print "$1\n";<br>}<br><br>На выходе получаю:<br>$ perl report.pl<br>Админи<br><br><br>а<br>о<br>Ма<br><br>а<br>Ва<br>ил<br>евна<br><br>В чем трабла?<br>На википедии написано что с юн https://www.opennet.ru/openforum/vsluhforumID9/8150.html#10 Thu, 21 Aug 2014 06:53:04 GMT - никаких проблем с использовнием utf8 в перл не возникает,<br> и в частности в связи с тем что кодировка мультибайтовая.<br><br>- тормознутой кодировка быть не может, могут быть тормознутыми<br> алгоритмы (работающие с данными в разных кодировках).<br><br>- на этапе обучения всегда бывают вопросы, здесь и есть их место.<br><br>- если есть данные о несоответствии поведения перл описанному<br> в документации пишите разработчикам перл.<br><br>- "люди с таким упрорством пытаются использовать" - это вы видимо<br> про разработчиков таких систем как google yandex rambler и т.д.<br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#9 Thu, 21 Aug 2014 05:47:09 GMT А вы не пробовали задать другую локаль к примеру вызвав функцию setlocale? И у вас сразу всё станет настроено на другой язык и другую кодировку.. Так же легко перестроить среду с которой вы работаете, к примеру редактор, сообщения об ошибках и т.п. Да хоть всю систему если надо... Если у вас нет соотвствующей локализации для perl а ид программ, то их легко скачать с интернета и установить!!! Это же свободное ПО и там есть все мыслимые и немыслимые локализации!!! Ну в крайнем случае можете написать свою... Но нафига, если есть готовая!<br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#8 Thu, 21 Aug 2014 05:38:03 GMT &gt;[оверквотинг удален]<br>&gt; $bytes = encode('utf-8', $string); # в байты, (из внутреннего формата) <br>&gt; $string = decode('utf-8', $bytes); # преобразовать во внутренний формат <br>&gt; ! ВАЖНО, если perl собран и операционная система настроена так, что внутреннее <br>&gt; представление переменных в utf-8 и print'ы и прочее выводят в utf-8, <br>&gt; то это не значит что не надо пропускать через decode( 'utf-8', <br>&gt; ... ), строки пришедшие откуда-то (из socket'а или fcgi, или модуля <br>&gt; какого-нибудь и т.п.) то что строка в utf-8 еще не значит <br>&gt; что она во внутреннем формате.<br>&gt; При работе с файлами можно использовать специальный синтаксис при открытии: <br>&gt; open FH, "&lt;:utf8", $filename; # подробнее "perldoc -f open" <br><br>Мне странно читать подобные недовольсва... некоторые абсолютно уверены, что это какая-то ошибка и потому не рабоате! Нет граждане непонимающие это не ошибка... И оно не должно работать Просто потому что всё это работает через ctype функции... А они не работают с мультибайтовыми кодировками! Ещё более странно д https://www.opennet.ru/openforum/vsluhforumID9/8150.html#7 Tue, 03 Dec 2013 11:53:24 GMT В перле к строкам прикручены внутренние флаги, в частности есть флаг что строка во внутреннем формате, только с этим форматом нормально работают регулярные выражения и всякие там length и т.п.<br><br>Большинство проблем с кодировками можно решить придерживаясь например такой схемы работы:<br><br>use utf8; # предписывает что константы и регулярные выражения, имеющие не-ASCII символы, <br>должны трактоваться как уникодные и приводиться ко внутреннему формату<br><br>use Encode; # включаем модуль работы с кодировками.<br><br>$bytes = encode('utf-8', $string); # в байты, (из внутреннего формата)<br>$string = decode('utf-8', $bytes); # преобразовать во внутренний формат<br><br>! ВАЖНО, если perl собран и операционная система настроена так, что внутреннее представление переменных в utf-8 и print'ы и прочее выводят в utf-8, то это не значит что не надо пропускать через decode( 'utf-8', ... ), строки пришедшие откуда-то (из socket'а или fcgi, или модуля какого-нибудь и т.п.) то что строка в utf-8 еще не значит что она во внутреннем формате. https://www.opennet.ru/openforum/vsluhforumID9/8150.html#6 Thu, 12 Mar 2009 23:14:16 GMT Ну не все же одновременно надо было добавлять. Кроме того utf8::upgrade($infile); перед использованием my $infile вообще не имеет смысла. Используйте use strict дабы избегать таких ошибок. <br>Попробуйте такой вариант:<br>#!/usr/bin/perl -w<br>use strict;<br><br>use utf8;<br><br>open(DATA,'file.txt');<br>my $infile = &lt;DATA&gt;;<br>utf8::decode($infile);<br>close DATA;<br><br>while($infile =~ m/([А-Яа-я]+)/gi) {<br> my $s=$1;<br> #нельзя напрямую применять encode к $1 иначе получим бред после первой строки<br> utf8::encode($s);<br> print "$s\n";<br>}<br><br>А вообще работа с юникодом в перле(да и в большинстве других языков) это шаманство, особенно когда много _различных_ потоков ввода/вывода. <br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#5 Thu, 12 Mar 2009 22:52:44 GMT &gt;man perluniintro <br>&gt;man perlunifaq <br>&gt;man perlunitut <br>&gt;man perlunicode <br>&gt;Можно начать с попытки добавлять <br>&gt;use utf8; <br>&gt;use open ':encoding(utf8)'; <br>&gt;utf8::upgrade($infile); <br>&gt;Если не получится, то придется таки читать. <br><br>Добавил, теперь скрипт выглядит так:<br>$ less report.pl<br>#!/usr/bin/perl<br><br>use utf8;<br>use open ':encoding(utf8)';<br>utf8::upgrade($infile);<br><br>open(DATA,'file.txt');<br>my $infile = &lt;DATA&gt;;<br>close DATA;<br><br>while($infile =~ m/([А-Яа-я]+)/gi) {<br> print "$1\n";<br>}<br><br>$ less file.txt<br>"Администратор" "Марфа Васильевна"<br><br>$ ./report.pl<br>Wide character in print at page.analyser_simplified.pl line 12.<br>Администратор<br>Wide character in print at page.analyser_simplified.pl line 12.<br>Марфа<br>Wide character in print at page.analyser_simplified.pl line 12.<br>Васильевна<br><br>Работает!! Спасибо. Осталось теперь тока разобраться с руганью про wide character.<br>завтра почитаю. спасибо.<br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#4 Thu, 12 Mar 2009 22:25:20 GMT &gt;&gt;И обычно во всех регекспах есть спецпоследовательность для обозначения любого набора букв. <br>&gt;&gt;Что-то вроде [[:alnum:]] или \w, уж не знаю как в перле. <br>&gt;Это по умолчанию только для английских, причем не только в перле.<br><br>В тикле под \w и [[:alpha:]] буквы из русской локали тоже подходят. Так что надо читать ман по конкретному языку.<br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#3 Thu, 12 Mar 2009 21:54:52 GMT &gt;И обычно во всех регекспах есть спецпоследовательность для обозначения любого набора букв. <br>&gt;Что-то вроде [[:alnum:]] или \w, уж не знаю как в перле. <br><br>Это по умолчанию только для английских, причем не только в перле. Кроме того в эти классы цифры тоже входят, а в \w еще и подчеркивание. <br>Перл позволяет работать с возможностями isalpha для локалей, в том числе и utf8, но для этого нужно явно указывать use locale.<br><br><br> https://www.opennet.ru/openforum/vsluhforumID9/8150.html#2 Thu, 12 Mar 2009 18:46:49 GMT &gt;Мой скрипт: <br>&gt;#!/usr/bin/perl <br><br>В какой кодировке файл скрипта сохранён?<br><br>И обычно во всех регекспах есть спецпоследовательность для обозначения любого набора букв. Что-то вроде [[:alnum:]] или \w, уж не знаю как в перле.<br>