URL: https://www.opennet.dev/cgi-bin/openforum/vsluhboard.cgi
Форум: vsluhforumID3
Нить номер: 110473
[ Назад ]
Исходное сообщение
"В Москве состоится семинар о полнотекстовом поиске в PostgreSQL"
Отправлено opennews , 16-Фев-17 12:33 
21 февраля в Москве состоится (https://www.meetup.com/postgresqlrussia/events/229372553/) открытый семинар (митап) #RuPostgres, основной темой которого станет полнотекстовый поиск.  Планируется выступление Фёдора Сигаева и Артура Закирова. На семинаре будет показано как организовать полнотекстовый поиск по массиву текстов, рассказано про фасетный поиск, новинки свежей версии PostgreSQL и новый индекс RUM.
Вопросы можно присылать заранее, чтобы докладчики включили ответы в своё выступление. Участие бесплатное, необходима регистрация (https://www.meetup.com/postgresqlrussia/events/229372553/). Также планируется онлайн-трансляция для участников сообщества #RuPostgres.

URL: https://www.meetup.com/postgresqlrussia/events/229372553/
Новость: http://www.opennet.dev/opennews/art.shtml?num=46054

Содержание
Сообщения в этом обсуждении
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 16-Фев-17 12:33 
Чем отличается обычный sql запрос по всей базе от полнотекстового поиска?
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 16-Фев-17 14:15 
Подсистема полнотекстового поиска по сути индексирует поля, которые невозможно проиндексировать классически - те, в которых хранятся целиком документы, созданные в офисных пакетах (в т.ч. бинарные), XML-документы и т.п. Очень востребовано в издательских системах, системах док. оборота и т.п.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 16-Фев-17 14:23 
спасибо!
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 16-Фев-17 20:23 
нзч
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Фтщт , 16-Фев-17 21:11 
зачем придумывать если не знаешь?
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 16-Фев-17 14:28 
Не спец по postgres, но в других субд колонки типа varchar имеют ограничения по размеру и против них используется обычный bs-tree индекс. Этот индекс никак не может помочь при поиске вроде '%hello world%' и будет full-range scan.
По этой причине если нужно хранить много текста используется всякие CLOB с гигабайтными лимитами и индексы строятся не на текст а на каждое слово, что позволяет осуществить выборку записей где это слово встречается.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено КО , 16-Фев-17 17:11 
А это и есть запрос типа:
А найди ка мне такие строки в Которых упоминаются слова Иванов,Иван,Иванович неподалеку друг от друга и в любом падеже, на крайняк любое из них с инициалами.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено KonstantinB , 17-Фев-17 00:59 
Вот есть у тебя какая-нибудь энциклопедия на 100500 страниц, а в конце алфавитный указатель вида "абажур - стр. 4, 51, 82".

Если ты будешь перелистывать в поиске абажура все 100500 страниц - это будет обычный SQL-запрос по базе. Если воспользуешься указателем - это будет в первом приближении то, как работает полнотекстовый поиск (по одному слову).

Если хочется понаучнее - почитай про инвертированные индексы и про алгоритмы-структуры полнотекстового поиска, заточенные под естественный язык (стеммеры, расстояния между словами, вот это все).

"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено DmA , 16-Фев-17 13:44 
Очень редко тут пишут новости Постгресмены - все две новости у них, одна сегодня, вторая в  далёком 2007 году.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Ilya Indigo , 16-Фев-17 16:28 
Надеюсь Sphinx они не обойдут стороной и хотя бы сделают сравнение по производительности, нагруженности и гибкости по сравнению с нативными решениями.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено QuAzI , 16-Фев-17 17:03 
Как раз тоже вспомнил о нём. Ни в одной СУБД не видел таких возможностей текстового поиска встроенных, обычно всё грустненько и на семинар не тянет ну никак.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Vz , 16-Фев-17 23:00 
что именно есть в sphinx, чего нет в постгресе?
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено QuAzI , 17-Фев-17 11:48 
> что именно есть в sphinx, чего нет в постгресе?

Например стемминг, словоформы (типа алиасов, например замена см->сантиметр, чтобы получать равноценный выхлоп), поиск одной фразы по нескольким колонкам с ранжированием результатов выдачи (формула ранжирования задаётся весьма гибко)

"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 17-Фев-17 22:59 
О чём вы? Не уверен насчёт ранжирования, но стеминг и алиасы в postgres есть.

У sphinx есть интересные оптимизации, архитектура, об этом бы рассказали.

"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено QuAzI , 17-Фев-17 23:45 
Пруфы в студию, пожалуйста. А то может народ зря люцены и сфинксы во все места втыкает чтобы поиск был хотя бы на поиск похож
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Michael Shigorin , 19-Фев-17 20:09 
>> что именно есть в sphinx, чего нет в постгресе?
> Например стемминг, словоформы [...]

Кстати, если кому понадобится, но не подойдёт по каким-то причинам сфинкс -- гляньте ещё xapian.

"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 17-Фев-17 15:02 
Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Ilya Indigo , 17-Фев-17 15:46 
> Есть сравнение но 5-летней давности http://lib.custis.ru/Сравнение_движков_полнотекстового_поиска

Благодарю.
Тут видно, что реализация Sphinx всех уделывает, и мне кажется, что и сейчас мало что изменилось.
Посмотрим на отчёты с конференции.

"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Аноним , 17-Фев-17 15:56 
Ну как минимум вот пилится новый индекс RUM, он вроде как заточен под текстовый поиск. В самом постгресе его ещё нет (он всё же ещё но не доделан) но можно собрать самому.
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Горегоре , 21-Фев-17 10:54 
Solr?
"В Москве состоится семинар о полнотекстовом поиске в Postgre..."
Отправлено Ilya Indigo , 22-Фев-17 00:09 
> Solr?
> Lucene — это Java...

Дальше этих слов не читал.

"google - типы индексов postgrsql"
Отправлено имя , 17-Фев-17 13:58 
https://postgrespro.ru/docs/postgresql/9.6/indexes-types