The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]



"Выпуск поискового сервера Xapiand 0.9"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от opennews (??), 13-Фев-19, 23:44 
Доступен (https://kronuz.io/Xapiand/news/2019/02/11/xapiand-0-9-0-rele.../)  выпуск поискового сервера Xapiand 0.9 (https://kronuz.io/Xapiand/), предназначенного для хранения, индексации и поиска  большой коллекции документов. Сервер является надстройкой над библиотекой для создания поисковых систем Xapian (https://xapian.org/). Для асинхронной обработки запросов применяется библиотека libev (http://software.schmorp.de/pkg/libev.html).  Код Xapiand написан на C++ и поставляется (https://github.com/Kronuz/Xapiand) под лицензией MIT. Для упрощения развёртывания  предоставляется готовый образ для системы Docker (dubalu/xapiand).


Обращение к серверу производится через HTTP RESTful API. Документы могут представлять собой любые данные в форматах JSON или MessagePack (https://msgpack.org/index.html). Определение схемы хранения не требуется, выборка осуществляется при помощи полнотекстовых поисковых запросов. Поддерживается создание специализированных индексов для определённых типов данных и прикрепление более одного индекса.  В том числе  имеется встроенная поддержка индексации геопространственных данных, позволяющая комбинировать данные о  местоположении с операциями полнотекстового поиска. Поддерживаются различные форматы хранения координат и иерархические пространственные индексы HTM (https://www.noao.edu/noao/staff/yao/sdss_papers/kunszt.pdf) (Hierarchical Triangular Mesh).

Сервер отличается высокой производительностью, низким потреблением памяти и возможностью создания распределённых и отказоустойчивых систем, в которых индексы разделены (на каждом узле своя часть индекса и в выполнение запроса вовлекается несколько узлов) или реплицированы (на каждом узле копия полного индекса и возможна балансировка нагрузки) на несколько узлов кластера.  Заявляется производительность операций поиска близкая к обработке запросов в режиме реального времени. Индексы могут включать в себя файлы и полные исходные данные, что позволяет использовать Xapiand в качестве хранилища с функцией полнотекстового поиска.


Новый выпуск примечателен переходом на движок Xapian 1.5.0, существенным увеличением производительности и стабилизацией средств для обработки геопространственных данных. Кроме того, представлена поддержка языка запросов QueryDSL (https://kronuz.io/Xapiand/docs/reference-guide/query-dsl/), позволяющего формировать запросы в формате JSON. Например, можно применять логические операторы, фильтровать вывод по определённым значениям полей в документах, учитывать вес и число совпадений, преобразовывать значения полей из одного формата в другой, отсеивать документы в зависимости от пространств имён (вложенных полей, например, для хранения тегов).

URL: https://kronuz.io/Xapiand/news/2019/02/11/xapiand-0-9-0-rele.../
Новость: https://www.opennet.dev/opennews/art.shtml?num=50134

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Выпуск поискового сервера Xapiand 0.9"  +2 +/
Сообщение от Аноним (1), 13-Фев-19, 23:44 
Замена Lucene, что ли?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Выпуск поискового сервера Xapiand 0.9"  –2 +/
Сообщение от лютый жабист__ (?), 14-Фев-19, 06:02 
>Замена Lucene, что ли?

Lucene невозможно заменить :) т.к. это шикарная реактивная встраиваемая в жабопрожки либа, которая сейчас в каждом третьем проекте используется и не жужит.

На базе lucene был слеплен ElasticSearch, тормозной и глючный. Со спорным велосипедным протоколом выборов. Если его заменят, я не против. Но на практике, у сишников принято бету с 20% функционала выставлять как полную и безоговорочную победу над силами жабы. Что там с морфологией? Что с терабайтными базами? Мультимастер есть?

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

20. "Выпуск поискового сервера Xapiand 0.9"  –1 +/
Сообщение от Michael Shigorinemail (ok), 14-Фев-19, 11:39 
> Что там с морфологией? Что с терабайтными базами?

В соседнем #2 есть слова "словоформами" и "gmane".

> Мультимастер есть?

А если найду?..

Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

27. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от лютый жабист__ (?), 14-Фев-19, 12:47 
>"словоформами" и "gmane".

Русская морфология, Миша, русская.

>А если найду?

Найди, мне не жалко. Хотя, лучше документацию им найди и сайт.
Пока проект похож на поделку гика-одиночки.

Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

28. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Michael Shigorinemail (ok), 14-Фев-19, 12:50 
>> "словоформами" и "gmane".
> Русская морфология, Миша, русская.

Выделил.  Если недостаточно -- к учительнице!

> Пока проект похож на поделку гика-одиночки.

Даже под сабжем подписались минимум _три_ таких "одиночки", чудо :)

Ответить | Правка | ^ к родителю #27 | Наверх | Cообщить модератору

31. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от лютый жабист__ (?), 19-Фев-19, 07:14 
>Выделил.

На заборе много чего пишут.

Поднял. Ничерта непонятно, почти все разделы на сайте "This section is a work in progress…"
Нормальной документации вообще нет.
В инете обсуждений нет.

curl -X PUT -d '{"name":"coolrecord1", "data" : "васяня"}' 'localhost:8880/idx1'
curl -X PUT -d '{"name":"coolrecord2", "data" : "мишаня"}' 'localhost:8880/idx1'

вторая команда уже перезаписывает первую.
По крайней мере

curl -X GET 'localhost:8880/idx1'

возвращает последнюю.

У тебя есть последний шанс аргументировать, что xapiand не гиковая гогноподелка.

Ответить | Правка | ^ к родителю #28 | Наверх | Cообщить модератору

25. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Георгий (??), 14-Фев-19, 12:25 
Надо думать, они выкладывают те 20%, на которые затрачено 80% времени, но подождите ка. Разве обычно 80% времени не тратится на доработки?
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

2. "Выпуск поискового сервера Xapiand 0.9"  –1 +/
Сообщение от Michael Shigorinemail (ok), 13-Фев-19, 23:56 
Сам по себе xapian -- отличная штука (кто помнит gmane, так вот там поиск на нём и был).  Пощупать-оценить может быть удобно с помощью recoll.

А на omega как-то делал индексатор интранетных ресурсов -- bugzilla вместе с аттачами, mediawiki, логи жаберных конференций... жаль, не выложил никуда те наработки с web.t-soft, сочтя уж слишком узкоспециализированными.  Хорошо работало, шустро и со словоформами.

PS: но без crawler'а.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

7. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Аноним (7), 14-Фев-19, 04:21 
Минус тебе за то что не выложил!
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

9. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Аноним (9), 14-Фев-19, 05:08 
Да он просто один из этих - пилит проприетарщинку на свободных либах. Знаем-знаем.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

14. "Выпуск поискового сервера Xapiand 0.9"  –1 +/
Сообщение от Аноним (1), 14-Фев-19, 09:34 
Столлман покусал?
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

21. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Michael Shigorinemail (ok), 14-Фев-19, 11:40 
> Минус тебе за то что не выложил!

Не то слово, самому бы сейчас и пригодилось.

PS: дурак из #9 забавный :)

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

26. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Аноним (26), 14-Фев-19, 12:43 
>PS: дурак из #9 забавный :)

А может это очень умный человек прикидывающийся дураком?
Настолько умный, что даже глупый.

Ответить | Правка | ^ к родителю #21 | Наверх | Cообщить модератору

32. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от лютый жабист__ (?), 19-Фев-19, 07:16 
>Сам по себе xapian

Мишаня, так xapian или xapiand?
Я понимаю, что ты ламер, но не настолько же.

Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

3. "Выпуск поискового сервера Xapiand 0.9"  +2 +/
Сообщение от Аноним (3), 14-Фев-19, 00:11 
Создатель сфинкса периодически на конференциях поливает его гуано, хотя справедливости ради, он там много кого поливает.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Michael Shigorinemail (ok), 14-Фев-19, 11:41 
Обычно такие поливают в первую очередь себя...
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

4. "Выпуск поискового сервера Xapiand 0.9"  –1 +/
Сообщение от Анонимный селебрити (?), 14-Фев-19, 01:09 
Ничесе, кресты в сервере, пусть и поисковом. А где же js и go?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

6. "Выпуск поискового сервера Xapiand 0.9"  –2 +/
Сообщение от ГвидоБеглец (?), 14-Фев-19, 04:14 
libev часть nodejs
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

13. "Выпуск поискового сервера Xapiand 0.9"  +2 +/
Сообщение от Аноним (13), 14-Фев-19, 08:30 
Первый публичный релиз Libev появился в 2007 году, когда ни Node.js ни Chromium ещё не существовало. Кроме Node.js Libev ещё много где используется, но это независимый проект.
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

15. "Выпуск поискового сервера Xapiand 0.9"  +2 +/
Сообщение от xm333 (?), 14-Фев-19, 09:49 
Разве libuv как-то связана с libev?
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

30. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Аноним (30), 14-Фев-19, 17:19 
Обе библиотеки, обе написаны на C, у обеих названия начинаются на "lib".
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

16. "Выпуск поискового сервера Xapiand 0.9"  +1 +/
Сообщение от Аноним (16), 14-Фев-19, 09:49 
Ложь! libuv часть nodejs
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

8. "Выпуск поискового сервера Xapiand 0.9"  +3 +/
Сообщение от Аноним (8), 14-Фев-19, 05:01 
И как оно в сравнении с эластиком?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от BrainFucker (ok), 14-Фев-19, 08:04 
Оно используется в дебиянах для локального поиска по пакетам, я бы не сказал что оно быстрое. Оно там правда не в режиме сервера работает.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

12. "Выпуск поискового сервера Xapiand 0.9"  +2 +/
Сообщение от Аноним (13), 14-Фев-19, 08:22 
> Оно используется в дебиянах для локального поиска по пакетам, я бы не
> сказал что оно быстрое. Оно там правда не в режиме сервера
> работает.

Вы путайте Xapian и Xapiand, Xapian просто библиотека для встраивания функциональности поиска в свои приложения.

Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

17. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от BrainFucker (ok), 14-Фев-19, 10:06 
Одна фигня, библиотека та же, движок тот же.
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

23. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от Michael Shigorinemail (ok), 14-Фев-19, 11:42 
Время инициализации разное, поскольку применение разное?
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

24. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от BrainFucker (ok), 14-Фев-19, 11:55 
> Время инициализации разное

Я это учёл.

Ответить | Правка | ^ к родителю #23 | Наверх | Cообщить модератору

29. "Выпуск поискового сервера Xapiand 0.9"  +1 +/
Сообщение от Аноним (29), 14-Фев-19, 13:18 
Оно в дебиянах так используется, что лучше бы его вообще на свете не существовало. Это из-за него вывод apt-cache похож на бред сумасшедшего.
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

18. "Выпуск поискового сервера Xapiand 0.9"  –1 +/
Сообщение от vitalif (ok), 14-Фев-19, 10:20 
Уу, оно еще живо!

Ул.Люсиновская получше все таки

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Выпуск поискового сервера Xapiand 0.9"  +/
Сообщение от vitalif (ok), 14-Фев-19, 10:21 
Хотя хз, надо потестить, вдруг оно крутое стало
Ответить | Правка | ^ к родителю #18 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру