The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  майллист  вход/выход  слежка  RSS
"Открыты исходные тексты СУБД CitusDB"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от opennews (??) on 25-Мрт-16, 00:22 
Компания Citus Data объявила (https://www.citusdata.com/blog/17-ozgun-erdogan/403-citus-un...) об открытии исходных текстов распределённой СУБД CitusDB (https://www.citusdata.com/products/what-is-citusdb). Ранее проект CitusDB развивался как форк PostgreSQL, но начиная с Citus 5.0  проект переработан в форму расширения к PostgreSQL, не требующего модификации кодовой базы и работающего поверх штатных выпусков PostgreSQL. Подобный подход позволяет использовать все появляющиеся в новых выпусках PostgreSQL новшества, такие как типы JSON/JSONB, операции UPSERT и работа (http://rhaas.blogspot.ru/2016/03/no-more-full-table-vacuums....) без периодического выполнения "vacuum full" для больших БД. Код открыт (https://github.com/citusdata/citus) под лицензией AGPLv3.

Citus обеспечивает горизонтальное масштабирование PostgreSQL в кластере на базе типового оборудования, с разнесением данных по узлам при помощи (https://www.citusdata.com/docs/citus/5.0/aboutcitus/introduc...) шардинга и репликации. Шардинг даёт возможность организовать хранилище для очень большого объема данных, суммарный размер которых существенно превышает локальные накопители каждого из узлов кластера.  Дополнительное реплицирование данных на несколько узлов обеспечивает отказоустойчивость и позволяет сохранить работоспособность при выходе узлов из строя.

Для приложений кластер Citus выглядит как один большой сервер PostgreSQL, обладающий производительностью стоящих за ним узлов.  Входящие запросы распараллеливаются по имеющимся серверам, позволяя добиться предсказуемого времени выполнения запроса к большим массивам данных, пополняемым в режиме реального времени.
Например, благодаря распределению работы на все узлы кластера выполнение запроса в кластере из 20 серверов выполняется почти в 20 раз быстрее, чем на одном отдельном узле. Предлагается (https://www.citusdata.com/docs/citus/5.0/reference/configura...) три планировщика выполнения запросов (router, real-time и task-tracker), позволяющий добиться оптимальных показателей при разном характере работы с данными  (оперативная обработка (низкие задержки) или аналитика (пропускная способность)).

<center><a href="https://www.citusdata.com/docs/citus/5.0/_images/citus-basic... src="https://www.opennet.dev/opennews/pics_base/0_1458850594.png&q... style="border-style: solid; border-color: #606060; border-width: 1px;max-width:100%;" title="" border=0></a></center>

Типовыми областями использования Citus являются системы аналитики, разбор информации о случившихся событиях, архивирование больших наборов данных, генерация отчётов, анализ сеансов. Кластеры на базе CitusDB применяются в таких компаниях как  CloudFlare (аналитика в реальном времени 100 Тб БД с данными 4 млн сайтов), MixRank (накопление и анализ статистики о B2B-продажах для поиска новых клиентов),   Neustar (анализ миллиардов ежедневных событий в рекламной сети),  Agari (обработка 6-8 Тб данных c электронной почтой).

<center><iframe width="640" height="360" src="https://www.youtube.com/embed/NVl9_6J1G60?list=PLixnExCn6lRp... frameborder="0" allowfullscreen></iframe></center>


URL: https://www.citusdata.com/blog/17-ozgun-erdogan/403-citus-un...
Новость: http://www.opennet.dev/opennews/art.shtml?num=44108

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Открыты исходные тексты СУБД CitusDB"  –3 +/
Сообщение от Аноним (??) on 25-Мрт-16, 00:22 
Не знал, что CloudFlare данные собирает и что-то в них анализирует. Вот тебе и нейтральный CDN.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Открыты исходные тексты СУБД CitusDB"  +5 +/
Сообщение от asavah (ok) on 25-Мрт-16, 01:02 
корпорации добра, слышали, да
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

23. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Аноним (??) on 27-Мрт-16, 13:57 
А, вот почему они пользователям Tor капчу показывают. Шпионаж плохо работает. Эти гады еще и SSL хакают для этого.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

5. "Открыты исходные тексты СУБД CitusDB"  +3 +/
Сообщение от Тфьу on 25-Мрт-16, 09:48 
>> собирает и что-то в них анализирует

Прямо, как Гугл Аналитикс!!!
А ещё они данные об отказе винчестеров публикуют!!!

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

12. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Аноним (??) on 25-Мрт-16, 11:05 
Им как минимум нужно понимать к каким узлам нужно физически приблизить какие-то запрашиваемые данные, распределять ресурсы их основная работа :)
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

13. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Аноним (??) on 25-Мрт-16, 11:32 
для этого не нужны системы оффлайновой аналитики, это штатная операция самой CDN
Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

14. "Открыты исходные тексты СУБД CitusDB"  +1 +/
Сообщение от Andrey Mitrofanov on 25-Мрт-16, 11:38 
>не нужны системы оффлайновой аналитики,

Где здесь что-то про "оффлайн-аналитику"?  Вам привиделось.

> это штатная операция самой CDN

Ответить | Правка | ^ к родителю #13 | Наверх | Cообщить модератору

15. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от А (??) on 25-Мрт-16, 11:40 
Вы уж их извините, что они с вами не посоветовались, как им своей системой управлять и что (возможно - для улучшения работы) анализировать!
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

16. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Вареник on 25-Мрт-16, 17:49 
Любая BigData стоит денег, покупается и продается. Конечно они ее собирают и сливают куда надо.
Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

29. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Anony on 18-Апр-16, 23:43 
> Не знал, что CloudFlare данные собирает и что-то в них анализирует. Вот
> тебе и нейтральный CDN.

https://blog.cloudflare.com/scaling-out-postgresql-for-cloud.../

Ответить | Правка | ^ к родителю #1 | Наверх | Cообщить модератору

3. "Открыты исходные тексты СУБД CitusDB"  –7 +/
Сообщение от Ананас on 25-Мрт-16, 07:41 
А как там с резервированием? Если один узел упадет - упадет все? Если есть запас прочности - то будет шикарно, классический постгрес можно будет выкидывать.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Открыты исходные тексты СУБД CitusDB"  +25 +/
Сообщение от Аноним (??) on 25-Мрт-16, 07:53 
Это надстройка над "классическим" постгресом, выкидыватель мамкин.
Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

25. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от _ (??) on 29-Мрт-16, 00:15 
Выкидыш же! :)
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

28. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Аноним (??) on 03-Апр-16, 01:21 
угу, примерно.
еще не кассандра или мнезия(или еще более тяжелые "распределенные" БД без точек отказа), но уже не постгресСКЛ )
в  любом случае - портирование на - будет попроще для отягощенные legacy-кодом.
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

8. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Александр (??) on 25-Мрт-16, 10:41 
Правильно ли я понимаю, что при таком шардинге всякие там уникальные индексы, внешние ключи и прочие РСУБДшные радости работать не будут?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

10. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Andrey Mitrofanov on 25-Мрт-16, 10:54 
> Правильно ли я понимаю,

TMF ждёт.

Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

9. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Аноним (??) on 25-Мрт-16, 10:47 
Можно ли шардить 1 таблицу на несколько машин и как с ней будет работать джойн?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Открыты исходные тексты СУБД CitusDB"  –2 +/
Сообщение от Andrey Mitrofanov on 25-Мрт-16, 10:55 
> Можно ли шардить 1 таблицу на несколько машин и как с ней
> будет работать джойн?

А Вас ждёт их отдел продаж. С нетерпением.

Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

17. "Открыты исходные тексты СУБД CitusDB"  +1 +/
Сообщение от Нанобот (ok) on 25-Мрт-16, 19:26 
>начиная с Citus 5.0 проект переработан в форму расширения к PostgreSQL, не требующего модификации кодовой базы и работающего поверх штатных выпусков PostgreSQL

пользуясь случаем, хочется передать превед разрабам 1С, которые так ниасилили

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Открыты исходные тексты СУБД CitusDB"  –2 +/
Сообщение от leap42 (ok) on 26-Мрт-16, 05:08 
Просто переделывать не хотят. Как я понял, 1ц заточен под хранимые процедуры, которые по мнению разрабов postgresql не нужны. Хотя, емнип, разрабы postgres так говорили и про мастер-мастер, и про синхронную реплику, так что нужно подождать, и проблема может решиться сама собой))
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

21. "Открыты исходные тексты СУБД CitusDB"  +1 +/
Сообщение от sun28 on 26-Мрт-16, 11:18 
Какие хранимые процедуры, ты о чем, Вася?
Сборка postgresql от 1C отличается переделанными блокировками и всё.
Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

22. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Anonymous1 on 26-Мрт-16, 15:24 
> Просто переделывать не хотят. Как я понял, 1ц заточен под хранимые процедуры,
> которые по мнению разрабов postgresql не нужны. Хотя, емнип, разрабы postgres
> так говорили и про мастер-мастер, и про синхронную реплику, так что
> нужно подождать, и проблема может решиться сама собой))

Не под хранимые процедуры же, а под блокировки (привет от MS SQL) и под регистронезависимость (привет Windows)
Несколько неверно Вы поняли...

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

26. "Открыты исходные тексты СУБД CitusDB"  +1 +/
Сообщение от _ (??) on 29-Мрт-16, 00:18 
>хранимые процедуры, которые по мнению разрабов postgresql не нужны

Охъ! Аж пузо свело от ржачки, это адский трэщЪ! :))))))))

Ответить | Правка | ^ к родителю #19 | Наверх | Cообщить модератору

27. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Nellex on 02-Апр-16, 02:30 
Есть готовые сборки для 9.4, только не от 1С правда. http://www.postgrespro.ru/products/1c_build
Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

24. "Открыты исходные тексты СУБД CitusDB"  +/
Сообщение от Владимир (??) on 27-Мрт-16, 20:12 
> и работа (http://rhaas.blogspot.ru/2016/03/no-more-full-table-vacuums....)
> без периодического выполнения "vacuum full" для больших БД.

Это неточный перевод, речь про отсутствие необходимости выполнять VACUUM FREEZE на больших таблицах, эта фича попала в 9.6. А VACUUM FULL в postgres'е не надо запускать уже лет десять как.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру