The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

форумы  помощь  поиск  регистрация  вход/выход  слежка  RSS
"Опубликован MyRocks, движок хранения к СУБД MySQL от Facebook"
Вариант для распечатки  
Пред. тема | След. тема 
Форум Разговоры, обсуждение новостей
Изначальное сообщение [ Отслеживать ]

"Опубликован MyRocks, движок хранения к СУБД MySQL от Facebook"  +/
Сообщение от opennews on 01-Сен-16, 23:54 
Facebook представил (https://code.facebook.com/posts/190251048047090/myrocks-a-sp.../) проект MyRocks (https://github.com/facebook/mysql-5.6),  в рамках которого развивается новый движок хранения для СУБД MySQL 5.6, основанный на системе хранения RocksDB (https://www.opennet.dev/opennews/art.shtml?num=38499), оптимизированной для Flash-накопителей. Главными целями создания MyRocks является повышение эффективности хранения данных на Flash-накопителях и сокращение размера БД.

В качестве основных причин большого потребления дискового пространства в InnoDB отмечается фрагментация, низкая степень сжатия и выравнивание сжатых данных внутри хранилища по страницам фиксированного размера (размер страницы 8 Кб и  даже если данные упакованы в 5 Кб всё равно будет израсходован блок в 8 Кб). Хранилище MyRocks лишено данных недостатков, так как применяет размер страницы плавающего размера и  предоставляет значительно более эффективный метод сжатия. MyRocks также выполняет меньше операций последовательного чтения/записи за счёт использования модели хранения данных в форме лога  (Log Structured Merge Trees), допускающей только дополнение (чистка производится сборщиком мусора).


При хранении аналогичного объёма данных внедрение нового хранилища на основные серверы Facebook позволило на 50% сократить размер БД по сравнению со сжатым хранилищем InnoDB и в 3.5 раза по сравнению с InnoDB без применения сжатия. Кроме сокращения размера применение MyRocks также привело к ускорению репликации за счёт сокращения операций чтения при обновлении ключей. Также ускорились операции  загрузки данных в БД, благодаря пакетной обработке входящих данных.


При этом MyRocks пока имеет ряд ограничений, таких как отсутствие поддержки внешних ключей, online DDL (https://dev.mysql.com/doc/refman/5.6/en/innodb-create-index-...), автоматического определения взаимных блокировок, партицирования, полнотекстовых и пространственных индексов. Со временем имеющиеся недостатки планируется устранить.

URL: https://code.facebook.com/posts/190251048047090/myrocks-a-sp.../
Новость: http://www.opennet.dev/opennews/art.shtml?num=45064

Ответить | Правка | Cообщить модератору

Оглавление

Сообщения по теме [Сортировка по времени | RSS]


1. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от S.Atahla on 01-Сен-16, 23:54 
Слава Нью Гэйблу
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

2. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +3 +/
Сообщение от YetAnotherOnanym (ok) on 02-Сен-16, 00:05 
Кстати, в тему движков хранения: https://eng.uber.com/mysql-migration/
Может, кому-то интересно будет.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

8. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 03:01 
Ну вот, а бздюки так вопили что постгр рулит, а мускул нет. И тут пришел uber и как обычно малину обоцрал.
Ответить | Правка | ^ к родителю #2 | Наверх | Cообщить модератору

31. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 11:21 
постгрес все еще рулит, а вот спецы убера точно нет
Ответить | Правка | ^ к родителю #8 | Наверх | Cообщить модератору

38. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +3 +/
Сообщение от Аноним (??) on 02-Сен-16, 13:32 
> постгрес все еще рулит, а вот спецы убера точно нет

Только спецы из убера технически обосновали, с глубоким пониманием механики работы базы. А опеннетовские эксперты как обычно только мнение имеют.

Отличный пример почему "факты" и "мнения" опеннетовских экспертов стоит перепроверять. Дважды. А если это бсдшники - минимум трижды, потому что эти пи...т больше всех остальных вместе взятых.

Ответить | Правка | ^ к родителю #31 | Наверх | Cообщить модератору

52. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от fi (ok) on 02-Сен-16, 15:47 
Заметка интересная.

И всё же есть некоторые сомнения, та же глава 'Data Corruption' - такие баги обычно легко обнаруживаются и фиксятся в миноре, а тут …. Да и проблема с MVCC не вызывает доверия.
Btw. futexes еще тот крендель - сколько натыкался на него :)))  

Надо попросить прокомментировать разработчиков Pg. :))


Ответить | Правка | ^ к родителю #38 | Наверх | Cообщить модератору

53. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от User (??) on 02-Сен-16, 15:55 
Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgr.../
Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

71. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 21:55 
> Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgr.../

One more step
Please complete the security check to access blog.2ndquadrant.com

Оок, DBA-затейники не могут себя обслужить без шпионской CDN. Так и запишем.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

72. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 22:09 
> Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgr.../

В общем там стандартные отписки разработчиков что все не так плохо, этонебагафича!!!11 потому что они так за всех решили.

Пару вещей отписана в духе
- Сделаем в 10.0
- Сделаем когданибудь

...что не очень поможет уберу с нагруженным в потолок продакшном прямо сейчас.

И жестокое непонимание проблем больших компаний, которым оплата за бандвиз икается больше чем какая-то там нагрузка на какие-то там сервера. И никто не хочет разгружать проц если это ведет к росту бандвиза.

Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

77. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от fi (ok) on 05-Сен-16, 00:23 
> Отвечали уже http://blog.2ndquadrant.com/thoughts-on-ubers-list-of-postgr.../

вот, хорошие ответы, я как-то это и подозревал по многим пунктам, те же вторичные индексы - промежуточная ступень PK не есть гут, тем более он может быть составной, проблема с MVCC явно надумана.

зы. наверно уволился Pg DBA :))))))))))))

зы2. собственно Убера понять можно -  Schemaless как надстройка над mysql, и Pg тут не причем. Как собственно MyRocks у ФБ


Ответить | Правка | ^ к родителю #53 | Наверх | Cообщить модератору

69. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 21:38 
> такие баги обычно легко обнаруживаются и фиксятся в миноре, а тут

А тут большая компания обнаруживает веселые баги в продакшне, у них глючит софт и они сношаются с изобретением воркэраундов хотя-бы в своем софте, которому прилетают дубликаты записей. После чего они имеют радость resilvering всего продакшна в неиспорченный вид по всем серверам, выискивая реплики которые не битые. Наверняка они именно этим мечтали заниматься вместо организации извоза.

> Надо попросить прокомментировать разработчиков Pg. :))

Там не самый свежий релиз но утверждается что по крупному в этих механизмах ничего не меняли. Впрочем пользователи 1С это не убер, они не заметят подвоха даже если им вместо базы /dev/urandom отгружать.

Ответить | Правка | ^ к родителю #52 | Наверх | Cообщить модератору

76. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от fi (ok) on 05-Сен-16, 00:04 
Uber  использует продакшен для QA? :D :D :D

количество записей - базовая часть регрешен тестов.

зы btw, я использовал 9.0 и 9.2 (как и 9.4) в продакшен - этой проблемы не наблюдал, скорей всего очень специфическая проблема.  

Ответить | Правка | ^ к родителю #69 | Наверх | Cообщить модератору

3. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +2 +/
Сообщение от KOT040188 (ok) on 02-Сен-16, 00:28 
Facebook разошёлся… Казалось бы при чём здесь соцсеть…
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

4. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +5 +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 00:36 
При том, что с определённого объёма у них не осталось другого выбора, кроме как разрабатывать софт под себя. А так как они всё же социальная сеть, а не софтописатель - вываливают всё, что могут, в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё и не надо будет тащить затраты в одиночку. Хорошая современная модель, в общем-то - только мало кто это догоняет.

Edit: впрочем, я не прав. уникальность фейсбука в том, что их основной asset - это железки и не "интеллектуальная собыственность", а собственно сеть - люди. Если они хоть весь свой софт откроют - конкурентам от этого особо легче не станет. Поэтому открытие кода никаких рисков не несёт, а вот плюшки получить можно.

Ответить | Правка | ^ к родителю #3 | Наверх | Cообщить модератору

5. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 02:01 
давно facebook  работает на asic?
Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

6. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от XoRe (ok) on 02-Сен-16, 02:46 
> давно facebook  работает на asic?

А вы давно перестали бить свою жену?

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

13. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 05:18 
ББПЕ
Ответить | Правка | ^ к родителю #6 | Наверх | Cообщить модератору

9. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 03:04 
> давно facebook  работает на asic?

С тех пор как начали проектировать свои свичи. Захотев ни много ни мало открытую фирмварь управления, которая интегрируется с их остальной инфраструетурой. Будучи фэйсбуком можно позволить себе не подлизывать цискам и жуниперам.

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

16. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Дегенератор on 02-Сен-16, 07:28 
Их первый спутник для Африки за 200 лимонов сожгли, как-бы не психанули и не начали сами ракеты строить...
Ответить | Правка | ^ к родителю #9 | Наверх | Cообщить модератору

18. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 08:04 
Думаю, потомки африканцев будут благодарны тому, кто накосячил на стартовой площадке нумер 40
Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

39. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 13:36 
> Их первый спутник для Африки за 200 лимонов сожгли, как-бы не психанули
> и не начали сами ракеты строить...

Как показал пример того же маска - это перспективнее чем всякие печальные роскосмосы, отставшие в развитии на полвека. Да-да, почитай кто и где исследует всякие фотонные, ионные и какие там еще двигатели с гораздо более высокой удельной тягой. Ну и кто позволит курсировать в результате челнокам между планетами по типу автобусов и поездов. Наверное это будет не роскосмос.

Ответить | Правка | ^ к родителю #16 | Наверх | Cообщить модератору

49. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от angra (ok) on 02-Сен-16, 15:11 
Пример Маска показывает, что нашим мастерам распила и вешанья лапши на уши электорату до американских как до Луны пешком. Что не удивительно, там распилом и околпачиванием уже не первое столетие занимаются.
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

58. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 19:00 
> Пример Маска показывает, что нашим мастерам распила и вешанья лапши на уши
> электорату до американских как до Луны пешком. Что не удивительно, там
> распилом и околпачиванием уже не первое столетие занимаются.

Самый дорогой космодром планеты - почему-то получился у россиян. Расскажешь что там такого уникального за такие деньжищи? Нет, распилы и откаты уникальными не являются. Уникальен тот факт что причастных не пересажали.

Ответить | Правка | ^ к родителю #49 | Наверх | Cообщить модератору

60. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Дегенератор on 02-Сен-16, 19:06 
Качественно ты набросил в тему политоты, давай заменим слово "россиян" на "американцев" и "космодром" на "стелс".
Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

70. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 21:53 
> Качественно ты набросил в тему политоты, давай заменим слово "россиян" на "американцев"
> и "космодром" на "стелс".

А что - стелс? Стелс логичное семейство технологий. Когда есть куча компьютеров, до кучи можно посчитать профиль у которого и аэродинамика удачная и отражение сигнала минимальное, при том одновременно. Само по себе нормальная идея и показатель уровня инженерии - уход от бумажных кульманов в сторону вычислительных оптимизаций под задачу. То что всякие боинги и локхиды зажравшиеся - всем известно. Однако инженерия за себя все-таки в результате говорит.

Ответить | Правка | ^ к родителю #60 | Наверх | Cообщить модератору

73. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от angra (ok) on 02-Сен-16, 22:37 
> Уникальен тот факт что причастных не пересажали.

Уникален!? Уже более двух тысяч лет по всему миру регулярно пилят и откатывают без печальных последствий для себя, даже в школьные учебники истории попадают особо вопиющие случаи, а тут, блин, "уникален".


Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

74. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –2 +/
Сообщение от Ilya Indigo (ok) on 02-Сен-16, 22:48 
> Самый дорогой космодром планеты - почему-то получился у россиян. Расскажешь что там
> такого уникального за такие деньжищи?

Справедливости ради, хотя бы то, что мы первые запустили спутник, облетели луну и запустили в космос космонавта, а также то, что наши ракета-носители являются и по сей день самыми надёжными и безопасными, и именно они уже много лет выводят, в том числе и пиндосские, спутники на орбиту.

Ответить | Правка | ^ к родителю #58 | Наверх | Cообщить модератору

75. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Led (ok) on 04-Сен-16, 16:20 
> Справедливости ради, хотя бы то, что мы первые запустили спутник, облетели луну
> и запустили в космос космонавта,

Прикинь, какая Фау-2 удачная получилась!

Ответить | Правка | ^ к родителю #74 | Наверх | Cообщить модератору

79. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от _ (??) on 06-Сен-16, 19:23 
В ракетах и женщинах ты не разбираешься.  :)
Диагноз окончательный. АЗЪ!
Ответить | Правка | ^ к родителю #75 | Наверх | Cообщить модератору

59. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Дегенератор on 02-Сен-16, 19:02 
Британцы много исследуют - однозначно они будут первыми.
Ответить | Правка | ^ к родителю #39 | Наверх | Cообщить модератору

25. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от АНоним on 02-Сен-16, 09:50 
и ASIC и FPGA эксперименты у них - вяло текут а вот с ARM, MIPS и что интереснее Power8/9 серваками кастомными(по заказу ODM входящим в OpenPower, азиатским)- весьма бодро внедряют.
к "аппаратным" реализациям нейронных сетей навроде гуглевских они впрочем пока прохладно и это оправданно в их Текущем виде. но мб все изменится и Тут.\

p.s.
а вот распределенные ДБ пилить(с кассандры начиная)и адаптировать их и message-passing в основной тушке сервисов - они подзабросили(хотя в почту и мессенджер - помаленьку проникает в силу бенефитов).

Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

35. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 13:04 
Это я там "не" пропустил. Поинт как раз в том, что они могут себе позволить не только экспериментирровать, но и результаты экспериментов в открытую отдавать, так как зарабатывать на железе явно не собираются и возятся с ним только ради уменьшения расходов.
Ответить | Правка | ^ к родителю #25 | Наверх | Cообщить модератору

34. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 13:02 
Сорри - "не" пропустил.
Ответить | Правка | ^ к родителю #5 | Наверх | Cообщить модератору

10. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 03:09 
> же социальная сеть, а не софтописатель - вываливают всё, что могут,
> в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё
> и не надо будет тащить затраты в одиночку. Хорошая современная модель,
> в общем-то - только мало кто это догоняет.

Да не скажи. Сейчас сколь-нибудь серьезные компании без своего гитхаба выглядят как ископаемые из прошлого столетия. Даже у цыски оказывается есть закоулок на гитхабе. Не то чтобы сверхкрутой, но там вывалены всякие openh264, thor и немало всяких (полу)внутренних проектов. А у гугля один только список репов - 30 страниц, с проектами на все вкусы.

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

36. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 13:06 
Ну так это как раз следствие того, что опенсорс - неплохой вариант сэкономить. И если этой возможностью не пользуются - возникают закономерные вопросы. Гугл - песня отдельная, конечно.
Ответить | Правка | ^ к родителю #10 | Наверх | Cообщить модератору

40. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 13:47 
> Ну так это как раз следствие того, что опенсорс - неплохой вариант
> сэкономить. И если этой возможностью не пользуются - возникают закономерные вопросы.
> Гугл - песня отдельная, конечно.

Большинство самых крутых стартапов современности - на этом самом опенсорсе как раз и взлетели, для начала. Ну и наверное совсем не в их интересах чтобы то что им позволяет работать сдувалось бы. Поэтому они стали силой которая двигает мир вперед. Сталкиваясь с новыми задачами, находя хорошие решения и не парясь поделиться с окружающими так же как окружающие обеспечили им платформу для их стартапа когда-то. Кто сказал что если бизнес то это обязательно выглядит как Капоне? Те кто не придумал бизнес-моделей основанных на чем-то кроме вымогательства? :)

Фэйсбук с неких пор агрессивно хантит опенсорсников по многим направлениям. Они перехватили несколько спецов по ФС, включая как минимум Mason'а и вроде еще и Bacik'а. Видного спеца по сжатию Yann Collet'а, и проч. И вообще коммитов с @facebook.com ощутимо прибавилось.

Ответить | Правка | ^ к родителю #36 | Наверх | Cообщить модератору

56. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 18:18 
Ну да, вроде того. Надо просто понимать, что это не идеализм какой, а чистая прагматика.

Взять стартапы те же - ясен пень, что они на опенсорсе взлетели. Стартап - это по определению минимизация затрат на старте. И о "совсем не в их интересах чтобы то что им позволяет работать сдувалось бы" я и говорю - в одно рыло софт писать дороговато. А так как они не софтом торгуют - им поддержка открытого кода проблем не создаёт. Софтовым же компаниям приходится как-то исхитряться, чтобы таки получать деньги за то, что они пишут. Как по мне - с хорошей системой краудфандингового найма разработчиков (на базе даже не опенсорса, а скорее свободного софта) 90% этим софтовых компаний загнутся, и туда им дорога.

Ответить | Правка | ^ к родителю #40 | Наверх | Cообщить модератору

61. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 19:13 
> Ну да, вроде того. Надо просто понимать, что это не идеализм какой,
> а чистая прагматика.

А опенсорс вообще штука прагматичная - люди берут и делают что им было надо, с минимумом барьеров и бюрократии. Ну это так, если в нормальном виде. Куда уж прагматичнее? :)

> сдувалось бы" я и говорю - в одно рыло софт писать дороговато.

Более того, если underlying tech сдохнет, у стартапа будет много головняка. И наверное не в их интересах до упора поддерживать какое-то легаси в своем загоне единолично. Это дорого и криво.

> открытого кода проблем не создаёт. Софтовым же компаниям приходится как-то исхитряться,
> чтобы таки получать деньги за то, что они пишут.

Вот тут одни доисхитрялись, DMCA'шные копирасты чертовы - http://encode.ru/threads/2577-Open-source-Kraken-Mermaid-Sel... (имхо, за takedown реверсеры и опенсорсники сообща надерут им зад а половина коллег по цеху будет на них смотреть как на г..но).

> не опенсорса, а скорее свободного софта) 90% этим софтовых компаний загнутся, и туда им дорога.

Именно. Мерзенькие бизнес-модели с рэкетом и репрессиями себя исчерпывают. Куда и дорога.

Ответить | Правка | ^ к родителю #56 | Наверх | Cообщить модератору

37. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от МимоКрокодил on 02-Сен-16, 13:15 
>вываливают всё, что могут, в опенсорс с рассчтётом на то, что дальше подключится кто-то ещё и не надо будет тащить затраты в одиночку

Это не про затраты. это про качество
https://changelog.com/211/

Ответить | Правка | ^ к родителю #4 | Наверх | Cообщить модератору

55. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Crazy Alex (ok) on 02-Сен-16, 18:09 
Ну так цена/качество - вечный вопрос
Ответить | Правка | ^ к родителю #37 | Наверх | Cообщить модератору

7. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 02:58 
> MyRocks пока имеет ряд ограничений, таких как отсутствие поддержки внешних ключей, online DDL, автоматического определения взаимных блокировок, партицирования, полнотекстовых и пространственных индексов.

По сути кроме хранения ничего он и не умеет.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

11. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 03:36 
> По сути кроме хранения ничего он и не умеет.

Как ни странно - это то что и требуется от базы данных чаще всего.

Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

12. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 04:51 
Это подтверждено на NoSQL
Ответить | Правка | ^ к родителю #11 | Наверх | Cообщить модератору

41. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 13:49 
> Это подтверждено на NoSQL

ИМХО, не в обиду переросткам типа Oracle, но их место - там же где и майнфреймов. Deprecated технологии.

Ответить | Правка | ^ к родителю #12 | Наверх | Cообщить модератору

65. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Ilya Indigo (ok) on 02-Сен-16, 20:12 
А ещё транзакции он вполне себе поддерживает, так что можно вполне уже сейчас это использовать.
Ответить | Правка | ^ к родителю #7 | Наверх | Cообщить модератору

67. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Led (ok) on 02-Сен-16, 20:34 
> так что можно вполне уже сейчас это использовать.

Да ПХП-исты вообще что угодно могут использовать (и за буйки заплывать, и улицу на красный свет переходить) - что с них возмёшь? Миллион уволили - миллион наняли... Какая раница? Так, расходный материал...

Ответить | Правка | ^ к родителю #65 | Наверх | Cообщить модератору

14. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 07:15 
Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц назад, и в ответ никакого ответа!
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

19. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +2 +/
Сообщение от Аноним (??) on 02-Сен-16, 08:17 
А это не баг
Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

24. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 08:42 
> Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц
> назад, и в ответ никакого ответа!

make install -DTOKUDB=on -C /usr/ports/databases/mariadb101-server

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

42. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 13:51 
> Не компилится этот rocksdb под freebsd. Отправил им багрепорт уже с месяц
> назад, и в ответ никакого ответа!

Тогда придется тебе еще взять в руки редактор, компилер и дебагер и обслужить себя самому. Фэйсбук AFAIK не пользуется FreeBSD, поэтому они скорее всего даже воспроизвести не смогут. Ты же не думаешь что для починки того что надо ТЕБЕ они резко побегут нанимать тех кто разбирается в бсд? Если случайно кто-то сможет замахать - скажи спасибо. Иначе придется самому.

Ответить | Правка | ^ к родителю #14 | Наверх | Cообщить модератору

15. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Mail on 02-Сен-16, 07:23 
Вот когда допилят "поддержку внешних ключей, online DDL, автоматическое определение взаимных блокировок, партицирование, полнотекстовые и пространственные индексы" тогда и будем сравнивать.

А пока это клон какой-то mongodb.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

21. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 08:30 
Они могут это никогда так не начать пилить. Т.к. им это не нужно. А если добавить этот функционал появиться overhead
Ответить | Правка | ^ к родителю #15 | Наверх | Cообщить модератору

17. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –3 +/
Сообщение от Аноним (??) on 02-Сен-16, 08:03 
плохое название, могли бы MySwag зделоть
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

23. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –2 +/
Сообщение от Аноним (??) on 02-Сен-16, 08:40 
> плохое название, могли бы MySwag зделоть

MyClass {
    public function HelloWorld () {
    }
}

Ответить | Правка | ^ к родителю #17 | Наверх | Cообщить модератору

20. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от anonimnous on 02-Сен-16, 08:19 
Tokudb обходит?
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

22. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 08:39 
Нет, там даже возможностей и фич меньше. Главное разработка в facebook пыхапе любителями...
Ответить | Правка | ^ к родителю #20 | Наверх | Cообщить модератору

43. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 13:55 
> Нет, там даже возможностей и фич меньше. Главное разработка в facebook пыхапе
> любителями...

Эти любители пэхапэ однако ж держат на себе МИЛЛИАРД хомяков со всеми их фоточками котят и не падают. Но, конечно, можно слушать и мнение экспертов с 10 пыльных роутеров на бсд в подвале из ближайшего пыанэрхостинга, покуда фэйсбук окрутел настолько что запиливает сам себе нормальные свичи с ASIC.

Ответить | Правка | ^ к родителю #22 | Наверх | Cообщить модератору

46. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 14:16 
Думаю сервера у них падают чаще чем ты думаешь, мой маленький любознатель.
Ответить | Правка | ^ к родителю #43 | Наверх | Cообщить модератору

50. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +3 +/
Сообщение от angra (ok) on 02-Сен-16, 15:21 
А сервис при этом остается рабочим. Пользователя не интересует какой процент серверов фейсбука лежит в данный момент, если при этом все продолжает работать на оставшихся в строю.
Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

62. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 19:14 
> Думаю сервера у них падают чаще чем ты думаешь, мой маленький любознатель.

Но хомяки это не видят. Это называется правильная архитектура сервиса. Но тебе это ессно не грозит.

Ответить | Правка | ^ к родителю #46 | Наверх | Cообщить модератору

63. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 19:17 
> правильная архитектура сервиса

Синяя изолента и аппаратное железцо!

Ответить | Правка | ^ к родителю #62 | Наверх | Cообщить модератору

26. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 09:57 
> Facebook позволило на 50% сократить размер БД по сравнению со сжатым хранилищем InnoDB

Вообще то как бэ сжатая InnoDB в 2 раза больше несжатой MyISAM. Чего они добились не понятно...

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

27. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 10:04 
                 | Data Size    | Comp. size    | Table size    | CPU load
--------------------------------------------------------------------------------------------
MyIsam            | 9.76 MB      | 19 KB         | 9,80 MB       | 5%
InnoDB            | 9.76 MB      | 19 KB         | 62,52 MB      | 40%
InnoDB compr | 9.76 MB      | 19 KB         | 22,60 MB      | 99%
TokuDB            | 9.76 MB      | 19 KB         | 9,79 MB       | 20%
ARCHIVE         | 9.76 MB      | 19 KB         | 76,59 KB      | -

Там даже больше, чем в 2 раза. Из-за того, что страничная структура InnoDB вообще не предназначена для сжатия.

Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

28. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 10:10 
В Percona уже 6 лет собираются решить эту проблему с помощью найтивного сжатия строк и столбцов на уровне самой базы, а не движков:
https://blueprints.launchpad.net/percona-server/+spec/change...
https://bugs.launchpad.net/percona-server/+bug/1509991
Ответить | Правка | ^ к родителю #26 | Наверх | Cообщить модератору

29. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Лютый жабист_ on 02-Сен-16, 10:39 
Недавно тестил Postgres vs Mysql на задаче максимально быстрая выборка из базы с 5млн key-value. Выборки в обе стороны.

Увидительно, но Pg порвал даже Mysql с MEMORY базой. Лежащая на диске оказалась вообще тормозом, что исам, что инно. При этом ел меньше ОЗУ.

Понятно, что джава с Bidimap в ОЗУ была разрывающе быстрее обоих вариантов. Но миф про быстрый мускуль был развенчан! :D

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

30. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от _hide_ (ok) on 02-Сен-16, 10:53 
Попробуйте в памяти и из отсортированного файла без базы. Будет быстрее (хотя это от рук зависит). И да, чтобы что-то развенчать - нужно это смочь понять.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

45. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 13:58 
> Попробуйте в памяти и из отсортированного файла без базы. Будет быстрее

А если еще на си или плюсах запилить - хм, да, а чему там тормозить? Но есть некоторые нюансы :)

Ответить | Правка | ^ к родителю #30 | Наверх | Cообщить модератору

33. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 12:57 
Вы определенно где-то допустили ошибку
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

44. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +1 +/
Сообщение от Аноним (??) on 02-Сен-16, 13:57 
> Вы определенно где-то допустили ошибку

Ты на его ник посмотри. Наверное - в ДНК.

Ответить | Правка | ^ к родителю #33 | Наверх | Cообщить модератору

51. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от angra (ok) on 02-Сен-16, 15:26 
Мускул быстрый в реальных задачах, а не в примитивном тесте.
При этом существуют задачи, где мускул не является оптимальным выбором.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

64. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –1 +/
Сообщение от Аноним (??) on 02-Сен-16, 19:37 
Мускул очень гибок. Как минимум благодаря только движкам, его можно очень тонко подстроить под нужную задачу. На постгресе вы не добъетесь полнотабличного сжатия, которое есть в движке ARCHIVE, не добьетесь сжатия, которое есть в tokudb, не создадите простую таблицу в памяти (без костылей), которая обеспечивается MEMORY. Мускул значительно выигрывает в партицировании, которое в следующем релизе вообще обещают сделать найтивным, и можно будет создавать таблицы из комбинаций движков.
Единственный момент, где мускул проигрывает, это оптимизация запросов. Но Сложные запросы - это частный случай. Обычно мускул используется как простое key-value хранилище.
Ответить | Правка | ^ к родителю #29 | Наверх | Cообщить модератору

47. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Аноним (??) on 02-Сен-16, 14:27 
>MyRocks

Ждём воя феминисток.

Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

66. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  +/
Сообщение от Ilya Indigo (ok) on 02-Сен-16, 20:19 
А в MariaDB эго собираются включать?
Погуглил и ничего не нащёл на эту тему.
Ответить | Правка | ^ к родителю #0 | Наверх | Cообщить модератору

68. "Опубликован MyRocks, движок хранения к СУБД MySQL от Faceboo..."  –3 +/
Сообщение от Аноним (??) on 02-Сен-16, 20:36 
В Percona точно включат. А MariaDB окончательно отделилась, и сейчас разработка еле тащится.
Ответить | Правка | ^ к родителю #66 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема




Партнёры:
PostgresPro
Inferno Solutions
Hosting by Hoster.ru
Хостинг:

Закладки на сайте
Проследить за страницей
Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру