The OpenNET Project / Index page

[ новости /+++ | форум | теги | ]

Основная инфраструктура Wikipedia переведена с MySQL на MariaDB

23.04.2013 10:34

Организация Wikimedia объявила о завершении процесса миграции первичной серверной инфраструктуры свободной энциклопедии на СУБД MariaDB 5.5, в рамках которой независимым сообществом развивается совместимое на уровне API и ABI ответвление от MySQL. Разделы энциклопедии на английском и немецком языках, а также проект Wikidata, уже обслуживаются MariaDB в штатном режиме.

В качестве основных причин перехода на новую СУБД называется желание задействовать новые технологии и методы оптимизации, а также намерение следовать используемому в Wikimedia принципу выбора свободных технологий. Последнее время процесс разработки MySQL становится недостаточно прозрачным в руках компании Oracle, полностью контролирующей развитие MySQL и со временем всё больше отделяющей MySQL от сообщества. В частности, возвращена практика поставки проприетарных расширенных функций в Enterprise-версии MySQL, наблюдается утаивание информации об уязвимостях, из состава исключён тестовый набор, закрыт доступ к большей части системы отслеживания ошибок и прекращена публикация сгруппированного лога изменений, позволяющего судить о привязке патчей к конкретным изменениям.

Используемая в Wikipedia ветка MariaDB 5.5 основана на кодовой базе MySQL 5.5 и полностью совместима с данной СУБД. В настоящее время к работе над MariaDB переключились многие уволившиеся из Oracle разработчики, ранее вовлечённые в разработку MySQL. Ряд заинтересованных в MariaDB компаний продемонстрировали способность предоставить техническую поддержку, удовлетворяющую требованиям крупных корпоративных клиентов. При этом проект MariaDB отличается полностью открытым и прозрачным процессом разработки, не зависящим от отдельных вендоров, а также более оперативным исправлением уязвимостей.

Изначально для обеспечения работы Wikipedia использовалось поддерживаемое компанией Facebook ответвление от MySQL 5.1, в котором были решены некоторые узкие места с производительностью, проявляющиеся в больших распределённых проектах. С технической стороны выбор СУБД MariaDB обусловлен наличием дополнительных улучшений работы оптимизатора, поддержкой сохранения внутренних буферов для ускорения "прогрева" кэша и возможностью задействования хранилища XtraDB, совместимого с InnoDB, но включающего в себя наработки по увеличению производительности от компаний Google, Percona и Facebook.

Несмотря на то, что при миграции была поставлена задача добиться производительности как минимум на уровне действовавшей до этого конфигурации, внедрение MariaDB 5.5 позволило увеличить производительность в среднем на 8% (некоторые запросы выполняются на 4-15% быстрее, но некоторые замедлились на 3-5%), по сравнению с ранее используемой конфигурацией на базе MySQL 5.1 с патчами от Facebook. Общая способность обработки запросов после задействования MariaDB возросла на 2-10%.

  1. Главная ссылка к новости (http://blog.mariadb.org/wikipe...)
  2. OpenNews: Основатели MySQL учредили организацию MariaDB Foundation, которая будет развивать и продвигать альтернативу MySQL
  3. OpenNews: Первый стабильный выпуск кластерной СУБД MariaDB Galera
  4. OpenNews: Оценка производительности MySQL и MariaDB. Выпуск MariaDB 10.0.1
  5. OpenNews: Wikimedia планирует мигрировать с MySQL на MariaDB
  6. OpenNews: В Fedora 19 одобрена замена MySQL на MariaDB и поддержка CRIU, но не принят переход на Btrfs
Лицензия: CC BY 3.0
Короткая ссылка: https://opennet.ru/36759-mariadb
Ключевые слова: mariadb, wikipedia, mysql
При перепечатке указание ссылки на opennet.ru обязательно


Обсуждение (56) Ajax | 1 уровень | Линейный | +/- | Раскрыть всё | RSS
  • 1.3, GG (ok), 11:43, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +8 +/
    Всё правильно сделали
     
  • 1.5, skybon (ok), 11:51, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –35 +/
    Если это привело к ускорению работы Педивикии - молодцы. Переходить ради одного "открытого процесса разработки" - удел маразматиков.
     
     
  • 2.7, да пофиг (?), 11:53, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +12 +/
    Отвязка от вендора вы называете "маразмом"?
     
     
  • 3.67, Аноним (-), 14:27, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Отвязка от вендора вы называете "маразмом"?

    Некоторые люди, типа skybon, замечают рослого полярного лиса лишь когда он уже тусуется на пороге. Но бывают и более предусмотрительные люди...

     
  • 2.9, Аноним (-), 12:06, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +5 +/
    Кстати да - им же постоянно ресурсов не хватает. Несколько % в таком масштабе - это и экономия заметного $ ...
     
     
  • 3.52, leon55 (ok), 23:07, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    Ага, а потом выпрашивать по 15 евро с рыла за год, чуть ли не на коленях.
    Я не пойму почему им не дадут какой-то грант, премию, стипендию на постоянной основе? Это ведь очень важный проэкт, а каждый год основатель на коленях выпрашивает копейки чтобы содержать IT инфраструктуру. Неужели они не достойны какого-то признания в мире? Есть ведь средства, только тратят их как обычно на всякую херню :(.
     
     
  • 4.55, dr Equivalent (ok), 01:33, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Очень просто: никто не даст больших денег "ни за шо". Где большие деньги - там обычно и большая политика. Кто платит, тот и заказывает музыку. Википедия старается держать нейтралитет где может (они энциклопедия, все-таки, энциклопедии должны быть объективны, а тем более Свободная). Если на них сядет серьезный бизнес или правительство, то, как свободная энциклопедия они лягут.
     
     
  • 5.56, ffirefox (?), 02:20, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Про нейтралитет, пожалуйста, подробнее... Или Вы про статьи о статьях типа "таблица умножения"?

    Википедия уже давно большая политика.

     
  • 2.22, energia (ok), 13:38, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > Переходить ради одного "открытого процесса разработки" - удел маразматиков.

    Местные маразматики так не считают

     
  • 2.25, Andrey Mitrofanov (?), 16:47, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >Переходить ради одного "открытого процесса разработки" - удел маразматиков.

    Почему ж "одного"? Может статься, он принесёт с собой[, со временем,] ещё и улучшение/удешевление поддержки, например.

     
  • 2.29, Аноним (-), 18:36, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    Удел маразматиков - вляпываться в дурную компанию. Наиболее отборные из маразматиков понимают что дело дрянь только когда им скручивают руку за спину и начинает раздаваться подозрительный хруст.

    Вот у википедиков в отличие от вас хватает ума на разборчивость в связях. Поэтому им никто руки выворачивать не сможет. И да, вы знаете, вы имхо очень сильно недооцениваете фактор "спокойная жизнь без выкрутки рук". Потому что когда приспичило - выкручиваться будет намного сложнее и вообще, авралы - не есть хорошо.

     
  • 2.33, Аноним (-), 18:40, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Удел маразматиков - писать такие комментарии. Маразматиков, рабов и недалёких, не видящих дальше собственного носа.
     
  • 2.54, leon55 (ok), 23:17, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Если это привело к ускорению работы Педивикии - молодцы. Переходить ради одного
    > "открытого процесса разработки" - удел маразматиков.

    Вы, коллега, видимо никогда в своей жизни не занимались прогнозами и сопровождением проэктов. И пусть для Вас бесплатность не вносит каких-либо неверных стереотипов в понимании того, что если ораклу мускуль на№№ не сдался, он это активно показывает (только не просите меня гуглить за Вас - погуглите сами), то такому гиганту как Википедия нужно быть на шаг впереди. А в некоторых ситуациях - и на два.

     

  • 1.8, Аноним (-), 12:03, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +4 +/
    А про постгрес они не думали?
     
     
  • 2.10, VoDA (ok), 12:12, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    Перенос СУБД зависимых фич с одной СУБД на другую дело затратное. А для таких проектов, как Википедия и вообще не нужное - время работы людей намного дороже времени серверов.
     
     
  • 3.39, Аноним (-), 18:58, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –5 +/
    ORM? Не, не слышал.
     
     
  • 4.41, Аноним (-), 21:08, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    Hi-load? Не, не слышал.
     
     
  • 5.43, Andrey Mitrofanov (?), 21:17, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Hi-load? Не, не слышал.

    Терабайтную базу через ORM-export -> ORM-import прокачай - увидишь. А если кто тебя за этим увидит, то и услышишь.:D

     
  • 5.46, Аноним (-), 21:30, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Прямые руки? Не, не слышал.
    ORM существенно упрощает жизнь и в high load его тоже можно использовать, главное чтобы голова была на месте как и руки.
     
  • 5.51, Аноним (-), 22:59, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    Hi-load на похапэ? Вы поделили на ноль, месье.
     
  • 2.12, nope (?), 12:15, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –4 +/
    постгре, "с" там лишняя
     
     
  • 3.13, Аноним (-), 12:23, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +2 +/
    nope, не лишняя
     
     
  • 4.27, scorry (ok), 17:15, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    > nope, не лишняя

    Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.

     
     
  • 5.35, Аноним (-), 18:41, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> nope, не лишняя
    > Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.

    "Постгрес", только так. Граммар наци могут подтереться.

     
     
  • 6.72, scorry (ok), 12:06, 26/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    >>> nope, не лишняя
    >> Не тупи, анон. Либо заканчивай «ку-эль», либо не оставляй «эс» одну.
    > "Постгрес", только так. Граммар наци могут подтереться.

    Ну да, ну да. Already used that way by many people.

     
  • 3.45, Andrey Mitrofanov (?), 21:25, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +4 +/
    > постгре, "с" там лишняя

    Да уж, действительно, заканчивай.
    Здесь никто не оценит твоего дворянско-французского прононса.
    ""[I]It is abbreviated as "Postgres", its original name. [...] The name refers to the project's origins as a "post-Ingres" database, being a development from

     

  • 1.11, VoDA (ok), 12:13, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Странно, что они не догадались перейти на распределенное хранилище. Cassandra или HBase.

    Хотя миграция дело дорогое, а наращивание количества серверов по MySQL/MariaDB уже опробованный подход.

     
     
  • 2.24, Дмитрий (??), 14:55, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    а смысл тогда переходить?

    Cassandra или HBase хороши тем что можно легко наращивать количество серверов. а плохи тем что запросы могут выполнять только довольно простые.

    Кроме того в MariaDB есть Cassandra storage engine.

     
     
  • 3.44, VoDA (ok), 21:24, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    Вы читали про архитектуру баз данных википедии? Там странный конгломерат, когда запись идет только на мастер, чтение с многих слейвов. Кроме того разные языки хранятся в разных "сборищах" серверов баз.

    Внедрение упомянутых поможет упростить архитектуру уровня хранения данных. Все сервера являются мастерами и данные хранятся в едином пространстве, что снижает нагрузку на админов и освобождает время для других разработок на благо википедии.

     

  • 1.14, якакашка (?), 12:39, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    mariadb это и есть mysql, просто с феньками и чуть ускореный. там ничего переносить особо не надо, а просто сделать дамп и этот же дамп далить в новую субд.
     
     
  • 2.21, ZOGAnonimous (?), 13:31, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    Насколько я знаю, можно даже дамп не делать, просто бинарник и либы подменить (читать: другой пакетик поставить). Хотя переход с 5.1 на 5.5 - это уже более сложно
     
     
  • 3.28, якакашка (?), 18:21, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    не, подменять надо. там хранилище дефолтное innodb или чето пошустрее было вроде. так что если тупо подменить базу, то лучше врятли станет.
     
  • 2.31, Аноним (-), 18:39, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > mariadb это и есть mysql, просто

    ...просто без жлобов от оракла в управлении, называя вещи своими именами :)

     

  • 1.17, Аноним (-), 12:52, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    маруся ну што ты слезы льешь7
    как гусли..., ну и так далее
     
  • 1.18, anonymous (??), 12:56, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +1 +/
    Ну после википедии, надеюсь, и другие станут переходить. MySQL RIP.
     
  • 1.19, Аноним (-), 13:05, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Почему не Percona?
     
     
  • 2.36, Аноним (-), 18:42, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Почему не Percona?

    Это шутка такая?

     

  • 1.20, Аноним (-), 13:13, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +10 +/
    Ждем Apache MySQL :)
     
  • 1.32, Аноним (-), 18:39, 23/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • +/
    Никак не пойму зачем Oracle гробить тем самым MySQL, ну у багатых как всегда свои причуды...
     
     
  • 2.40, Аноним (-), 20:19, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Несложно понять MySQL - единственный конкурент Oracle DB, уводящий у него покупателей. А убивают за гораздо меньшие деньги. Не будь форков MySQL да PostgreSQL (на который, кстати, многие рассчитывали изначально - например, 1С), случился бы пипец.
     
     
  • 3.47, VoDA (ok), 21:38, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    > Несложно понять MySQL - единственный конкурент Oracle DB, уводящий у него покупателей.
    > А убивают за гораздо меньшие деньги. Не будь форков MySQL да
    > PostgreSQL (на который, кстати, многие рассчитывали изначально - например, 1С), случился
    > бы пипец.

    Перешли бы на распределенные или еще какие СУБД ;)

     
  • 3.50, Аноним Аналитег (?), 22:56, 23/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    Учитывая, что мигрировать на mysql нельзя без переделки структуры базы из-за уймы ограничений накладываемых этой субд, это просто лол.
     
  • 3.60, linux must _RIP_ (?), 10:30, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    да да.. это как легковушка конкурент камазу.. Грузы и там можно возить - но надо ли?

    покажите пожалуста в TPC где нить MySQL ?

     

  • 1.57, Аноним (57), 02:31, 24/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –1 +/
    Одобряю !
    А mysql сожги и выкинь !
     
  • 1.58, linux must _RIP_ (?), 09:50, 24/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –2 +/
    > В частности, возвращена практика поставки проприетарных расширенных функций в Enterprise-версии MySQL

    Надо бы напомнить - что эту практику ввел автор MariaDB. Который первым предложил не распространять бинарные сборки.

    А теперь этот же самый - клеит на себя белые одежды..

     
     
  • 2.64, BSD RIP (?), 14:11, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +3 +/
    > А теперь этот же самый - клеит на себя белые одежды..

    Что, опять твой любимый оракл пролетает? Так ему и надо.

     

  • 1.59, linux must _RIP_ (?), 09:53, 24/04/2013 [ответить] [﹢﹢﹢] [ · · · ]  
  • –3 +/
    > Общая способность обработки запросов после задействования MariaDB возросла на 2%

    это как? на грани статистической погрешности? А смысл тогда в миграции? назло маме отморожу уши ?

     
     
  • 2.61, GG (ok), 11:20, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    >> Общая способность обработки запросов после задействования MariaDB возросла на 2%
    > это как? на грани статистической погрешности? А смысл тогда в миграции? назло
    > маме отморожу уши ?

    нет, у педивикии погрешность в рассчётах производительности ±0.001%

     
     
  • 3.62, linux must _RIP_ (?), 11:42, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    это при каком доверительном интервале ?:) я уже молчу - что такую разницу можно получить просто слегка потюнив код. А если посмотреть на графики изменения производительности - то переход с 5.1 на 5.5 и так дает не слабый прирост.. Отсюда вопрос, а стоило ли это все того или тут сплошная политика?
     
     
  • 4.63, GG (ok), 12:13, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +1 +/
    > Отсюда вопрос, а стоило ли это
    > все того или тут сплошная политика?

    Эта политика стоит того
    Гарантии юридической безопасности это тебе не два пальца обоссать

     
     
  • 5.69, linux must _RIP_ (?), 14:31, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –2 +/
    >> Отсюда вопрос, а стоило ли это
    >> все того или тут сплошная политика?
    > Эта политика стоит того
    > Гарантии юридической безопасности это тебе не два пальца обоссать

    Юридическая безопасность? хм.. это когда Монтли требует подписывать соглашение о передаче прав на код ему родимому? Да - вы правы - это независимость и безопасность - от мнения тех кто сделал этот патч..
    А то вдруг воспротивятся продаже под закрытой лицензией или продаже бинарных сборок?

     
  • 4.66, Аноним (-), 14:18, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > все того или тут сплошная политика?

    А тут все просто: если не интересоваться политикой - она заинтересуется вами. И натянет вас по самые гланды. В отличие от вас, википедики это прекрасно понимают. Они стреляные воробьи и в курсе такой фигни.

     
     
  • 5.70, linux must _RIP_ (?), 14:37, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –3 +/
    >> все того или тут сплошная политика?
    > А тут все просто: если не интересоваться политикой - она заинтересуется вами.
    > И натянет вас по самые гланды. В отличие от вас, википедики
    > это прекрасно понимают. Они стреляные воробьи и в курсе такой фигни.

    Видимо они забыли - как в один прекрасный день Монтли сказал - больше бинарных сборок не будет.
    И вообще никаких не будет - сделаем Комьюнити ветку и Ентерпрайс. Причем Ентерпрайс никто не увидит, а сообществу хватит и комьюнити варианта..

    Вы ведь не забыли кто первый начал зажимать исходники? И после этого готовы верить его словам что дальше уж точно все будет открытое?

     
     
  • 6.74, Michael Shigorin (ok), 20:30, 29/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > Видимо они забыли - как в один прекрасный день Монтли сказал -
    > больше бинарных сборок не будет.

    Уж забыл, кто бы ими пользовался, где-то года после 2004 +/-.  Когда с глибсишниками по поводу тредов-стеков довоевались.

     
  • 2.65, Аноним (-), 14:16, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • +/
    > это как? на грани статистической погрешности? А смысл тогда в миграции?

    Независимость от вендора который зарекомендовал себя источником проблем в открытых проектах. Как еще доходчивее это объяснить?

    Только дурак не думает о своем будущем. А мускул у оракла и будущее - малосовместимые понятия. Не, оракл будет заниматься ИБД и прочая, спору нет. Но какой либо даже самой минмальной конкуренции с другими продуктами - не допустит. Налицо конфликт интересов. Кроме того, оракл зарекомендовал себя не просто хреновым, а вообще никаким лидером сообщества. Наличие у оракла толстого кошелька еще не обязывает сообщество пойти взаимодействовать с ораклом. Тем более забесплатно.

     
     
  • 3.68, linux must _RIP_ (?), 14:29, 24/04/2013 [^] [^^] [^^^] [ответить]  
  • –1 +/
    ой.. А помним как Монтли "взаимодействовал" с сообществом?
    сначала требовал подписывать соглашения о передаче прав на патчи ему любимому..
    Потом начала зажимать бинарные сборки, и вставлять палки в колеса - что бы не могли собрать так что бы конкурировать с его сборками, а потом и вовсе продал продукт ненавистному Sun/Oracle? При этому не поделился с теми кто ему присылал патчи.. Все себе..

    Это называется хорошо взаимодействовать?

     

     Добавить комментарий
    Имя:
    E-Mail:
    Текст:



    Партнёры:
    PostgresPro
    Inferno Solutions
    Hosting by Hoster.ru
    Хостинг:

    Закладки на сайте
    Проследить за страницей
    Created 1996-2024 by Maxim Chirkov
    Добавить, Поддержать, Вебмастеру