forum.opennet.ru - "Facebook открыл код инструмента для ускорения смены схемы да..." (21)

форумы

помощь

поиск

регистрация

майллист

вход/выход

слежка

"Facebook открыл код инструмента для ускорения смены схемы да..."

Форум Разговоры, обсуждение новостей
Вариант для распечатки		Пред. тема \| След. тема
Изначальное сообщение		[ Отслеживать ]

"Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
Сообщение от opennews on 22-Сен-10, 15:25
Разработчики социальной сети Facebook сообщили (http://www.facebook.com/notes/mysql-at-facebook/online-schem...) об открытии утилиты OSC (Online Schema Change), позволяющей обеспечить возможность изменения на лету схемы представления данных в MySQL. По заявлению разработчиков использование классической операции "ALTER TABLE" для изменения структуры реплицированной на многие серверы базы выполняется слишком долго, поэтому для ускорения в OSC задействованы триггеры MySQL 5.0 для выполнения операций ALTER TABLE в неблокирующем режиме. Алгоритм OSC сводится к выполнению полного копирования данных во временную таблицу; изменению схемы временной таблицы без блокирования работы основной таблицы; синхронизации из основной таблицы всех данных, изменившихся с момента копирования (используются триггеры); замене базовой таблицы на подготовленную временную таблицу с новой структурой. Интересно, что по словам (http://www.theregister.co.uk/2010/09/21/facebook_online_s... URL: http://www.theregister.co.uk/2010/09/21/facebook_online_sche.../ Новость: http://www.opennet.dev/opennews/art.shtml?num=28046
Высказать мнение \| Ответить \| Правка \| Cообщить модератору

Оглавление

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 15:25 , 22-Сен-10, (1)

Facebook открыл код инструмента для ускорения смены схемы да..., filosofem, 15:44 , 22-Сен-10, (2) +1

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 16:30 , 22-Сен-10, (6)

Facebook открыл код инструмента для ускорения смены схемы да..., filosofem, 16:51 , 22-Сен-10, (7)

Facebook открыл код инструмента для ускорения смены схемы да..., Аноним, 15:44 , 22-Сен-10, (3)
Facebook открыл код инструмента для ускорения смены схемы да..., andy, 16:10 , 22-Сен-10, (4) +3

Facebook открыл код инструмента для ускорения смены схемы да..., anthonio, 16:56 , 22-Сен-10, (8) +8

Facebook открыл код инструмента для ускорения смены схемы да..., ixti, 17:13 , 22-Сен-10, (9) +5

Facebook открыл код инструмента для ускорения смены схемы да..., Аноним, 16:26 , 22-Сен-10, (5) +2

Facebook открыл код инструмента для ускорения смены схемы да..., Антон, 19:11 , 22-Сен-10, (10) +1

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 19:25 , 22-Сен-10, (11)

Facebook открыл код инструмента для ускорения смены схемы да..., Avator, 21:44 , 22-Сен-10, (12) +1

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 21:54 , 22-Сен-10, (13)

Facebook открыл код инструмента для ускорения смены схемы да..., AlexGor, 23:07 , 22-Сен-10, (14)

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 23:11 , 22-Сен-10, (15)

Facebook открыл код инструмента для ускорения смены схемы да..., AlexGor, 00:00 , 23-Сен-10, (16)

Facebook открыл код инструмента для ускорения смены схемы да..., klalafuda, 16:13 , 23-Сен-10, (18)

Facebook открыл код инструмента для ускорения смены схемы да..., agent_007, 20:43 , 25-Сен-10, (21)

Facebook открыл код инструмента для ускорения смены схемы да..., StrangeAttractor, 20:24 , 23-Сен-10, (20)

Facebook открыл код инструмента для ускорения смены схемы да..., Аноним, 14:30 , 23-Сен-10, (17)

Facebook открыл код инструмента для ускорения смены схемы да..., Евгений, 16:26 , 23-Сен-10, (19)

Сообщения по теме [Сортировка по времени | RSS]

1. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 22-Сен-10, 15:25

Интересно, как они борятся с внешними ключами :-? Вот есть рабочие таблица A на которую ключи из таблицы B. Мы решили что-то поменять в структуре таблицы A. Сделали временную таблицу T, в которую скопировали содержимое таблицы A + синхронизируем во времени содержимое T с A посредством тригеров. Через какое-то время T поменяла структуру. Дальше просто RENAME TABLE T в A :-? И при этом ключи из B в A не испортятся?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

2. "Facebook открыл код инструмента для ускорения смены схемы да..." +1 +/–

Сообщение от filosofem (ok) on 22-Сен-10, 15:44

>Интересно, как они борятся с внешними ключами :-?
Никак:
if ($row['count'] != 0) {
    $error =    'FK exists to or from table being altered. '.
                'FK and triggers may not work well together. '.
                'So OSC not allowed unless OSC_FLAGS_ACCEPTFK is set.';
    $this->raiseException($error, false);
}

Кстати это и называется
>расширена поддержкой проверки внешних ключей
=)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

6. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 22-Сен-10, 16:30

> if ($row['count'] != 0) {
>     $error =    'FK exists to or from table being altered. '.
>                 'FK and triggers may not work well together. '.
>                 'So OSC not allowed unless OSC_FLAGS_ACCEPTFK is set.';
>     $this->raiseException($error, false);
> }
Это я так понимаю кусок кода из их скриптов? Я их не смотрел пока если честно. Т.е. получается, что OSC явным образом проверяет на наличие FK и отказывается работать с таблицами, в которых они присутствуют? Чудное решение...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

7. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от filosofem (ok) on 22-Сен-10, 16:51

Смотреть там не на что. Прямая ссылка на 1000 строк кода на похапэ под BSDL.
По FK запрос к схеме на предмет ключей и если есть, то отказать. Очень нужная подачка.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

3. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от Аноним (??) on 22-Сен-10, 15:44

а чо удалить предварительно ключи никак ?
там же написано на коде какой утилиты и какого набора этого строится .. наверняка это плевое дело .

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

4. "Facebook открыл код инструмента для ускорения смены схемы да..." +3 +/–

Сообщение от andy (??) on 22-Сен-10, 16:10

А наши социальные сети odnoklassniki.ru и vkontakte.ru, открывают свои доработки?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

8. "Facebook открыл код инструмента для ускорения смены схемы да..." +8 +/–

Сообщение от anthonio (ok) on 22-Сен-10, 16:56

а что у них есть _свои_ наработки? :)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

9. "Facebook открыл код инструмента для ускорения смены схемы да..." +5 +/–

Сообщение от ixti (ok) on 22-Сен-10, 17:13

Автор предудущего поста весьма точно описал что у них свои не _наработки_ а _доработки_ :)) Хотя я бы ещё приставочку "не" добавил, чтоб уж совсем правда была :))

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

5. "Facebook открыл код инструмента для ускорения смены схемы да..." +2 +/–

Сообщение от Аноним (??) on 22-Сен-10, 16:26

(Оффтопик, в общем-то)
> ... по словам представителя Facebook ... на тысячах серверов проекта ...
На ТЫСЯЧАХ! :)
(В оригинале - "across its sea of MySQL servers", т.е. их просто "море", а не тысячи)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

10. "Facebook открыл код инструмента для ускорения смены схемы да..." +1 +/–

Сообщение от Антон (??) on 22-Сен-10, 19:11

Читайте внимательно, там сказано "X тысяч":
"...company runs "X thousands" of MySQL servers."
еще несколько цитат на тему числа серверов в FaceBook:
"the load on our thousands of servers continues to increase at a pretty astounding rate"
"Facebook: 30000 databases, 1800 db servers"

http://venublog.com/2008/04/16/notes-from-scaling-mysql-up-o.../
http://blog.facebook.com/blog.php?post=7899307130

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

11. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 22-Сен-10, 19:25

С такими кастомерами MySQL явно далеко до стагнации. Причем что фейсбук далеко не единственные.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

12. "Facebook открыл код инструмента для ускорения смены схемы да..." +1 +/–

Сообщение от Avator (ok) on 22-Сен-10, 21:44

а вы уверенны что они кастомеры??? Мне кажется они её поддерживать своими силами вполне могут...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

13. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 22-Сен-10, 21:54

> а вы уверенны что они кастомеры??? Мне кажется они её поддерживать своими силами вполне могут...
А смысл? Поле деятельности фейсбука лежит мягко говоря в совсем другой стороне. Зачем им держать отдельный коллектив, который будет заниматься разработкой RDBMS? Если проще и дешевле отдать это на аутсорс == купить поддержку у мускуля. С таким же успехом они и 'Linux смогут поддерживать' :) Но зачем..

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

14. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от AlexGor (??) on 22-Сен-10, 23:07

поле деятельности google тоже явно не в той стороне. что не мешает им "держать отдельный коллектив", в.т.ч. и для поддержки linux.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

15. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 22-Сен-10, 23:11

> поле деятельности google тоже явно не в той стороне. что не мешает им "держать отдельный коллектив", в.т.ч. и для поддержки linux.
Боюсь, масштабы гугла и фейсбука несколько не сопоставимые. А, главное, масштабы их хотелок. Поэтому гугл - это гугла, а фейсбук - это фейсбук. Не думаю, что последний ставит перед собой задачи завоевания Галактики и тд и тп. Ребята просто работают на волне. Без особых претензий.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

16. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от AlexGor (??) on 23-Сен-10, 00:00

> Ребята просто работают на волне. Без особых претензий.
ага. набрали полмиллиарда пользователей, без особых претензий. в gmail (и соответственно прочих гуглосервисах), к слову, аккаунтов меньше раза этак в два.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

18. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от klalafuda on 23-Сен-10, 16:13

> ага. набрали полмиллиарда пользователей, без особых претензий. в gmail (и соответственно прочих гуглосервисах), к слову, аккаунтов меньше раза этак в два.
Про полмиллиарда пользователей - это они вам сами сказали? Они соврали. У них как минимум пять миллиардов. А по проверенным слухам существенно больше...

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

21. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от agent_007 (ok) on 25-Сен-10, 20:43

> Про полмиллиарда пользователей - это они вам сами сказали?
ну естественно. подобного рода данные публикуют многие компании. не вижу причин, по которым тот же пейсбук мог бы завысить цифры.

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

20. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от StrangeAttractor (ok) on 23-Сен-10, 20:24

> "...company runs "X thousands" of MySQL servers."
Я тоже "runs X thousands of MySQL servers" при X = 0.005 :-)

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

17. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от Аноним (??) on 23-Сен-10, 14:30

Какой-то странный костыль, а почему не создать новую таблицу и не переносить туда записи. Параллельно используя представления (VIEW) для выборки данных из обоих таблиц???

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

19. "Facebook открыл код инструмента для ускорения смены схемы да..." +/–

Сообщение от Евгений (??) on 23-Сен-10, 16:26

из-за блокировки?

Высказать мнение | Ответить | Правка | ^ | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема

Партнёры:

Хостинг:

Закладки на сайте
Проследить за страницей

Created 1996-2024 by Maxim Chirkov
Добавить, Поддержать, Вебмастеру

1. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
Сообщение от klalafuda on 22-Сен-10, 15:25
Интересно, как они борятся с внешними ключами :-? Вот есть рабочие таблица A на которую ключи из таблицы B. Мы решили что-то поменять в структуре таблицы A. Сделали временную таблицу T, в которую скопировали содержимое таблицы A + синхронизируем во времени содержимое T с A посредством тригеров. Через какое-то время T поменяла структуру. Дальше просто RENAME TABLE T в A :-? И при этом ключи из B в A не испортятся?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	2. "Facebook открыл код инструмента для ускорения смены схемы да..."	+1 +/–
	Сообщение от filosofem (ok) on 22-Сен-10, 15:44
	>Интересно, как они борятся с внешними ключами :-? Никак: if ($row['count'] != 0) { $error = 'FK exists to or from table being altered. '. 'FK and triggers may not work well together. '. 'So OSC not allowed unless OSC_FLAGS_ACCEPTFK is set.'; $this->raiseException($error, false); } Кстати это и называется >расширена поддержкой проверки внешних ключей =)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	6. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от klalafuda on 22-Сен-10, 16:30
	> if ($row['count'] != 0) { > $error = 'FK exists to or from table being altered. '. > 'FK and triggers may not work well together. '. > 'So OSC not allowed unless OSC_FLAGS_ACCEPTFK is set.'; > $this->raiseException($error, false); > } Это я так понимаю кусок кода из их скриптов? Я их не смотрел пока если честно. Т.е. получается, что OSC явным образом проверяет на наличие FK и отказывается работать с таблицами, в которых они присутствуют? Чудное решение...
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	7. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от filosofem (ok) on 22-Сен-10, 16:51
	Смотреть там не на что. Прямая ссылка на 1000 строк кода на похапэ под BSDL. По FK запрос к схеме на предмет ключей и если есть, то отказать. Очень нужная подачка.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

3. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
Сообщение от Аноним (??) on 22-Сен-10, 15:44
а чо удалить предварительно ключи никак ? там же написано на коде какой утилиты и какого набора этого строится .. наверняка это плевое дело .
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

4. "Facebook открыл код инструмента для ускорения смены схемы да..."	+3 +/–
Сообщение от andy (??) on 22-Сен-10, 16:10
А наши социальные сети odnoklassniki.ru и vkontakte.ru, открывают свои доработки?
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	8. "Facebook открыл код инструмента для ускорения смены схемы да..."	+8 +/–
	Сообщение от anthonio (ok) on 22-Сен-10, 16:56
	а что у них есть _свои_ наработки? :)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	9. "Facebook открыл код инструмента для ускорения смены схемы да..."	+5 +/–
	Сообщение от ixti (ok) on 22-Сен-10, 17:13
	Автор предудущего поста весьма точно описал что у них свои не _наработки_ а _доработки_ :)) Хотя я бы ещё приставочку "не" добавил, чтоб уж совсем правда была :))
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

5. "Facebook открыл код инструмента для ускорения смены схемы да..."	+2 +/–
Сообщение от Аноним (??) on 22-Сен-10, 16:26
(Оффтопик, в общем-то) > ... по словам представителя Facebook ... на тысячах серверов проекта ... На ТЫСЯЧАХ! :) (В оригинале - "across its sea of MySQL servers", т.е. их просто "море", а не тысячи)
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	10. "Facebook открыл код инструмента для ускорения смены схемы да..."	+1 +/–
	Сообщение от Антон (??) on 22-Сен-10, 19:11
	Читайте внимательно, там сказано "X тысяч": "...company runs "X thousands" of MySQL servers." еще несколько цитат на тему числа серверов в FaceBook: "the load on our thousands of servers continues to increase at a pretty astounding rate" "Facebook: 30000 databases, 1800 db servers" http://venublog.com/2008/04/16/notes-from-scaling-mysql-up-o.../ http://blog.facebook.com/blog.php?post=7899307130
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	11. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от klalafuda on 22-Сен-10, 19:25
	С такими кастомерами MySQL явно далеко до стагнации. Причем что фейсбук далеко не единственные.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	12. "Facebook открыл код инструмента для ускорения смены схемы да..."	+1 +/–
	Сообщение от Avator (ok) on 22-Сен-10, 21:44
	а вы уверенны что они кастомеры??? Мне кажется они её поддерживать своими силами вполне могут...
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	13. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от klalafuda on 22-Сен-10, 21:54
	> а вы уверенны что они кастомеры??? Мне кажется они её поддерживать своими силами вполне могут... А смысл? Поле деятельности фейсбука лежит мягко говоря в совсем другой стороне. Зачем им держать отдельный коллектив, который будет заниматься разработкой RDBMS? Если проще и дешевле отдать это на аутсорс == купить поддержку у мускуля. С таким же успехом они и 'Linux смогут поддерживать' :) Но зачем..
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	14. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от AlexGor (??) on 22-Сен-10, 23:07
	поле деятельности google тоже явно не в той стороне. что не мешает им "держать отдельный коллектив", в.т.ч. и для поддержки linux.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	15. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от klalafuda on 22-Сен-10, 23:11
	> поле деятельности google тоже явно не в той стороне. что не мешает им "держать отдельный коллектив", в.т.ч. и для поддержки linux. Боюсь, масштабы гугла и фейсбука несколько не сопоставимые. А, главное, масштабы их хотелок. Поэтому гугл - это гугла, а фейсбук - это фейсбук. Не думаю, что последний ставит перед собой задачи завоевания Галактики и тд и тп. Ребята просто работают на волне. Без особых претензий.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	16. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от AlexGor (??) on 23-Сен-10, 00:00
	> Ребята просто работают на волне. Без особых претензий. ага. набрали полмиллиарда пользователей, без особых претензий. в gmail (и соответственно прочих гуглосервисах), к слову, аккаунтов меньше раза этак в два.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	18. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от klalafuda on 23-Сен-10, 16:13
	> ага. набрали полмиллиарда пользователей, без особых претензий. в gmail (и соответственно прочих гуглосервисах), к слову, аккаунтов меньше раза этак в два. Про полмиллиарда пользователей - это они вам сами сказали? Они соврали. У них как минимум пять миллиардов. А по проверенным слухам существенно больше...
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	21. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от agent_007 (ok) on 25-Сен-10, 20:43
	> Про полмиллиарда пользователей - это они вам сами сказали? ну естественно. подобного рода данные публикуют многие компании. не вижу причин, по которым тот же пейсбук мог бы завысить цифры.
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	20. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от StrangeAttractor (ok) on 23-Сен-10, 20:24
	> "...company runs "X thousands" of MySQL servers." Я тоже "runs X thousands of MySQL servers" при X = 0.005 :-)
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору

17. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
Сообщение от Аноним (??) on 23-Сен-10, 14:30
Какой-то странный костыль, а почему не создать новую таблицу и не переносить туда записи. Параллельно используя представления (VIEW) для выборки данных из обоих таблиц???
Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору


	19. "Facebook открыл код инструмента для ускорения смены схемы да..."	+/–
	Сообщение от Евгений (??) on 23-Сен-10, 16:26
	из-за блокировки?
	Высказать мнение \| Ответить \| Правка \| ^ \| Наверх \| Cообщить модератору