https://m.opennet.me/openforum/vsluhforumID3/64931.html Линус Торвальдс утвердил (http://lwn.net/Articles/379554/rss) включение в состав Linux-ядра 2.6.34 кода файловой системы Ceph (http://ceph.newdream.net/), способной поддерживать работу хранилища объемом в несколько петабайт (1 Пб = 1024 Тб), распределенного по тысячам машин. В запросе (http://groups.google.ru/group/kernelarchive/msg/329b77b1d40e776e) на интеграцию Ceph в состав ядра сообщается, что последние несколько месяцев стабильность работы Ceph была существенно улучшена и компания Red Hat собирается включить поддержку работающей на уровне пользователя реализации Ceph в дистрибутив Fedora 13. <br><br><br><br>Встроенные в Ceph механизмы репликации данных (данные разбиваются на блоки и несколько раз дублируются на разных машинах) обеспечивают чрезвычайно высокую живучесть системы. При добавлении или удалении новых узлов, массив данных автоматически ребалансируется с учетом изменения конфигурации. В Ceph имеется поддержка снапшотов, причем снапшот может быть создан не только для ФC, но и для ...<br><br>URL: http://lwn.net https://m.opennet.me/openforum/vsluhforumID3/64931.html#53 Mon, 22 Mar 2010 22:43:46 GMT Погуглите по ключевым словам zfs pool recover rewind и их вариациям в домене opensolaris.org<br> https://m.opennet.me/openforum/vsluhforumID3/64931.html#52 Mon, 22 Mar 2010 17:39:20 GMT &gt;[оверквотинг удален]<br>&gt;охлаждение) потребляет около 6МВатт - то потребуется построить еще одну электростанцию <br>&gt;- ибо 2МВатт надо будет откуда-то взять. <br>&gt;<br>&gt;Как вам такие расходы ? <br>&gt;<br>&gt;PS. не задумывались почему гугл хочет открыть дочернее предприятие по продаже электричества? <br>&gt;<br>&gt;PPS. потребляемая мощность взята не из ornl - а из японского кластера <br>&gt;ti-tech который меньше того что стоит в ornl - поэтому оценка <br>&gt;скорее всего занижена. <br><br>Не переживайте, мы все посчитали. Вы считаете исходя из энергопотребления, которое производит стандартное серверное оборудование с малоемкими (320-750Гб), зато очень горячими и вращающимися на 15К оборотов, жесткими дисками. Которые подключены в серверные многопроцессорные материнские платы с прожорливыми серверными модификациями процессоров. При этом запиханы в корпуса с 3-10 мощнейшими высокооборотистыми вентиляторами для охлаждения всей этой печки и с парой мощных блоков питания для резерва. И вполне понятно, в системе в которой репликация не превышает единиц https://m.opennet.me/openforum/vsluhforumID3/64931.html#51 Mon, 22 Mar 2010 12:53:31 GMT приведите, если под рукой<br> https://m.opennet.me/openforum/vsluhforumID3/64931.html#50 Mon, 22 Mar 2010 08:08:28 GMT вот как удачно всё складывается, учитывая ваш полный провал в доказательстве своих слов "у ceph не было рековери как класс", полный фэйл в "2 режима востановления", не знание терминологии, скатывание на оскорбления и под конец истерический смех.<br>а я уж думал развить свою мысль, просмотрел истории изменений (типа commit ce464a5a0af670fba24ba37e9d44fa5e7112165a Author: Sage Weil &lt;sage@newdream.net&gt; Date: Fri Feb 12 14:45:02 2010 -0800 osd: fix recovery requeue race и прочие osd: recovery fixes, journaling fixes)<br>но до recovery osd (отсутствовавшего как класс :D) так и не дошло.<br>а жаль. имеется в виду жаль, что в люстре сейчас именно такого класса "разработчики".<br>помнится именно такие и слили сан (вашими же словами) как класс.<br> https://m.opennet.me/openforum/vsluhforumID3/64931.html#49 Mon, 22 Mar 2010 06:20:31 GMT &gt;&gt;оба osd на которых находится реплика окажутся в down<br>&gt;<br>&gt;Для тех систем, для которых предназначена Ceph <br>&gt;1) Реплик для большей части данных должно быть &gt;1<br>&gt;2) Даже если предположить, что для некоторого куска данных у нас всего <br>&gt;одна реплика, то вероятность того, что "реплика" и "оригинал" окажутся именно <br>&gt;на этих двух, вышедших из строя одновременно(!), серверов из 1000 - <br>&gt;ничтожно мала, и скорее всего при этом совпадение будет только для <br>&gt;очень малого фрагмента данных. <br><br>PS. 1к нод это очень мало - имеет смысл разговаривать о 10-50к нод - тогда и статистика будет совсем другой.<br>вместо одного выхода из строя в неделю - к тому что ноды постоянно выходят из строя - и кластер постоянно находится в состоянии востановления своих частей.<br><br> https://m.opennet.me/openforum/vsluhforumID3/64931.html#48 Mon, 22 Mar 2010 06:18:28 GMT &gt;&gt;И что? Кроме лозунгов процитировать алгоритм работы можешь ? Или слабо?<br>&gt;<br>&gt;процитировать? Да там в самой диссертации 239 страниц! <br><br>Выдели кусок который подтверждает твой тезис и процитируй.<br><br>&gt;походу ты хвастался, что читал. значит терминами владеть должен. а значит должен <br>&gt;знать в частности о CRUSH (Controlled Replication Under Scalable Hashing), a <br>&gt;pseudo- <br>&gt;random data distribution algorithm that efficiently and robustly distributes object replicas across <br>&gt;a heterogeneous, structured storage cluster), о том зачем ей RADOS, которому <br>&gt;зачем то нужен EBOFS. <br><br>и что? вопрос репликации весьма слабо корелируют с вопросами crash recovery.<br>Поэтому они даже в описании архитектуры вынесены в разные разделы.<br><br><br>&gt;&gt;От идиота слышу. Ты малыш научись сначала азбуке.. потом прочитай про архитектуру (как это работает внутри)<br>&gt;<br>&gt;думаешь хамство исправит пробелы в твоем образовании? не надейся. малыш. :D <br><br>Нет перенимаю твой стиль, малыш :-P<br><br><br>&gt;&gt;Научись сначала не оскорблять других. после этого пого https://m.opennet.me/openforum/vsluhforumID3/64931.html#47 Mon, 22 Mar 2010 06:11:46 GMT &gt;&gt;оба osd на которых находится реплика окажутся в down<br>&gt;<br>&gt;Для тех систем, для которых предназначена Ceph <br>&gt;1) Реплик для большей части данных должно быть &gt;1<br>&gt;2) Даже если предположить, что для некоторого куска данных у нас всего <br>&gt;одна реплика, то вероятность того, что "реплика" и "оригинал" окажутся именно <br>&gt;на этих двух, вышедших из строя одновременно(!), серверов из 1000 - <br>&gt;ничтожно мала, и скорее всего при этом совпадение будет только для <br>&gt;очень малого фрагмента данных. <br><br>Сбои на свичах и фонящие кабеля у IB - я уже видел за время своей работы, и многие вещи вероятность которых ничтожна мала.<br><br>PS. на кластерах размером 10-20к нод - в день умирает 1-2 ноды и это статистика собраная Cray.<br> https://m.opennet.me/openforum/vsluhforumID3/64931.html#46 Mon, 22 Mar 2010 06:08:06 GMT &gt;Вы это гуглу расскажите. 5 стораджей по 10P на дешевых компонентах будут стоить на порядок дешевле, чем 2 по 10P на северных. А надежность будут обеспечивать при этом не меньшую.<br><br>Вы считаете только стоимость комплектующих. А теперь посчитайте сумарную стоимость владения этим решением:<br>1. вам потребуется в 2-3 раза больше электричества на ваш ДС (а следовательно более дорогие провода при разводке, больше счета за электричество).<br>2. 5 стоек выделяют более чем в 2-3 раза больше тепла - сразу возрастает количество систем охлаждения, вопросы с проведением воздуховдов и тп.<br>3. Это в ~2 раза больше площадь - за нее платить надо, ее охлаждать и тп.<br><br>Учитывая что кластер в ornl (10P страдж + вычислительные ноды + все охлаждение) потребляет около 6МВатт - то потребуется построить еще одну электростанцию - ибо 2МВатт надо будет откуда-то взять.<br><br>Как вам такие расходы ?<br><br>PS. не задумывались почему гугл хочет открыть дочернее предприятие по продаже электричества?<br>PPS. потребляемая мощность взята не из ornl - https://m.opennet.me/openforum/vsluhforumID3/64931.html#45 Sun, 21 Mar 2010 22:23:01 GMT &gt;оба osd на которых находится реплика окажутся в down<br><br>Для тех систем, для которых предназначена Ceph<br>1) Реплик для большей части данных должно быть &gt;1<br>2) Даже если предположить, что для некоторого куска данных у нас всего одна реплика, то вероятность того, что "реплика" и "оригинал" окажутся именно на этих двух, вышедших из строя одновременно(!), серверов из 1000 - ничтожно мала, и скорее всего при этом совпадение будет только для очень малого фрагмента данных.<br>