Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Опыт создания хранилища Ceph c пропускной способностью тебибайт в секунду"	+/–
Сообщение от opennews (??), 20-Янв-24, 21:26
Инженер из компании Clyso обобщил опыт создания кластера хранения на базе отказоустойчивой распределённой системы Ceph с пропускной способностью, превышающей тебибайт в секунду. Отмечается, что это первый кластер на базе Ceph, который смог достигнуть подобного показателя, но перед получением представленного результата инженерам потребовалось преодолеть серию не очевидных подводных камней... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=60470
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. Скрыто модератором	–4 +/–
Сообщение от Аноним (1), 20-Янв-24, 21:26
Зумерки пошли гуглить про тебибайт
Ответить | Правка | Наверх | Cообщить модератору

	20. Скрыто модератором	+1 +/–
	Сообщение от нах. (?), 21-Янв-24, 01:29
	> Зумерки пошли гуглить про тебибайт инженеры пошли читать доки EOS (нда... забавная говорящая лягушка, но что-то данные ей доверять неохота)
	Ответить | Правка | Наверх | Cообщить модератору

2. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–9 +/–
Сообщение от Аноним (2), 20-Янв-24, 21:39
>RelWithDebInfo >-O2 Расскажите инвалидам про PGO, кто-нибудь, представляю их шок от по-настоящему эффективного кода. Есть ещё -fno-semantic-interposition -fno-plt ускоряющие тот же питон на ~50%. >TCMalloc А вот тут не удивлён, больше удивлён, что столько желающих бездумно пихнуть эту дрянь в проект.
Ответить | Правка | Наверх | Cообщить модератору

	8. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от ZWayland (?), 21-Янв-24, 00:18
	Ты хоть видел LLVM-0 там RelWithDebInfo ?
	Ответить | Правка | Наверх | Cообщить модератору

	16. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Аноним (2), 21-Янв-24, 00:48
	>LLVM Вообще ужасно плохой и совершенно не универсальный код продуцирует, это да. Нет исключений. Разве что Skia, там шлангоспецифичные костыли нагорожены.
	Ответить | Правка | Наверх | Cообщить модератору

	17. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Ext (??), 21-Янв-24, 00:56
	>> Вообще ужасно плохой и совершенно не универсальный код продуцирует, это да Как проводили замеры эмулировали ли вы clangd делая его ссылку в usr/bin как будто он есть никто иной как c++ ?
	Ответить | Правка | Наверх | Cообщить модератору

	18. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Аноним (2), 21-Янв-24, 01:03
	Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт).
	Ответить | Правка | Наверх | Cообщить модератору

	21. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Ext (??), 21-Янв-24, 02:03
	>> Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт). А , зачем говорить о производительности когда я спросил про clangd ? Вы услышали в этом  вопросе что то про -O3 ? Залепили минус и радуетесь как ребенок
	Ответить | Правка | Наверх | Cообщить модератору

	22. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (2), 21-Янв-24, 02:08
	>>> Сборкой пакетов различными тулчейнами, выполнением сетов тестов (10 штук по кругу), анализом результатов и взятием среднего, а также разбором генерируемого кода в некоторых случаях. Советую меньше читать похороникс с его gcc -O3 (это вообще самый медленный код примерно всегда даёт). > А , зачем говорить о производительности когда я спросил про clangd ? > Вы услышали в этом  вопросе что то про -O3 ? > Залепили минус и радуетесь как ребенок Изначальный тейк >LLVM ужасно плохой и совершенно не универсальный код продуцирует и cland тут ни к селу ни к городу, а вот про минусы/плюсы это точно, ну, если кому-то от этого легче живётся, то всегда пожалуйста [картинка со слоном]
	Ответить | Правка | Наверх | Cообщить модератору

	24. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Ceph (?), 21-Янв-24, 03:13
	Может потому что слишком много статиков в исходном коде , ну так поубирайте их , нет не пробовали ?
	Ответить | Правка | Наверх | Cообщить модератору

	36. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от onanim (?), 21-Янв-24, 11:08
	> TCMalloc > дрянь а что насчёт jemalloc? если мне не изменяет память, старые версии 2.x оче ускоряли софт (но начиная с 3.x там что-то сломали и оно стало намного медленнее) новые версии не юзал.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	93. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Бывалый смузихлёб (?), 22-Янв-24, 09:02
	> PR #55238 130 has landed today, removing jemalloc from the Rust standard library > jemalloc is often more performant than the system’s allocator, but not always, > and it adds a non-trivial amount to the size of the executable. Уж если его даже из раста выкинули...
	Ответить | Правка | Наверх | Cообщить модератору

	116. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от onanim (?), 22-Янв-24, 15:21
	> раст не показатель
	Ответить | Правка | Наверх | Cообщить модератору

	62. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Ivan_83 (ok), 21-Янв-24, 15:54
	https://stackoverflow.com/questions/35745543/new-option-in-g... https://stackoverflow.com/questions/65554551/why-gcc-generat... Что то по описанию не похоже что это можно просто включить для всего софта в системе и забыть.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	63. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (2), 21-Янв-24, 16:21
	Я так сделал, никаких проблем. В приличных корпоративных дистрах мейнтейнеры пакетов добавляют эти флаги.
	Ответить | Правка | Наверх | Cообщить модератору

	74. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Ivan_83 (ok), 21-Янв-24, 19:37
	Я пересобрал фрю с этими двумя флагами и она просто не грузится.
	Ответить | Правка | Наверх | Cообщить модератору

	78. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (2), 21-Янв-24, 21:36
	> Я пересобрал фрю с этими двумя флагами и она просто не грузится. Ну так фря и не линукс. Glibc без включенного -fsemantic-interposition тоже сломали, когда перешли на внешнюю libxcrypt. Раньше работало. И в честь этого решили убрать custom-cflags из юзов. Примерно все остальные пакеты у меня собраны без semip.
	Ответить | Правка | Наверх | Cообщить модератору

	108. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
	Сообщение от Аноним (108), 22-Янв-24, 12:10
	Для тебя неуч https://tracker.ceph.com/issues/40745 https://aur.archlinux.org/cgit/aur.git/tree/PKGBUILD?h=ceph # -fno-plt causes linker errors (undefined reference to internal methods) # similar issue: https://bugs.archlinux.org/task/54845 # https://github.com/intel/media-driver/commit/d95d8f7ab7ac94a... # as of today (2019-07-12) the upstream maintainers do not consider this a bug in their code # (IMHO rightfully so) and thus we strip the option here Надеюсь ты разрабам ceph подкинешь патчей для исправления.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	109. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
	Сообщение от Аноним (2), 22-Янв-24, 12:14
	Неуч, это означает только то, что код низкого качества. Понятно, что это не универсальный флаг. В принципе, ошибки линкера -- это наиболее легко выявляемая и диагностируемая проблема, и часто они возникают из-за багов в конкретном линкере.
	Ответить | Правка | Наверх | Cообщить модератору

4. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+5 +/–
Сообщение от Tron is Whistling (?), 20-Янв-24, 22:47
Про i/o latency ни слова :)
Ответить | Правка | Наверх | Cообщить модератору

	6. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+5 +/–
	Сообщение от Tron is Whistling (?), 20-Янв-24, 22:55
	А в оригинале между прочим есть, там по факту почти запредельная latency для "network however was already built, and it's a beast".
	Ответить | Правка | Наверх | Cообщить модератору

	19. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от нах. (?), 21-Янв-24, 01:20
	да лана, мне гораздо интереснее через сколько секунд этот синхроглюкотрон у них навернулся и похоронил под собой все данные. Полагаю, с супер-пупер оптимизацией этого не пришлось ждать слишком долго.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	23. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+7 +/–
	Сообщение от Аноним (23), 21-Янв-24, 02:57
	А вот зависть — плохое чувство. Над собой нужно работать.
	Ответить | Правка | Наверх | Cообщить модератору

	60. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от Всем Анонимам Аноним (?), 21-Янв-24, 15:33
	К любой новости на opennet 80% коментариев, что все это хрень и глюкало. (подразумевается обычно что типа вот я бы лучше сделал в 1000 раз, если бы кто-то попросил меня слезть с дивана и попробовать хотя бы 1 раз что-то сделать)
	Ответить | Правка | Наверх | Cообщить модератору

	64. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+3 +/–
	Сообщение от aNonim (?), 21-Янв-24, 16:29
	Эка, Вы, кучеряво "Сперва добейся" оформили, демагоги одобряют))
	Ответить | Правка | Наверх | Cообщить модератору

	80. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (80), 21-Янв-24, 21:45
	Скорее что про Льва Толстого и кого-то простого.
	Ответить | Правка | Наверх | Cообщить модератору

	84. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (84), 21-Янв-24, 22:32
	Не, у пох/наха к цефу особенно трепетное отношение. Особенно когда в связи с проксмосом упоминается, там вообще наступает экстаз. Видать что-то очень личное (например, в начале карьеры из-за цефа всё потерял и уволили).
	Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

	86. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+3 +/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 22:35
	У меня к цефу не менее трепетное отношение. Я это сильно более 1 раза пытался тестировать, модное, молодёжное... Но вот проблема - ни одного раза, когда оно мне смогло должную отказоустойчивость обеспечить, не случилось. Вылет более одной ноды одновременно - это всё, хардкор, ад, содомия, скотоложество и т.п.
	Ответить | Правка | Наверх | Cообщить модератору

	97. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Пряник (?), 22-Янв-24, 09:52
	Тогда ставить более двух реплик данных?
	Ответить | Правка | Наверх | Cообщить модератору

	99. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 10:24
	Да не, там всё жестоко даже с несколькими репликами. А особенно жестоко с EC. PG просто "залипают" в неконзистентных состояниях с энной вероятностью - и начинай пляски с бубном.
	Ответить | Правка | Наверх | Cообщить модератору

	110. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Пряник (?), 22-Янв-24, 12:25
	Очень размытая формулировка. Предположу, что из-за недоступности нескольких OSD начался Repair со Scrub. В старых версиях Scrub делался очень долго.
	Ответить | Правка | Наверх | Cообщить модератору

	113. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 14:08
	Никакой размытой формулировки. PG просто залипают в undersized, incomplete и прочих забавных состояниях. Передёргивание целых OSD иногда даёт результаты, иногда нет. Можно по-джедайски удалять битые куски PG - но это извращение и вообще опасная операция.
	Ответить | Правка | Наверх | Cообщить модератору

	101. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от 1 (??), 22-Янв-24, 10:27
	Ну хоть не я один ....
	Ответить | Правка | К родителю #86 | Наверх | Cообщить модератору

	89. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от User (??), 22-Янв-24, 07:47
	Ну, у меня в окрестностях есть минимум два прецедента с крупным "разлетом-в-лоскутья" и восстановлением с бэкапа чего смогли, причем один из них - вполне себе облачный провайдер, т.е. на васянолапы не спишешь. По ощущениям - проблемная в плане надежности технология, со специфически высокими требованиями к эксплуатантам. Если у тебя нет прям _хороших_ специалистов на фуллтайм - лучше не связываться, как-то так.
	Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

	98. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (98), 22-Янв-24, 10:12
	8 лет работает и работает, ну случаются факапы, где их нет, но никогда ничего не рушилось
	Ответить | Правка | Наверх | Cообщить модератору

	100. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 10:26
	Ну, за 8 лет 3.14ца может при хорошем стечении обстоятельств просто не наступить. У нас обязателен стресс-тест на хранилку - тестируется отвал нод при разных условиях. И вот тут с цефом мы наступали в совершенно различные сорта приключений.
	Ответить | Правка | Наверх | Cообщить модератору

	107. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от User (??), 22-Янв-24, 11:51
	> 8 лет работает и работает, ну случаются факапы, где их нет, но > никогда ничего не рушилось 1. Может повезло. 2. Может - нагрузки нет\специфичная + п.1 3. Может - есть хорошие специалисты. Может... да много что "может". Вот конкретно сейчас и руководитель направления devops и архитектор от подрядчика сошлись на "Очково мне, Славик - давай железную сторажку возьмем, дешевле выйдет". Руководитель от инфры - окнул. С-с-ыкуны, чо.
	Ответить | Правка | К родителю #98 | Наверх | Cообщить модератору

	114. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 14:09
	> Может... да много что "может". Вот конкретно сейчас и руководитель направления devops > и архитектор от подрядчика сошлись на "Очково мне, Славик - давай > железную сторажку возьмем, дешевле выйдет". Руководитель от инфры - окнул. Угу, я их не могу не поддержать в этом самом очковании, да.
	Ответить | Правка | Наверх | Cообщить модератору

	115. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–2 +/–
	Сообщение от пох. (?), 22-Янв-24, 14:41
	> Не, у пох/наха к цефу особенно трепетное отношение. Особенно когда в связи с проксмосом > упоминается, там вообще наступает экстаз. ну да, оно в этой комбинации просто уникально выступило. > Видать что-то очень личное нет, просто та трагедь была очень хорошо задокументирована (и ты бы тоже про нее знал, если бы был инженером а не дол..ом) И там все было настолько прекрасно, что я как тот доктор - хорошо, великолепно, просто замечательно!
	Ответить | Правка | К родителю #84 | Наверх | Cообщить модератору

	117. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (117), 22-Янв-24, 19:51
	тут один уже сделал https://git.yourcmc.ru/vitalif/vitastor/src/branch/master/RE... понятия не имею насколько оно соответствует
	Ответить | Правка | К родителю #60 | Наверх | Cообщить модератору

	31. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 10:36
	Ну, тут я вообще уже даже интересоваться не рискую :)
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

	90. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от User (??), 22-Янв-24, 07:48
	"Печатаю со скоростью 1000 знаков в минуту - ну и фигня получается!"(Ц)
	Ответить | Правка | К родителю #19 | Наверх | Cообщить модератору

9. Скрыто модератором	–9 +/–
Сообщение от 12yoexpert (ok), 21-Янв-24, 00:22
почему кто-то должен знать, что такое этот цэпх?
Ответить | Правка | Наверх | Cообщить модератору

10. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+3 +/–
Сообщение от Аноним (-), 21-Янв-24, 00:22
> только в режиме максимальной производительности и отключить c-state ...и приготовить дохреналион долларов для энергокомпании, одобряющей такие рекорды :)
Ответить | Правка | Наверх | Cообщить модератору

	15. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Аноним (15), 21-Янв-24, 00:41
	Они как раз в Германии базируются. Можно будет просто переехать в США, и сразу срежется больше половины расходов.
	Ответить | Правка | Наверх | Cообщить модератору

	34. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от Аноним (34), 21-Янв-24, 10:50
	Ты еще просто молод и не знаешь всех тонкостей. Это все полезно для взякийх хецнеров, у которых вагон клиентов локалост-адмнинов. Почитай доки у hp, dell и т.п. на предмет получения high performance и low latency методом тюнинга power profile и параметров cpu в самом bios/uefi. Откроешь для себя новый мир.
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	130. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от onanim (?), 26-Янв-24, 10:13
	> ... Почитай доки у > hp, dell и т.п. на предмет получения high performance и low > latency методом тюнинга power profile и параметров cpu в самом bios/uefi. > Откроешь для себя новый мир. а на практике оказывается, что дофига умный биос (или BMC?) роняет частоту оперативы, если поставить модули одинаковой модели, но из РАЗНЫХ ПАРТИЙ, а в доках лишь скромно указано "Unbalanced memory configurations will result in a performance loss so always populate memory channels identically with identical DIMMs for best performance", но не сказано, что "identically" это ОДНА ПАРТИЯ ОДНОЙ МОДЕЛИ, а не просто одинаковая модель. вот это я открыл для себя новый мир, докупив в сервер идентичные планки к уже установленным.
	Ответить | Правка | Наверх | Cообщить модератору

	38. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от Аноним (38), 21-Янв-24, 11:42
	Это для топовых ребят: https://opennet.ru/60108-top500
	Ответить | Правка | К родителю #10 | Наверх | Cообщить модератору

	51. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+4 +/–
	Сообщение от BeLord (ok), 21-Янв-24, 13:17
	ИТ отрасль, где учиться надо от старта и до выхода в утиль, если постоянно не учишься, то знания быстро приходят в негодность. А учиться постоянно мало кто вывезет. Половина админов слабо представляют, как железо работает, хотя админят те же кластеры, куча программистов слабо понимаю архитектуру процессоров, а потом удивляются почему код такой-) Модерация слабо поможет, критерии очень размыты. Пример, я  имел опыт работы с FreeBSD c 1994 по 1999, значит ли это что я могу давать комментарии по фри? Как по мне знания устарели, да со временем много забывается, другой человек будет считать иначе. Или есть опыт написания драйверов под нестандартное железо для шины PCI, ну и что, то что это все работала под вынь и осьпополам в 96 году, не говорит же, что я программист сейчас-))
	Ответить | Правка | Наверх | Cообщить модератору

	55. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от BrainFucker (ok), 21-Янв-24, 13:42
	> ИТ отрасль, где учиться надо от старта и до выхода в утиль, если постоянно не учишься, то знания быстро приходят в негодность. А учиться постоянно мало кто вывезет. Да, только я не про опыт, а про манеры общения. Во всех подобных околоайтишных раковниках контингент годами общается как гопота из подворотни. А знания тут ни при чём, когда специалист уже сеньор, ему больше софт скилы важны.
	Ответить | Правка | Наверх | Cообщить модератору

	65. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (117), 21-Янв-24, 17:07
	брехня, Руководство всегда найдёт как обидеть.
	Ответить | Правка | Наверх | Cообщить модератору

	68. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (68), 21-Янв-24, 17:30
	Знания важны всегда. Софтскилз сеньёру нужен дополнительно когда знания нужно понести в массы и добавить к себе условный x10 полезности. Т.е. это уже переход от просто инженера к архитектору или техдиру
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	69. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+4 +/–
	Сообщение от OpenEcho (?), 21-Янв-24, 17:33
	> Во всех подобных околоайтишных раковниках контингент годами общается как гопота из подворотни. Гопота рядом не стояла, там принято за кривой базар рожу бить, а здесь все безнаказанка и дешевая душонка позволяет АйТи "гениям" хоть где то показать свою "крутость", - нагадить и убежать не битым
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	81. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (80), 21-Янв-24, 21:50
	>общается как гопота из подворотни Простите, а где головастым (без иронии) нердам (немного иронии) ещё удастся задоминировать? В подворотне можно и по роже получить, а тут и безопасно, и можно слегка "причаститься" к тем самым дворовым пацанам, хотя бы на словах.
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	94. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Пряник (?), 22-Янв-24, 09:44
	Скорее это ты попался на троллинг с отыгрышем.
	Ответить | Правка | К родителю #55 | Наверх | Cообщить модератору

	67. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (68), 21-Янв-24, 17:28
	>  Пример, я  имел опыт работы с FreeBSD c 1994 по 1999, значит ли это что я могу давать комментарии по фри? Можешь давать комментарии вообще по чему угодно, кто же запрещает
	Ответить | Правка | К родителю #51 | Наверх | Cообщить модератору

	70. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от OpenEcho (?), 21-Янв-24, 17:37
	> Можешь давать комментарии вообще по чему угодно, кто же запрещает здравый интелект у него запрещает
	Ответить | Правка | Наверх | Cообщить модератору

41. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–3 +/–
Сообщение от Аноним (41), 21-Янв-24, 12:08
Отключить cstate в биос? Т.е. догадаться для начала хотя бы через tuned выставить latency-профиль они не догадались, а в биос полезли? Не представляю себе биос для серверных материнок, где бы по умолчанию не был режим, в котором C-state можно управлять софтварно. Но нет, конечно, задуматься о том что выбрать подходящий под нагрузку профиль (или напрямую сменить режим cpupower/sysctl/и тп, tuned никакой магией не занимается, просто удобные пресеты настроек для включения в одну команду) они не догадались, зато решили поковыряться в биосе. Чудесно.
Ответить | Правка | Наверх | Cообщить модератору

	43. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+2 +/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 12:22
	Софтварное управление C-state тоже имеет приличное время реакции. В критичных к latency системах - да, лучше отключать и ставить max performance, факт.
	Ответить | Правка | Наверх | Cообщить модератору

	111. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (111), 22-Янв-24, 13:08
	Понятно что имеет время реакции. Но их можно *отключить* соответствующим режимом энергопотребления, и на это есть готовый профиль tuned. И это работает сразу же, без манипуляций биосом от дефолта - что с точки зрения управления (ansible или что угодно) совсем не то же самое что идти перезагружать тачки и манипулировать биосом после каждого обновления (хотя, большинство серверных вендоров нынче умеют не терять изменения настроек при обновлении фирмвари - еще бы десктопным материнкам об этом только мечтать... Но большинство != все)
	Ответить | Правка | Наверх | Cообщить модератору

	112. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от 1 (??), 22-Янв-24, 13:13
	> совсем не то же самое что идти перезагружать тачки и манипулировать биосом после каждого обновления Если это сервер, то у него есть IPMI (ну или KVMoIP для особо страждущих). Ходить никуда не надо.
	Ответить | Правка | Наверх | Cообщить модератору

	119. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 22:04
	У делла даже есть варианты в заказе, когда по дефолту ставится max performance. И никуда идти не надо.
	Ответить | Правка | К родителю #111 | Наверх | Cообщить модератору

	102. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от 1 (??), 22-Янв-24, 10:41
	> Т.е. догадаться для начала хотя бы через tuned выставить latency-профиль они не догадались, а в биос полезли? А зачем догадываться ? Отключение C-Stated в BIOS для нагруженных серверов, штатная процедура - прописанная в инструкции. У меня орки это делают, сразу после распаковки. И думать о профилях нет никакого смысла.
	Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

	125. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от RM (ok), 23-Янв-24, 15:56
	По феншую, т.е. low latency мануалам, как уже сказали, сначала BIOS а потом уже настройки системы. Как я понимаю - потому что P-States и C-States все же немного разные вещи. И tuned больше про первые, чем про вторые. Ну и у народа Epic, не интел. А также потому что процессоры нонче сильно умные и так и норовят power state promotion сделать на аппаратном уровне.
	Ответить | Правка | К родителю #41 | Наверх | Cообщить модератору

44. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от InuYasha (??), 21-Янв-24, 12:28
Мне интересно только - кто юзер. Минэнерго США? ЦЕРН? Или какие-то другие враги народов?
Ответить | Правка | Наверх | Cообщить модератору

	48. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от пох. (?), 21-Янв-24, 13:10
	Церн оказался круче и там в конце статьи ссылка на его собственное аналогов не имеющее (не тратьте клик - оно а-ля гластер разворачивается поверх xfs и только xfs - видимо так же хранит все лишние детали в ее EA, но при этом а-ля цеф требует отдельных демонов для меты, для дисков и для управления, и так же использует роксдряньбазу - но обычную, в файликах. То есть небольшой шанс потом вручную собрать когда оно рухнет остается, наверное, но вы этого точно не хотите) У минэнерго скорее всего нет столько ненужных данных в таком количестве, и они свои складывают на обычные полки. Тут пахнет ностоящей ноукой, где все нахаляву и в любых количествах.
	Ответить | Правка | Наверх | Cообщить модератору

	50. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 13:15
	Роксдб - это вообще отдельная тема. Я с трудом понимаю, как люди вообще в это рискуют что-то более-менее ценное складывать.
	Ответить | Правка | Наверх | Cообщить модератору

	54. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от пох. (?), 21-Янв-24, 13:37
	изначально видимо архитекторами хефа предполагалось что от нее требуется максимум скорости а ничего ценного в конкретном OSD нет и его можно целиком потерять. ЦЕРН выступил круче и у них там лежит кэш? метаданных. Короче хз что у них там происходит при потере QDB или мусоре в базе - настолько детально лезть в их записки на манжетах (приличной документации как обычно нет) неохота. Возможно всеобщий амбец.
	Ответить | Правка | Наверх | Cообщить модератору

	91. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (91), 22-Янв-24, 07:56
	чо с ним не так?
	Ответить | Правка | К родителю #50 | Наверх | Cообщить модератору

	92. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Tron is Whistling (?), 22-Янв-24, 08:54
	> чо с ним не так? Гуглите rocksdb corruption.
	Ответить | Правка | Наверх | Cообщить модератору

	118. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
	Сообщение от Аноним (117), 22-Янв-24, 19:54
	оно? https://rocksdb.org/blog/2022/07/18/per-key-value-checksum.html пишуть что всё хорошо To prevent and detect corruption, RocksDB has several consistency checks
	Ответить | Правка | Наверх | Cообщить модератору

	53. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от InuYasha (??), 21-Янв-24, 13:35
	Я уже потратил нечто гораздо большее чем клик на этот гадюшник, но спасибо. А может и не наукой, а корпоративной бигдатой типа алфавита..?
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

	56. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от пох. (?), 21-Янв-24, 13:49
	ненене, мы ее не для того собирали чтоб так просто лишиться. Ну и алфавит не станет заказывать у стремной конторы сетап, а наловит в индийских джунглях еще полторы сотни разработчиков и удивит нас еще какой-нибудь новой бжней.
	Ответить | Правка | Наверх | Cообщить модератору

	105. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (108), 22-Янв-24, 11:19
	А вроде раньше церн как раз ceph использовали.
	Ответить | Правка | К родителю #48 | Наверх | Cообщить модератору

	95. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Пряник (?), 22-Янв-24, 09:46
	Откуда такая одержимость экономией энергией?
	Ответить | Правка | К родителю #44 | Наверх | Cообщить модератору

	129. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от электронщег (?), 24-Янв-24, 16:10
	А кто говорит про экономию энергии? Министерство энергетики США занимается куда более мрачными делишками ;)
	Ответить | Правка | Наверх | Cообщить модератору

45. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от X86 (ok), 21-Янв-24, 12:44
Сколько ошибок в слове терабайт с хвостиком)
Ответить | Правка | Наверх | Cообщить модератору

	52. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от пох. (?), 21-Янв-24, 13:28
	это ж текущий статус - а у этих самураев нет цели, только путь.
	Ответить | Правка | Наверх | Cообщить модератору

59. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
Сообщение от Аноним (59), 21-Янв-24, 15:10
неужели у них эта пропускная способность настолько точно определена, что в переводе новости нельзя Тб по-человечески назвать терабайтом?
Ответить | Правка | Наверх | Cообщить модератору

	71. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (-), 21-Янв-24, 18:15
	Разница между терабайтом и тибибайтом ~10%. Так что да, пропускная способность определена настолько точно.
	Ответить | Правка | Наверх | Cообщить модератору

72. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от JL2001 (ok), 21-Янв-24, 18:58
интересно > При задействовании кодов коррекции ошибок EC62 пропускная способность составила 547 GiB/s при чтении и 387 GiB/s при записи (скорость записи оказалась выше чем без кодов коррекции)
Ответить | Правка | Наверх | Cообщить модератору

	73. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от нах. (?), 21-Янв-24, 19:15
	ничего интересного - они ж с 3x сравнивают. Разумеется запись того же самого объема на шесть дисков (или даже на 4 - понятия не имею как правильно читать ихнее 62, нормальные люди во избежание разночтений пишут 6+2) будет быстрее чем на один, и даже с учетом восьмушек дополнительно.
	Ответить | Правка | Наверх | Cообщить модератору

	85. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 22:32
	Естественно. 3 реплики = трёхкратный объём записи (и передачи по сети соответственно) на каждый актуальный записанный блок 6+2 RS = 1.33 объёма на каждые 6 актуальных последовательных блоков Правда при рандомной записи не по границе блока могут быть сюрпризы
	Ответить | Правка | К родителю #72 | Наверх | Cообщить модератору

75. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
Сообщение от Аноним (75), 21-Янв-24, 20:20
> При задействовании кодов коррекции ошибок EC62 Что это за тип ECC? Не гуглится, всё что находится это какая-то InfiniBand сетевушка от IBM.
Ответить | Правка | Наверх | Cообщить модератору

	83. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от Tron is Whistling (?), 21-Янв-24, 22:30
	Это какое-то презетное или в узкой среде принятое название профиля, я так понял. Код Рида-Соломона, k=6, m=2, на каждые 6 блоков добавляются 2 избыточных. Банальный RAID 6 из 8 юнитов (6+2), короче.
	Ответить | Правка | Наверх | Cообщить модератору

	87. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Sw00p aka Jerom (?), 21-Янв-24, 22:37
	https://en.wikipedia.org/wiki/Erasure_code 6+2
	Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

	88. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+3 +/–
	Сообщение от Sw00p aka Jerom (?), 21-Янв-24, 22:41
	https://ceph.io/en/news/blog/2014/erasure-coding-in-ceph-2/ вот тут собственно по сабжу
	Ответить | Правка | К родителю #75 | Наверх | Cообщить модератору

96. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от Пряник (?), 22-Янв-24, 09:48
Ceph это скорее не про скорость, а про доступность, облачность и надёжность.
Ответить | Правка | Наверх | Cообщить модератору

	103. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от 1 (??), 22-Янв-24, 10:46
	Первые два - да ... С третьим есть куда стремиться.
	Ответить | Правка | Наверх | Cообщить модератору

104. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от Аноним (108), 22-Янв-24, 11:16
Ceph can be very slow when not properly compiled with TCMalloc support. Где в оригинале говорится что нужно отключить tcmalloc?
Ответить | Правка | Наверх | Cообщить модератору

	106. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
	Сообщение от Аноним (108), 22-Янв-24, 11:24
	Нашел, да есть такое.
	Ответить | Правка | Наверх | Cообщить модератору

120. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
Сообщение от Мухорчатый (?), 22-Янв-24, 22:19
Хотел тут на редосе ceph запустить. Не суперпроизводительный, а самый обыкновенный. Угадайте - получилось или нет? ))))
Ответить | Правка | Наверх | Cообщить модератору

	123. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	–1 +/–
	Сообщение от Аноним (91), 23-Янв-24, 10:54
	чо за reDOS ?
	Ответить | Правка | Наверх | Cообщить модератору

	127. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+1 +/–
	Сообщение от fyjybv (?), 23-Янв-24, 16:10
	Ты, наверное, не пользовался cehpadm (так как система не входит в список официально поддерживаемых платформ), а ставил из официального репозитория с помошью встроенного пакетного менеджера и поэтому у тебя все получилось. Ведь ни один нормальный человек не станет компилять из tar.gz.
	Ответить | Правка | К родителю #120 | Наверх | Cообщить модератору

128. "Опыт создания хранилища Ceph c пропускной способностью тебиб..."	+/–
Сообщение от Аноним (128), 24-Янв-24, 00:01
А накатит патчик из новости про планировщик (https://www.opennet.dev/opennews/art.shtml?num=60474) - ещё быстрее полетит)
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема