Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Micron опубликовал движок хранения HSE 3.0, оптимизированный для SSD-накопителей"	+/–
Сообщение от opennews (??), 21-Ноя-22, 22:52
Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, опубликовала выпуск движка хранения HSE 3.0 (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях и постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=58165
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по ответам | RSS]

1. Сообщение от Аноним (1), 21-Ноя-22, 22:52	+23 +/–
"наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю" идея поражает своей новизной
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #2, #43, #49, #58, #68, #76

2. Сообщение от анонимус (??), 21-Ноя-22, 22:56	–4 +/–
и че дальше?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #4

3. Сообщение от pashev.ru (?), 21-Ноя-22, 23:21	+2 +/–
В чём суть «оптимизаций»? Есть сравнения с другими? Насколько дольше проживёт флэшка с этой библиотекой, чем с другой?
Ответить | Правка | Наверх | Cообщить модератору

4. Сообщение от Аноним (4), 21-Ноя-22, 23:23	+19 +/–
Очевидно, что всё будет храниться в памяти, ssd станет вечным, а скорость неописуемой. Всё как ты хотел. Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей скоростью и надёжностью.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #2 Ответы: #7, #27, #40

7. Сообщение от анонна (?), 21-Ноя-22, 23:54	+1 +/–
верно и при этом производители памяти смогут хорошо навариться на увеличенном её расходе = требования к железу станут опять выше. как видим и производителям и этим махинаторам все на руку)) ура прогресс.. или регресс? в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" системы придумали? ждем ноухау - разделяемые куски операционной системы)) ну там системд-ядро или системд выполняющая его функции? короче все счастливы и у всех есть повод поживиться еще раз))
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #51

14. Сообщение от AleksK (ok), 22-Ноя-22, 00:28	+2 +/–
> Высокая скорость работы достигается за счёт гибридной модели хранения - наиболее актуальные данные кэшируются в ОЗУ Почти все актуальные операционные системы так делают. Более у того у всех жестких дисков хоть HDD хоть SSD есть кэш под эти цели.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #45, #78, #81

19. Сообщение от Аноним (19), 22-Ноя-22, 00:48	+4 +/–
Абсолютное не нужно. SSD это всё игрушки для тиктокеров, всю жизнь сидел на HDD, не вижу смысла менять.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #24

24. Сообщение от Аноним (-), 22-Ноя-22, 01:19	+3 +/–
Абсолютное не нужно. Hdd это всё игрушки для тиктокеров, всю жизнь сидел на перфокартах, не вижу смысла менять.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #19 Ответы: #29, #31

27. Сообщение от Аноним (-), 22-Ноя-22, 02:04	+/–
> Сможешь даже вытащить его из компа и положить рядом, чтобы радовал глаз своей > скоростью и надёжностью. Вот только после ребута или слета питания будет какая-то подстава, которой SSD не подвержен.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #44, #64

29. Сообщение от Аноним (-), 22-Ноя-22, 02:06	+1 +/–
Вот тиктокеры проклятые, тумблерных регистров и лампочек на шине им мало, перфокарты подавай!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #30

30. Сообщение от Аноним (30), 22-Ноя-22, 02:11	+1 +/–
Вот мажоры тиктокеры эти, по абаку счетными палками стучу, а им паскалины подавай!
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #29 Ответы: #35

31. Сообщение от Аноним (31), 22-Ноя-22, 02:37	–1 +/–
Seagate выпустила самый быстрый HDD в мире — 18 Тбайт и 554 Мбайт/с Можешь посчитать, во сколько раз дороже и громозще получится куча SSD на такой объём.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #24 Ответы: #38, #39

35. Сообщение от Аноним (35), 22-Ноя-22, 03:22	+4 +/–
Вот тиктокеры, думают там, считают что-то! В первичном бульоне плаваю просто, лапками шевелю - я инфузория-туфелька.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #30

38. Сообщение от Аноним (-), 22-Ноя-22, 06:32	+/–
Это те что на алике 96Тб ssd за 10$ ? Хорошая вещь.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31

39. Сообщение от Аноним (39), 22-Ноя-22, 07:34	+/–
Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью? Что там с энергопотреблением? Что с доступностью? Что со стоимостью? И какой такой SSD по скорости сравним с этим HDD? И что там с нелинейными скоростями чтения/записи?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #31 Ответы: #48

40. Сообщение от Аноним (40), 22-Ноя-22, 08:02	+/–
Очевидно что ты вообще не знаешь как работает вытеснение памяти, элементарный своп, как кэшируют данные с диска все современные ОС, СУБД, ну и вообще непонятно, что ты знаешь кроме как начёсывать своё ЧСВ этими высерами
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #4 Ответы: #59

43. Сообщение от Аноним (43), 22-Ноя-22, 09:06	+1 +/–
Кэш в Linux давно уже отправил в ОЗУ и ssd-шка стала спать больше кота.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

44. Сообщение от пох. (?), 22-Ноя-22, 09:10	+/–
Он еще худшей подвержен - вообще может в тыкву превратиться если в этот момент обновлялись страничные таблички. Так что все норм. Да и судя по спецификации и примеру применения - там никто и не заметит. Системы мониторинга, ага. Которым нужно ssd а лучше nvdimm. Ну мы поняли, поняли, у кого такие системы и что они "мониторят".
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

45. Сообщение от пох. (?), 22-Ноя-22, 09:13	+3 +/–
> Почти все актуальные операционные системы так делают. они в отличие от этой хрени немного не в курсе формата данных, поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя ключи которые понадобятся вотпрямщас а до значений может и не дойдет даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и она вообще не нужна. Но учитывая описываему сферу применения - конечно, вряд ли это хоть что-то разумное.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #55

47. Сообщение от Аноним (43), 22-Ноя-22, 09:27	+/–
Сейчас объём оперативной памяти так и говорит "кинь в меня кэш" и ZRAM очень довольно рациональная технология: зачем свапится на диск, когда много ОЗУ.. можно ещё и пожать там. Можно ещё совсем поехать: собрать свой Live дистрибутив Linux со всеми необходимыми прогами, закинуть на SSD-шку и собсно диск точно проживёт дольше обычного.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #50, #56

48. Сообщение от пох. (?), 22-Ноя-22, 09:29	+/–
> Это чё, raid-0 в форм-факторе 3.5" с такой же надёжностью? мущина, проснитесь, вы обо...а, вы и не спите, смотрю? > Что там с энергопотреблением? Что с доступностью? Что со стоимостью? Да ничего особенного. Если тебе не нужны загадочные 500чегототам в секунду (а нужны они крайне редко при таких объемах) - https://www.amazon.com/dp/B09VCXWPQG/ - уже давно самый обычный банальнейший ширпотреб - двадцатки пока некоторый дефицит и из-за этого слегка оверпрайснуты, 18 стоят 300 проклятых баксов, которые как известно вообще бумага и ей только задницу вытирать можно. Естественно, кому-то тут же пришла в голову идея раскрутить такой диск до 15000 и получить примерно те цифры ценой снижения надежности чтения. > И какой такой SSD по скорости сравним с этим HDD? И что Никакой, поскольку нет никаких 20T ssd (какие-то полуэкспериментальные модельки не продаваемые в частные руки и ценой дороже самолета не в счет). > там с нелинейными скоростями чтения/записи? на фоне 20T тебе будет совершенно все равно. Они и линейно читаются небыстро.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #39

49. Сообщение от лютый ж.... (?), 22-Ноя-22, 09:30	+/–
>В качестве примера интеграции движка в сторонние проекты подготовлен вариант документно-ориентированной СУБД MongoDB, переведённый на использование HSE. и оно положит случайные куски базы, индексов или journal в ОЗУ. что же может пойти не так? )
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1 Ответы: #62

50. Сообщение от лютый ж.... (?), 22-Ноя-22, 09:33	+2 +/–
>закинуть на SSD-шку и собсно диск точно проживёт дольше обычного. SSD и так проживёт намного дольше обычного НЖМД ) особенно если купить нормальный типа samsung evo. не понимаю эти все приседания насчёт ресурса ССД в бытовом применении.... я даже не уверен, что ты сможешь специально ресурс такого ССД выжрать, если задашься целью
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47 Ответы: #52, #54

51. Сообщение от n00by (ok), 22-Ноя-22, 09:36	+/–
> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" > системы придумали? Для борьбы с «ожирением» производителей проприетарного ПО. Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #7 Ответы: #63

52. Сообщение от Аноним (43), 22-Ноя-22, 09:53	+/–
да тут не приседание с ресурсом, а скорее с мусором. тебе так хочется чтобы ссдшка пережевывала мусор?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50

53. Сообщение от Аноним (54), 22-Ноя-22, 10:10	+1 +/–
>HSE оптимизирован не только для достижения максимальной производительности, но и для обеспечения долговечности работы различных классов SSD-накопителей. >Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти Пчёлы против мёда?
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #57

54. Сообщение от Аноним (54), 22-Ноя-22, 10:21	+/–
Так массово дохнут же. SSD живёт дольше только в ноутах ламерья, которые ноут с жёстким диском таскают (да ещё неаккуратно, размахивая ими и резко опуская на поверхности) во включённом состоянии, забывая о гироскопическом эффекте и о том, что головки на нанометры подходят к блинам (при этом бытовые вибрации дадут тряску на несколько нанометров (σ≈0.5 nm, но это СКО, а в распределении встречаются и 3σ, и даже 5σ), а небольшие удары столу - на десятки, даже на виброизолированном с помощью резины и пенопласта основании).
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #50 Ответы: #69, #75

55. Сообщение от AleksK (ok), 22-Ноя-22, 10:28	+/–
> они в отличие от этой хрени немного не в курсе формата данных, > поэтому могут делать хуже - вымывать свои кэши редкоиспользуемыми значениями, теряя > ключи которые понадобятся вотпрямщас а до значений может и не дойдет > даже. Плюс хранят массу метаинформации файловой системы, которой тут нет и > она вообще не нужна. Это понятно, но те же SQL серверы без проблем могут засунуть в память чуть ли ни всю базу если объем памяти позволяет.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #45 Ответы: #61

56. Сообщение от pin (??), 22-Ноя-22, 10:37	+/–
> зачем свапится на диск, когда много ОЗУ, ZRAM swapoff, не?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #47

57. Сообщение от anonymous (??), 22-Ноя-22, 10:41	+1 +/–
для бигдаты же, её не становится меньше, надо всё покупать и покупать
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #53 Ответы: #60

58. Сообщение от An onymous (?), 22-Ноя-22, 10:58	+1 +/–
> "наиболее актуальные данные кэшируются в ОЗУ, что снижает число обращений к накопителю" > идея поражает своей новизной Острословы не прочитали про NVDIMM?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

59. Сообщение от Аноним (59), 22-Ноя-22, 11:17	+/–
ramdisk? не, не слышал
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #40

60. Сообщение от пох. (?), 22-Ноя-22, 11:21	+/–
но она же не влезет на vmdimm?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #57

61. Сообщение от пох. (?), 22-Ноя-22, 11:23	+/–
ага, причем у них в памяти будет не дурацкий key-value, а результат обработки сложных запросов. Но для того что эти тут планируют собирать - им не надо sql.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #55

62. Сообщение от пох. (?), 22-Ноя-22, 11:24	+/–
Вроде все ж норм - как раз неслучайные, а только нужные. Ну, нужные по мнению разработчиков неведомой хрени, так что неизвестно что хуже.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #49

63. Сообщение от анонна (?), 22-Ноя-22, 11:54	+/–
>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" >> системы придумали? > Для борьбы с «ожирением» производителей проприетарного ПО. > Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за > счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте > сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка > 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек. тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и прочие удовольствия. при этом шла статическая линковка либ и как результат одна и таже либа грузилась по несколько раз (в разные ячейки памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве флатпак и прочие не идут сейчас по той же старой стезе? как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают? эта затея явно важна и принята производителями и не важно , что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она именно что зашла.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #51 Ответы: #87

64. Сообщение от Аноним (64), 22-Ноя-22, 12:30	+/–
Не разрешайте уборщице грызть силовой кабель.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #27

68. Сообщение от Аноним (68), 22-Ноя-22, 14:09	+/–
Что еще ждать от современных разработчиков, не способных придумать ничего новее чем кэшировать данные в озу.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

69. Сообщение от анонимоузе (?), 22-Ноя-22, 14:31	+/–
Нанометры там не просто воздуха, а воздушной подушки, то есть высокого давления. Потому система достаточно стабильно работает, и в спецификации на хдд указаны допустимые при работе ускорения. Что не говорит, конечно, что надо трясти, колотить или ронять хдд во время работы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54 Ответы: #71

70. Сообщение от Попандопала (?), 22-Ноя-22, 15:31	+/–
Программисты наконец оптимизировали что-то там. Прогресс и киллерфича.  Пол чемодана ссд на всякий случай... теперь не нужно.
Ответить | Правка | Наверх | Cообщить модератору
Ответы: #73

71. Сообщение от Аноним (71), 22-Ноя-22, 23:27	+/–
Длина свободного пробега при атмосферном давлении ~100 nm, если между головкой и блином ~1 nm, то число Кнудсена ~100, то есть высокий вакуум.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #69

73. Сообщение от Аноним (-), 23-Ноя-22, 00:11	+/–
Надо полчемодана оперативы.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #70

74. Сообщение от Пастухов (?), 23-Ноя-22, 00:20	+/–
Давайте в etcd затащим
Ответить | Правка | Наверх | Cообщить модератору

75. Сообщение от лютый ж.... (?), 23-Ноя-22, 18:12	+1 +/–
>Так массово дохнут же ссылку покажешь на массовую гибель брендовых SSD? (желательно указанное выше samsung evo)
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #54

76. Сообщение от вася (??), 23-Ноя-22, 21:47	+/–
они кешируются в чужой ОЗУ
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #1

77. Сообщение от fuggy (ok), 23-Ноя-22, 22:45	+/–
Это СУБД для ФС или ФС для СУБД. То ли это key-value db с REST интерфейсом, то ли это низкоуровневая библиотека для других СУБД.
Ответить | Правка | Наверх | Cообщить модератору

78. Сообщение от Аноним (78), 24-Ноя-22, 00:54	+/–
Отстал ты от прогреcса, тенденция сейчас, а уже как 5 лет назад появилась SSD без своей памяти бараньей (RAM) выпускать. Емею такой SSD, купил из-за цены, нет это не производитель такой мало известный это тенденция такая как я понял выпускать SSD только c flash памятью. Ноль у SSD RAM памяти ноль. Для точности нодо смотреть какой сейчас процент в продаже таких SSD без RAM пямяти.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14 Ответы: #79, #82, #84

79. Сообщение от Аноним (78), 24-Ноя-22, 00:58	+/–
Я уже и забыл знал я, что SSD покупаю без своей у этого SSD RAM памяти или нет. Может и не знал.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78 Ответы: #80

80. Сообщение от Аноним (78), 24-Ноя-22, 01:00	+/–
Вроде знал так как изучал, что покупаю. Забыл как было.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #79

81. Сообщение от Аноним (-), 24-Ноя-22, 01:11	+/–
Или может имелось ввиду SLC-кэш? Или обстрактно любой кеш в дисках?
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #14

82. Сообщение от Аноним (-), 24-Ноя-22, 01:34	+/–
Возможное я не правильно называю наличие в дисках DRAM памяти кешем. Есть такая информация. "Контроллер SSD-накопителя. Чем производительнее контроллер, тем выше будет скорость как до заполнения SLC-кэша, так и после. Наличие DRAM-буфера на накопителе. В этом буфере находится таблица с адресами данных в ячейках NAND памяти SSD. А это позволяет не считывать данные лишний раз для проверки. Поэтому при наличии DRAM-буфера скорости накопителя выше как до заполнения SLC-кэша, так и после"
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78

84. Сообщение от Аоним (?), 24-Ноя-22, 02:09	+/–
Все мои слова не совсем к месту. Кеш это кеш, а буфер это буфер.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #78 Ответы: #88

87. Сообщение от n00by (ok), 24-Ноя-22, 11:18	+/–
>>> в лине разделяемые библиотеки кажись как раз для борьбы с "ожирением" >>> системы придумали? >> Для борьбы с «ожирением» производителей проприетарного ПО. >> Просто возьмите калькулятор и посчитайте в цифрах, сколько там памяти экономится за >> счёт разделения именно секциями кода и неизменяемых данных. Если справитесь, попробуйте >> сравнить со статическим связыванием. Для затравки: приложение уровня HelloWorld это порядка >> 8-30 Кб _без_ зависимостей, что сверху - это от умелых ручек. > тратилось много, при недостатке оперативной памяти, поскольку грузилось все в неё(может > это был предыдущий виток желаний производителей?). из-за этого постоянный свопинг и > прочие удовольствия. Это было "лишь бы не как в Венде", где исполняемые образы не читались целиком в память, а отображались, и неизменяемые страницы просто отбрасывались. Либо смотрели в будущее, понятно же было, что объёмы ОЗУ растут и подход Linux в итоге окажется чуть быстрее в работе. > при этом шла статическая линковка либ и как результат > одна и таже либа грузилась по несколько раз (в разные ячейки > памяти) для разных программ, поэтому и придумали разделяемые библиотеки. но разве > флатпак и прочие не идут сейчас по той же старой стезе? > как итог опять будут придумывать разделяемые.... приложения?. что они еще придумают? > эта затея явно важна и принята производителями и не важно , > что изначально придумана энтузиастами  и прочими свободными кодерами. производителям она > именно что зашла. Да просто сравните размер исполняемого файла chromium или firefox с объёмом памяти, что они потребляют при запуске. Мегабайт и гигабайт. Не играет роли, считать .so или нет. А вот если 64-х разрядные указатели в графах сократить до 32-х - может сэкономиться процентов эдак 20.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #63

88. Сообщение от Аноним (88), 25-Ноя-22, 21:55	+/–
Кэш.
Ответить | Правка | Наверх | Cообщить модератору
Родитель: #84

89. Сообщение от Аноним (89), 27-Ноя-22, 21:22	+/–
Раньше были фс для флюш накопителей (f2fs или как оно?), теперь библиотека:) Раньше говорили, что в ssd встраивают умные контроллеры и кэши большие можно и без спец фс.. теперь это.
Ответить | Правка | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема