https://www.opennet.ru/openforum/vsluhforumID3/120463.html Компания Micron Technology, специализирующаяся на производстве DRAM и флеш-памяти, представила новый движок хранения HSE (Heterogeneous-memory Storage Engine), разработанный с учётом специфики использования на SSD-накопителях, основанных на NAND flash (X100, TLC, QLC 3D NAND) или постоянной памяти (NVDIMM). Движок выполнен в форме библиотеки для встраивания в другие приложения и поддерживает обработку данных в формате ключ-значение. Код HSE написан на языке Си и распространяется под лицензией Apache 2.0...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=52827<br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#66 Thu, 04 Feb 2021 23:14:15 GMT Я правильно понимаю, что без их модуля ядра mpool движок работать не будет?<br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#65 Thu, 30 Apr 2020 07:26:44 GMT &gt; п.с: &#171;выгоднее&#187; вообще ничего не делать, кроме как просто деньги печатать..<br><br>вы там поаккуратнее с такими идеями. Кеннеди вот - пришлось пристрелить.<br><br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#64 Thu, 30 Apr 2020 06:38:10 GMT &gt;&gt; это я не понял, но не читать же чудо-код...<br>&gt; Тогда мне с вами не о чем говорить.<br><br>ну звиняйте - если я не вижу ответов на очевидные вопросы в описании софта - я точно не буду их искать реверс-инжинирингом.<br><br>И предпочту обойтись своими предположениями, выбирая худшие - потому что редко, на самом деле, случаются чудеса.<br><br>Если кто-то за меня расковыряет - я с интересом его послушаю. Но разбираться сам, откуда там волшебные автоматические барьеры - не буду, тем более.<br><br><br><br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#63 Wed, 29 Apr 2020 22:12:19 GMT &gt; это я не понял, но не читать же чудо-код...<br><br>Тогда мне с вами не о чем говорить.<br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#62 Wed, 29 Apr 2020 22:03:23 GMT &gt;&gt; А у этой хрени, похоже, вопрос сохранения данных вообще не стоит ;-) <br>&gt; Ну вот опять "не читал, но осуждаю"...<br><br>дык, а чего читать-то - данные профайлера? Они у вас разьве есть? <br><br>Документации нет, вывален какой-то непойми как работающий код и непойми что тестирующие тесты. (насколько они в чей-то конкретный use-case ложатся с их фиксированным размером блока, которого в жизни не бывает примерно никогда?)<br><br>&gt; Эта "хрень" (aka HSE) работает быстрее на 99% из-за mpool (модуль ядра). <br><br>проверяли? И если да - то как? Может она не из-за mpool, а из-за того что половина операций п[р]опадает в память, например? Монга, заметьте, тоже умеет и любит память, но писать на диск старается надежно, и недаром у нее такая большая любовь к единственно-верной xfs.<br><br>&gt; В свою очередь, mpool реализует примерно две (нужные для LSM+WAL) вещи, но <br>&gt; делает это гораздо оптимальнее чем можно сделать через традиционное API POSIX. <br><br>ну вот этот момент и стоит разобрать подробнее - чем оптимальнее и насколько. Учитывая что от https://www.opennet.ru/openforum/vsluhforumID3/120463.html#61 Wed, 29 Apr 2020 21:30:35 GMT &gt; Бывают ли в этом мире неважные данные?<br><br>конечно. Большинство данных в этом мире - неважны.<br><br>&gt; Допустим пользователь загрузил вам фото со своим котиком и удалил со своего диска.<br><br>"Дурак, это я его пользователь".<br>В смысле, это мы его - пользуем. Времена когда пользователь был чем-то уважаемым и ценным, к сожалению, прошли.<br><br>&gt; База данные сдохла и котик пропал, будет ли доволен пользователь?<br><br>а кого это колышет? Куды ни пойди - везде один и тот же пейсбук. Поэтому пользователь заведет себе нового котика, если старый сдох и перефоткать его уже не получится. И выложит поделиться- "го, я создал!" Куда он денется-то?<br><br>А лайкающие - пополнят социальный граф - и вот его-то мы храним ни разу не в мемкыше, поэтому твои лайки с прошлого, сдохшего котика - тоже там осели.<br><br>&gt; Если и делать хранилище в RAM, то только с резервированием на двух разных серверах с <br><br>ох уж эти васяны-неофиты. "У вас на стройке случаи split-brain были? Нет? - Будут!"<br><br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#60 Wed, 29 Apr 2020 19:53:16 GMT &gt; А у этой хрени, похоже, вопрос сохранения данных вообще не стоит ;-) <br><br>Ну вот опять "не читал, но осуждаю"...<br><br>Эта "хрень" (aka HSE) работает быстрее на 99% из-за mpool (модуль ядра).<br>В свою очередь, mpool реализует примерно две (нужные для LSM+WAL) вещи, но делает это гораздо оптимальнее чем можно сделать через традиционное API POSIX.<br><br>Чтение "через mpool" получается быстрее, во многом, из-за непосредственного отображения данных в память (memory mapped I/O). В этом есть схожесть с libmdbx.<br><br>Запись "через mpool" тоже выходит быстрее, так как без лишнего копирования и засорения страничного кэша ядра. Отдельная принципиальная фишка в дозаписи WAL "в одну страницу флеша" без её стирания (хотя многое еще не реализовано). К этому добавьте асинхронность и распараллеливание (внутри ядра) между разными носителями, а также автоматические идеальные write barriers.<br><br>При этом специфическое API и реализация внутри ядра позволяют дополнительно экономить на системных вызовов и модификациях PTE (со сбросом кеша). https://www.opennet.ru/openforum/vsluhforumID3/120463.html#59 Wed, 29 Apr 2020 19:07:14 GMT прикол в том, что авторы монги об этом - знают. И держат.<br>Но пытаются сохранить данные при внезапном падении, поэтому скорость у них хороша только когда чтение попадает в кэш, а с записью и особенно update все гораздо интереснее.<br><br>А у этой хрени, похоже, вопрос сохранения данных вообще не стоит ;-)<br><br> https://www.opennet.ru/openforum/vsluhforumID3/120463.html#58 Wed, 29 Apr 2020 11:53:54 GMT если в слове "бОльшие" ударение на букве "о" - то целиком и полностью согласен.<br><br>А по факту - Optane'ы с ресурсом, в 70+ раз бОльшим, но со стандартным простым интэрфэйсом - стоят очень дорого. Не порядок.<br>