https://m.opennet.me/openforum/vsluhforumID3/121465.html После полутора лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и содержать эксабайты данных...<br><br>Подробнее: https://www.opennet.ru/opennews/art.shtml?num=53476<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#11 Wed, 05 Aug 2020 08:36:37 GMT &gt; Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.<br><br>Все котики хранятся не менее 6 месяцев, мы за этим следим. Даже те котики, которых, как вам кажется, вы удалили.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#10 Wed, 05 Aug 2020 08:35:17 GMT &gt; Кому нужны котики трехмесячной давности?<br><br>Все котики хранятся не менее 6 месяцев, мы за этим следим.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#9 Mon, 03 Aug 2020 22:01:28 GMT &gt;А дальше назад ты ленту и не крути. А не то!<br><br>Не рекомендую на новом аккаунте крутить чужие ленты, кстати.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#8 Mon, 03 Aug 2020 13:43:58 GMT zfs умеет в dedup на лету. Но это, конечно, не бесплатно.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#7 Mon, 03 Aug 2020 06:12:09 GMT &gt; Котики gzip сжимаются до одного котика.<br><br>reduce'ятся же! ;-)<br><br>А ты думал, зачем нам hadoop?<br><br><br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#6 Mon, 03 Aug 2020 01:39:26 GMT Котики совсем не сжимаются, тем более gzip. Можете попробовать zpaq, он вам дедуплицирует одинаковых котиков (единственный из архиваторов, который объединяет одинаковые файлы), но процессорное время не бесплатно, а диски то бездонные и стоят 20 баксов за терабайт качественного сторейжа в рознице. По-моему диски категории "олин раз записать и больше не трогать" вроде вдред раза в 2 дешевле были. Но каждые 5 лет диски в 4 раза увеличиваются в размере за те же деньги. Вроде то же самое и с плёнкой, только она впереди и оборудование недоступно обывателю.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#5 Sun, 02 Aug 2020 16:03:43 GMT Котики gzip сжимаются до одного котика.<br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#4 Sun, 02 Aug 2020 15:48:28 GMT &gt; Не знал, что возраст Фейсбука - два с половиной месяца.<br><br>А дальше назад ты ленту и не крути. А не то!<br><br>P.S. нормальные люди, между прочим, и не крутят. Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.<br><br><br><br> https://m.opennet.me/openforum/vsluhforumID3/121465.html#3 Sun, 02 Aug 2020 15:43:03 GMT А зачем ему хранить больше сырых сообщений? Если надо, можно сделать аггрегаты и хранить только их.<br>