Вариант для распечатки		Пред. тема | След. тема
Форум Разговоры, обсуждение новостей
Изначальное сообщение		[ Отслеживать ]

"Релиз платформы для распределённой обработки данных Apache Hadoop 3.3"	+/–
Сообщение от opennews (ok), 02-Авг-20, 12:12
После полутора лет разработки организация Apache Software Foundation опубликовала релиз Apache Hadoop 3.3.0, свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных... Подробнее: https://www.opennet.dev/opennews/art.shtml?num=53476
Ответить | Правка | Cообщить модератору

Сообщения

[Сортировка по времени | RSS]

1. "Релиз платформы для распределённой обработки данных Apache H..."	+7 +/–
Сообщение от A.Stahl (ok), 02-Авг-20, 12:12
Пятиминутка древних поговорок: Распределяй и обрабатывай. Хранилище хранилищу резерв. Все данные ношу с собой. Ну и конечно же: у семи админов база без пароля.
Ответить | Правка | Наверх | Cообщить модератору

2. "Релиз платформы для распределённой обработки данных Apache H..."	+5 +/–
Сообщение от YetAnotherOnanym (ok), 02-Авг-20, 12:26
> хранит более 300 петабайт и ежедневно увеличивается на 4 Пб в день Не знал, что возраст Фейсбука - два с половиной месяца.
Ответить | Правка | Наверх | Cообщить модератору

	3. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от Аноним (3), 02-Авг-20, 18:43
	А зачем ему хранить больше сырых сообщений? Если надо, можно сделать аггрегаты и хранить только их.
	Ответить | Правка | Наверх | Cообщить модератору

	4. "Релиз платформы для распределённой обработки данных Apache H..."	–1 +/–
	Сообщение от Сцукенберг (?), 02-Авг-20, 18:48
	> Не знал, что возраст Фейсбука - два с половиной месяца. А дальше назад ты ленту и не крути. А не то! P.S. нормальные люди, между прочим, и не крутят. Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того.
	Ответить | Правка | К родителю #2 | Наверх | Cообщить модератору

	5. "Релиз платформы для распределённой обработки данных Apache H..."	–1 +/–
	Сообщение от Аноним (5), 02-Авг-20, 19:03
	Котики gzip сжимаются до одного котика.
	Ответить | Правка | Наверх | Cообщить модератору

	6. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от Аноним (6), 03-Авг-20, 04:39
	Котики совсем не сжимаются, тем более gzip. Можете попробовать zpaq, он вам дедуплицирует одинаковых котиков (единственный из архиваторов, который объединяет одинаковые файлы), но процессорное время не бесплатно, а диски то бездонные и стоят 20 баксов за терабайт качественного сторейжа в рознице. По-моему диски категории "олин раз записать и больше не трогать" вроде вдред раза в 2 дешевле были. Но каждые 5 лет диски в 4 раза увеличиваются в размере за те же деньги. Вроде то же самое и с плёнкой, только она впереди и оборудование недоступно обывателю.
	Ответить | Правка | Наверх | Cообщить модератору

	7. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от Сцукенберг (?), 03-Авг-20, 09:12
	> Котики gzip сжимаются до одного котика. reduce'ятся же! ;-) А ты думал, зачем нам hadoop?
	Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

	8. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от анон (?), 03-Авг-20, 16:43
	zfs умеет в dedup на лету. Но это, конечно, не бесплатно.
	Ответить | Правка | К родителю #5 | Наверх | Cообщить модератору

	9. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от онанизмус (?), 04-Авг-20, 01:01
	>А дальше назад ты ленту и не крути. А не то! Не рекомендую на новом аккаунте крутить чужие ленты, кстати.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	10. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от товарищ майор (?), 05-Авг-20, 11:35
	> Кому нужны котики трехмесячной давности? Все котики хранятся не менее 6 месяцев, мы за этим следим.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

	11. "Релиз платформы для распределённой обработки данных Apache H..."	+/–
	Сообщение от товарищ майор (?), 05-Авг-20, 11:36
	> Кому нужны котики трехмесячной давности? Вот мы их и...незаметно...того. Все котики хранятся не менее 6 месяцев, мы за этим следим. Даже те котики, которых, как вам кажется, вы удалили.
	Ответить | Правка | К родителю #4 | Наверх | Cообщить модератору

Архив | Удалить

Рекомендовать для помещения в FAQ | Индекс форумов | Темы | Пред. тема | След. тема