Организация Apache Software Foundation опубликовала (https://blogs.apache.org/foundation/entry/the-apache-softwar...) релиз Apache Hadoop 3.0 (http://hadoop.apache.org), свободной платформы для организации распределённой обработки больших объёмов данных с использованием парадигмы map/reduce (http://ru.wikipedia.org/wiki/MapReduce), при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Хранилище на базе Hadoop может охватывать тысячи узлов и  содержать эксабайты данных.

В состав Hadoop входит реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase и SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами. Проект оценивается как полностью стабильный и готовый для промышленной эксплуатции.  Hadoop активно используется в крупных промышленных проектах, предоставляя возможности, аналогичные платформе Google Bigtable/GFS/MapReduce, при этом компания Google официально делегировала (https://www.opennet.dev/opennews/art.shtml?num=26398) Hadoop и другим проектам Apache  право использования технологий, на которые распространяются патенты, связанные с методом MapReduce.

Основные изменения в Apache Hadoop 3.0:

-  В HDFS добавлены средства коррекции ошибок с использованием кодов избыточности, позволяющие повысить надёжность хранения данных;
-  Предварительная поддержка новой версии YARN Timeline Service, в которой улучшены характеристики масштабируемости, надёжности и удобства работы;
-  Добавлена возможность планирования подключения дополнительных ресурсов в YARN (Yet Another Resource Negotiator), таких как диски и CPU, для улучшения интеграции с системами машинного обучения и платформами контейнерной изоляции;
-  Поддержка объединения субкластеров YARN и HDFS для прозрачного масштабирования до конфигураций с десятками тысяч узлов;

-  Оптимизированы расход ресурсов и пропускная способность для оппортунистических контейнеров (https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-ya...) (вместо мгновенного запуска ставятся в очередь и запускаются при появлении доступных ресурсов) с коротким временем жизни. Помимо применения традиционного централизованного планировщика, в YARN также появилась возможность распределённого планирования оппортунистических контейнеров;
-  Улучшение производительности и функциональности при работе с облачными системами хранения, такими как  Amazon S3 (S3Guard), Microsoft Azure Data Lake и Aliyun Object Storage System.

URL: https://blogs.apache.org/foundation/entry/the-apache-softwar...
Новость: http://www.opennet.dev/opennews/art.shtml?num=47746