18.10.2013 Новости, Открытый код/LinuxПомимо YARN и обновления в виде MapReduce 2.0 новая версия Hadoop 2.0 получила поддержку Windows
Фонд Apache Software Foundation (ASF) анонсировал выход новой версии популярной открытой программы для распределённой обработки больших массивов данных Hadoop. Это ПО использует парадигму MapReduce, согласно которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Версия Hadoop 2.0 позволяет одновременно работать со множеством приложений на серверах и имеет встроенные механизмы для быстрого и эффективного развертывания массивов данных на высоких скоростях. Последняя версия платформы была в разработке около четырех лет и имеет несколько совершенно новых компонентов. Самый заметный из них — это YARN (Yet Another Resource Negotiator), представляющий собой дальнейшее развитие системы Hadoop MapReduce. Новая версия имеет ряд отличий, в частности, она работает в оперативной памяти сервера и управляется двумя подсистемами, одна из которых предназначается для планирования и отслеживания выполнения заданий (JobTracker), другая — для общего мониторинга системы. Ключевые компоненты YARN: ResourceManager (RM, управляет распределением всех ресурсов системы для всех приложений), NodeManager (координирует работу каждого узла) и ApplicationMaster (AM, запускается для каждого приложения и обеспечивает выполнение заданий с использованием полученных от ResourceManager ресурсов). Технически, YARN основывается на HDFS (Hadoop Distributed File System) и работает как крупномасштабная, распределенная ...
читать далее.