14.03.2016  Новости, Открытый код/Linux

В феврале в Нью-Йорке состоялась конференция Spark Summit East 2016, посвященная вопросам развития технологий больших данных. Несмотря на инновационность обсуждавшихся тем, многие собравшиеся, как отмечает издание Syncsort, сравнивали ее с конференциями Strata+Hadoop World пятилетней давности. Главной отличительной чертой тех мероприятий была ориентация исключительно на интересы разработчиков без уделения должного внимания вопросам развития в интересах заказчиков. Сравнение с Hadoop в данном случае неслучайно: последние два года парадигма развития этой платформы явно претерпевает смещение в сторону участия бизнеса. Аналогичную траекторию развития предсказывают и в отношении Apache Spark — эффективного и быстрого фреймворка для обработки больших массивов данных. Ключевую роль на конференции играла компания Databricks — главный разработчик и коммерческий дистрибутор платформы Apache Spark, официально относящейся к разряду открытых (Open Source) систем для кластерных вычислений. Spark 2.0 Матей Захария, технический директор Databricks и один из главных разработчиков Apache Spark, рассказал о трех основных изменениях, которые появились в новой версии Spark 2.0. Первое из них — это наращивание интеграции Spark с проектом Tungsten для устранения одного из основных ограничений фреймворка: недостаточной эффективности работы с памятью Java-приложений. Второе улучшение касается существенного прогресса в наращивании возможностей Spark по обработке потоков данных в реальном времени ... читать далее.