26.03.2015  Новости

Разработчики, использующие Google Cloud Dataflow для создания конвейеров потоков данных, которые сочетают в себе задания на пакетную и потоковую обработку данных, получили возможность исполнения своих заданий на новом движке распределенной обработки Apache Flink. Базирующаяся в Берлине компания Data Artisans, производитель дистрибутива Flink, выпустила для него модуль исполнения Cloud Dataflow. Этот модуль обеспечивает исполнение любой программы Dataflow на кластере Flink, размещенном в облаке или установленном локально. Flink — это новый проект Apache Software Foundation по созданию движка распределенного исполнения приложений пакетной и потоковой обработки данных. Data Artisans характеризует Flink как альтернативу механизму MapReduce, который способен работать полностью независимо от экосистемы Hadoop. Google Cloud Dataflow представляет собой программную модель для комбинирования задач по пакетной и потоковой обработке больших наборов данных. Технология создана для компаний, желающих извлечь ценную для бизнеса информацию как из данных в долговременных хранилищах (пакетная обработка), так и данных, передаваемых по сети (потоковая обработка). Некоторые сценарии использования потокового анализа предусматривают такие операции в реальном времени, как визуализацию данных, сигналы о событиях, мониторинг безопасности. Flink стала третьей по счету платформой, поддерживающей Dataflow. Технология Cloud Dataflow появилась изначально как сервис на платформе Google Cloud Platform. Затем ... читать далее.