15.03.2016  Новости, Идеи и практики автоматизации, Открытый код/Linux

Достоинства Hadoop проявляются прежде всего при работе с большими данными. Однако, как показал практический опыт, у этой платформы есть и недостатки: невысокая скорость обработки данных, сбои, отсутствие полных мер по обеспечению безопасности данных. Тем не менее платформа Hadoop существенно меняется. Главные из этих изменений, как пишет в блоге Syncsort Кристи Уилсон, следующие. Spark взамен MapReduce В Сети ходит шутка, что название новой платформы Spark («искра») было выбрано неслучайно: ей достаточно «вспыхнуть», чтобы главный конкурент MapReduce «испарился». MapReduce для кластерных вычислений применяется в Hadoop с момента появления платформы. Однако пользователям работа с MapReduce всегда казалась сложной. Альтернативой стал открытый (Open Source) фреймворк Apache Spark. Главным достоинством Spark, по оценкам разработчиков, всегда считалось значительное ускорение обработки больших данных. Однако его преимущества не ограничились этим. Выяснилось, что с внедрением Spark как минимум половина операций по обслуживанию BI-задач передается от Hadoop к новому фреймворку. В результате бизнес-пользователи, привыкшие постоянно консультироваться с ИТ-специалистам при работе с MapReduce, сразу оценили свободу, полученную после внедрения Spark. В результате совместная работа Apache Spark и Hadoop многими рассматривается сегодня как свершившийся факт. Hadoop — основной инструмент для рынка Интернета вещей В основе Интернета вещей лежат большие данные: это считается уже аксиомой. Но ... читать далее.