14.04.2016 Новости, Открытый код/LinuxКомпания LinkedIn открыла исходный код своего средства настройки производительности Hadoop и Spark, известного как Dr. Elephant, чтобы помочь пользователям Hadoop и Spark оснастить свои продуктивные среды удобными инструментами самообслуживания. В размещенном в корпоративном блоге сообщении по поводу этого средства инженер-программист LinkedIn Акшай Рай охарактеризовал Dr. Elephant как простой инструмент для пользователей Hadoop и Spark, помогающий понимать, анализировать и улучшать производительность выполняемых операций. Hadoop представляет собой свободно распространяемый программный фреймворк для хранения данных и выполнения приложений на кластерах, построенных на основе общераспространенного оборудования. Он позволяет осуществлять распределенную обработку больших объемов данных в вычислительных кластерах, используя простые модели программирования. Hadoop предназначен для масштабирования с уровня единичных серверов до тысяч аппаратных систем, предоставляющих свои локальные ресурсы для вычислений и хранения данных. Apache Spark тоже является Open Source-фреймворком для кластерных вычислений. Spark является быстродействующей системой для обработки больших данных со встроенными модулями для потоковой передачи данных, SQL, машинного обучения и обработки графики. LinkedIn использует Hadoop и Spark для ежедневного выполнения около 100 тысяч заданий, а поскольку объем генерируемых компанией данных продолжает расти, постоянно расширяются и объемы аналитики на базе Hadoop и Spark ...
читать далее.
