06.07.2011 Новости, Открытый код/LinuxКомпания LexisNexis объявила о вступлении в Linux Foundation, некоммерческую организацию, курирующую разработки, связанные с развитием Linux, сообщает портал opennet. Одновременно анонсировано решение по открытию кода проекта HPCC (High Performance Computing Cluster), предназначенного для использования в кластерах для обработки большого объема данных, измеряемых в петабайтах. Система HPCC написана на языке C++ и конкурирует с написанной на языке Java платформой Hadoop, позволяя, по заявлению LexisNexis, достичь значительно более высокой производительности. В тестовой конфигурации HPCC-кластер из 400 узлов затратил на сортировку 1 Тб данных 102 с и выполнил комплексное тестовое задание за 6 мин. 27 с. На том же оборудовании на Hadoop-кластере тот же тест был выполнен за 25 мин. 28 с, что в 3,95 раз медленнее, чем результат, показанный на HPCC. Компания Yahoo, используя Hadoop-кластер из 1460 узлов, смогла выполнить сортировку 1 Тб данных за 62 с, а 100 Тб на кластере из 3452 узлов — за 173 мин. (на сортировку 1 Пб ушло 975 мин.). HPCC позволяет хранить и обрабатывать в распределенной кластерной инфраструктуре огромные массивы данных, благодаря массовой параллельной обработке обеспечивая производительность в миллиарды операций в секунду. Код HPCC в настоящий момент готовится к открытию под лицензией GNU Affero GPL v.3 и, как ...
читать далее.
