03.09.2008 Новости, Идеи и практики автоматизацииКомпании Greenplum и Aster Data Systems будут применять для анализа больших наборов данных пионерскую технологию MapReduce (MR), созданную Google. И Aster Data Systems и Greenplum, конкурирующие с такими крупными компаниями в сфере построения хранилищ данных, как Oracle и Netezza, считают, что MapReduce поможет им улучшить аналитическую обработку больших объемов информации. Greenplum сделала этот шаг после того, как Aster Data Systems представила продукт In-Database MapReduce, который сейчас доступен для оценки. “Традиционно, СУБД с массовым параллелизмом могли распараллеливать выполнение обычных SQL-операторов, но испытывали некоторые трудности в работе с более общими программами, написанными либо в виде функций, определяемых пользователями, либо как хранимые процедуры на языке PL/SQL, — отметил глава компании Aster Маянк Бава. — Нередко такие фрагменты кода просто исполнялись на одном узле СУБД с массовым параллелизмом. Теперь аналитики и разработчики могут воспользоваться MapReduce в рамках обычного SQL, создавая функции SQL/MR на таких языках, как Java, Python, R и т. д.”. Используя Greenplum MapReduce, компании могут писать MR-программы, которые с помощью нескольких строк кода на языках Perl или Python будут способны обрабатывать и анализировать огромные объемы неструктурированных данных для целого ряда приложений, таких как поиск по ключевым словам и индексирование контента, считает президент и сооснователь компании Greenplum Скотт Яра. Кроме того ...
читать далее.
