09.06.2016  Экспертиза

Даг Каттинг, один из пионеров технологии Big Data, занимающий ныне пост главного архитектора компании Cloudera, на недавней конференции Strata and Hadoop World обозначил ряд проблем, сдерживающих широкое применение Hadoop, и перспектив их решения в ближайшем будущем. Каттинг вспоминает, что 10 лет назад, когда он только приступил к работе над фреймворком Hadoop, у него и в мыслях не было, что эта технология получит столь массовое распространение в корпоративном секторе. Сегодня она используется Facebook для анализа трафика 1,6 млрд. пользователей соцсети и Visa для выявления фактов мошенничества на миллиарды долларов. Привлекательность Hadoop объясняется дешевизной и простотой параллельной обработки больших данных в этой среде, базирующейся на кластерах серверов стандартной архитектуры. В то же время есть ряд узких мест, ограничивающих производительность Hadoop. Одно из основных — низкая скорость обмена данными между дисковой подсистемой (SDD и HDD) и ОЗУ при обработке больших массивов данных. По мнению Каттинга, сейчас отрасль приблизилась к прорыву в этом направлении благодаря предстоящей в нынешнем году премьере чипов памяти Intel 3D XPoint, позволяющих загружать данные в тысячу раз быстрее, чем современные SSD-диски с технологией NAND, и обладающих плотностью хранения вдесятеро превосходящей нынешние DRAM. Его осведомленность в этом вопросе объясняется тесным сотрудничеством Intel с Cloudera, которая в 2014 г. инвестировала в эту компанию 740 млн. долл. В рамках ... читать далее.