Hadoop как доминирующая аналитическая платформа для больших данных

Hadoop будет все больше использоваться в приложениях реального времени. Hadoop обладает возможностями непрерывной загрузки данных на кластер и анализа их там в интерактивном режиме, в том числе в режиме реального времени. Платформа Hadoop изначально была построена с целью эффективного анализа данных, сопоставимых по объему с содержимым Всемирной Сети.	Возможность увеличения прибыли путем оптимизации приложений. Платформа Hadoop всегда была хорошим инструментом для приложений, обрабатывающих огромные массивы данных в задачах прогнозирования, моделирования и в других видах аналитических проблем. Все больше организаций будут использовать приложения такого вида для оптимизации своих продуктов и сервисов, что в конечном итоге будет сказываться на доходах этих предприятий.	Платформа Hadoop далеко ушла от других технологий больших данных. Hadoop будет позиционироваться как продукт, отличный от систем MongoDB, Cassandra, Couchbase и других многочисленных NoSQL-систем , и как надежный выбор для решения всего комплекса аналитических задач. Hadoop предлагает единый подход к аналитической обработке больших данных посредством широкого спектра программных интерфейсов (включая механизм MapReduce, языки запросов и средства доступа к данным совместно с возможностями простой интеграции с ведущими аналитическими и поисковыми платформами) и постоянно расширяющуюся экосистему продуктов, предоставляющих соответствующие разнообразные сервисы.
Количество экспертов по Hadoop растет, но соответствующих специалистов требуется еще больше. Количество исследователей в области анализа данных и сопутствующего технического персонала постоянно растет, но не успевает за спросом на них. Анализ информации с сайтов Dice.com, Monster, Glassdoor, Careerbuilder и др., показывает наличие большого количества вакансий исследователей в области анализа данных. Данные с сайта поиска работы indeed.com свидетельствуют, что, начиная с 2008 г., необходимость в Hadoop-администраторах была намного выше, чем необходимость в обычных системных администраторах.	Семейство SQL-средств для Hadoop будет расширяться и дальше. Совокупность структурных языков запросов уже вполне устоялась и будет стимулировать поддержку SQL-подобных языков теперь уже в рамках Hadoop. В частности, такие SQL-подобные языки, как HiveQL и DrQL, являются примерами средств, которые делают платформу Hadoop привычной и для SQL-программистов.	СУБД HBase станет популярной платформой для хранения BLOB-файлов. Одно из назначений СУБД HBase состоит в хранении бинарных больших объектов (binary large objects — BLOB). HBase есть составная часть Hadoop, представляющая собой нереляционную распределенн Эта СУБД построена на основе СУБД BigTable компании Google и написана на языке Java. Для хранения BLOB-файлов требуются очень большие базы данных с большой скоростью выполнения запросов к ним. В качестве BLOB-файлов обычно выступают изображения, аудиоклипы и другие мультимедийные объекты, а их хранение в базах данных является основой многих возникающих в настоящее время инновационных приложений. Одним из примеров таких приложений является цифровой кошелек, который дает возможность пользователям загружать образы их кредитных карт, чеков и квитанций для онлайновой обработки. С помощью этой технологии облегчается проведение банковских операций, заказ товаров и восстановление утраченных кредитных карт.
Аппаратура будет оптимизироваться под Hadoop. Полное использование потенциала Hadoop путем интеграции этой платформы в состав средств корпоративных дата-центров вызовет необходимость изменения архитектуры самих дата-центров.	HBase в качестве привлекательной платформы для онлайновой обработки транзакций (OLTP). HBase является крупномасштабной распределенной базой данных, построенной на основе Hadoop Distributed File System (HDFS). Компонента Messages социальной сети Facebook, которая объединяет обработку сообщений, взаимодействия в чате и пересылку электронных писем в реальном времени, является первым приложением в Facebook, использующим HBase. Как следствие, в ближайшее время ожидается увеличение количества применений Hadoop для онлайновой обработки сообщений.	Организации будут переносить приложения на Hadoop-кластеры. С ростом популярности Hadoop организации будут модифицировать свои приложения с целью их переноса на Hadoop-кластеры. Особое внимание будет уделено свойствам совместного использования таких приложений и возможностям совместной работы на кластере пользователей и администраторов.
В будущем Hadoop будет использоваться в облачных средах. Hadoop может стать одним из основных приложений, предназначенных для исполнения в облаках. Количество Hadoop-кластеров, предлагаемых поставщиками облачных решений, будет расти по мере увеличения количества организаций, использующих Hadoop в своих приложениях.

Рекомендовано к прочтению

Как упростить интеллектуальную автоматизацию на предприятиях любого размера Интеллектуальная автоматизация (ИА) обладает значительным потенциалом, но ее внедрение сопряжено с определенными трудностями. О способах смягчить эти проблемы на портале ITPro Today рассказывает Преетпал Сингх, старший вице-президент по ИА компании Persistent Systems. ИА обладает огромным ... Forrester: почему платформы RPA справятся с нашествием ИИ-агентов Компании, занимающиеся роботизацией процессов (RPA), используют технологию генеративного искусственного интеллекта (GenAI), чтобы не отстать от конкурентов из OpenAI, Google, многочисленных стартапов и действующих портфельных вендоров. Они продемонстрировали, как с его помощью можно создавать ботов ... В России разработали интеллектуальную логистическую систему для промышленных гигантов «МегаФон» и ГК SIMETRA разработали платформу для управления любыми транспортными потоками при строительстве и обслуживании крупных промышленных предприятий России. Основа решения — сквозная технология прогнозирования, мониторинга и контроля грузов не только на автомобильной и железнодорожной ... Российский продукт SimpleOne B2B CRM претендует заменить MS Dynamics CRM и Salesforce Корпорации Microsoft и Salesforce, разработчики популярных CRM-систем, прекратили свою деятельность на российском рынке. Это поставило многие отечественные компании в сложное положение — привычные инструменты для управления взаимоотношениями с клиентами и партнерами оказались недоступными ... «Эдит Про»: рынок ERP в 2024 году вырастет на 10-12% Согласно прогнозам «Эдит Про» (Группа «Борлас»), российский рынок ERP-систем в 2024 г. сохранит темпы роста и по итогам года увеличится на 10-12%. По мнению аналитиков «Эдит Про», этому способствуют как активно продвигаемый государством тренд на технологический суверенитет на фоне ухода с рынка ...

Мнение ученого: конец программирования близок Портал The New Stack приводит мнение Мэтта Уэлша, бывшего профессора информатики в Гарварде, основателя платформы Fixie.ai, призванной позволить компаниям разрабатывать приложения на основе больших языковых моделей, о будущем информатики и о том, как изменится программирование. Близок ли конец ... Bloomberg: нас заклинило с этим “ИИ” Термин «искусственный интеллект» порождает непонимание и помогает его создателям избежать ответственности, пишет на портале ITPro Today колумнист Bloomberg Парми Олсон. Никто не продает будущее так мастерски, как технологическая индустрия. По словам ее представителей, все мы будем жить в ... Сможет ли китайское ПО резервного копирования заменить западные бренды? С середины прошлого года на российском рынке систем хранения стала активно продвигать свои решения китайская компания Vinchin, разрабатывающая ПО резервного копирования. Она уже заключила дистрибьюторские соглашения с рядом компаний с «Марвел Дистрибуцией», Фактор Груп, OCS и Treolan и ... diHouse берет на себя сервисную поддержку продуктов Apple, но не всех Компания diHouse объявила о намерении предоставлять собственную сервисную поддержку всех устройств Apple, ввезенных ей в Россию. То есть именно diHouse , как дистрибьютор, будет вместо вендора ( как предполагает стандартная схема) менять товар в случае заводского брака или неустранимого дефекта ... Сможет ли Intel удержать свои позиции на рынке процессоров для рабочих станций? Как мы уже сообщали, вслед за январским анонсом 4-го поколения серверных процессоров Xeon Scalable корпорация  Intel представила его модификацию Xeon W, предназначенную для односокетных настольных рабочих станций Xeon W (W в названии этого процессора обозначает рабочую станцию workstation). Как и ...

Подборка по дате

Май 2024
Пн	Вт	Ср	Чт	Пт	Сб	Вс
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31