16.01.2025  Экспертиза, Безопасность, Интернет, Искусственный интеллект

Современные проекты должны предвосхищать будущие масштабы, тщательно продумывая архитектуру и использование ресурсов, пишет на портале The New Stack Сай Маликиредди, старший инженер-программист компании Walmart. За последнее десятилетие корпоративная архитектура данных (Enterprise Data Architecture, EDA) претерпела значительные изменения. Я начинал с распределенных вычислительных систем, которые заложили основу для обработки данных в реальном времени. Однако уже первые результаты показали, что традиционная пакетная обработка данных с ее ночными или недельными циклами приводит к существенным задержкам между сбором данных и их осмыслением. Унаследованные системы оказались неспособны достаточно быстро адаптироваться к изменениям на рынке или поддерживать современные внедрения машинного обучения. Современный ландшафт данных работает в режиме реального времени. Недавно я возглавил разработку платформы клиентских данных (CDP) и B2B-экосистемы, которая служит примером эволюции архитектуры данных. Наша платформа организует потоки данных в реальном времени, используя Apache NiFi для приема, Apache Kafka для потоковой передачи, Apache Flink для обработки и Apache Spark для аналитики. Этот технологический стек ежедневно синхронизирует миллионы клиентских и бизнес-взаимодействий через интеграцию с Salesforce, обрабатывая более 100 млн. событий в час в пиковые периоды. Облачные платформы поддерживают эту трансформацию. Они обеспечивают эластичность, необходимую для переменных рабочих ... читать далее.