19.09.2024  Новости, Консалтинг и системная интеграция, ОС и разработка приложений, Планирование и проекты, Решения для Big Data, Строительная и деревообрабатывающая

Группа «Самолет» построила аналитическую платформу для работы с данными на базе концепции LakeHouse, последнего поколения архитектур, которое предполагает гибридную модель данных и объединяет достоинства классических DWH с гибкостью Data Lake. Данное решение реализовано в текущем году, оно полностью построено на стеке open source и позволяет компании применять самый современный подход к работе с Big Data. Новая концепция дает возможность более оперативно обрабатывать данные по сравнению с другими технологиями, экономя время на дополнительных циклах загрузки. Архитектура и подходы концепции LakeHouse расширяют традиционную аналитику данных, совмещая гибкость Data Lake с четкой структурой хранилищ. Это позволяет оптимизировать конвейеры захвата и передачи данных, и в рамках единой аналитической платформы обслуживать как запросы к готовым витринам, так и возможность работать напрямую с очищенными качественными данными в Data Lake. На текущий момент в контур аналитической платформы подключено более 120 мастер-систем и источников данных, LakeHouse включает более 10 тысяч объектов с реализацией 300 широких витрин в ClickHouse. «„Самолет“ заинтересован в монетизации данных и эффективно применяет концепцию LakeHouse для обеспечения data-driven подхода и внедрения на практике data value chain. Значимым техническим преимуществом этой концепции считается изоляция хранения от вычислений по разным кластерам, что облегчает масштабирование. Немаловажным аспектом для „Самолета“ также ... читать далее.