19.09.2024  Новости

Группа «Самолет» построила аналитическую платформу для работы с данными на базе концепции LakeHouse, последнего поколения архитектур, которое предполагает гибридную модель данных и объединяет достоинства классических DWH с гибкостью Data Lake. Данное решение реализовано в текущем году, оно полностью построено на стеке open source и позволяет компании применять самый современный подход к работе с Big Data. В мире единицы компаний на данный момент воплотили архитектуру LakeHouse на практике, «Самолет» поставил перед собой амбициозную задачу и успешно осуществил ее. Новая концепция дает возможность более оперативно обрабатывать данные по сравнению с другими технологиями, экономя время на дополнительных циклах загрузки. Архитектура и подходы концепции LakeHouse расширяют традиционную аналитику данных, совмещая гибкость Data Lake с четкой структурой хранилищ. Это позволяет оптимизировать конвейеры захвата и передачи данных, и в рамках единой аналитической платформы обслуживать как запросы к готовым витринам, так и возможность работать напрямую с очищенными качественными данными в Data Lake. На текущий момент в контур аналитической платформы подключено более 120 мастер-систем и источников данных, LakeHouse включает более 10 тысяч объектов с реализацией 300 широких витрин в ClickHouse. «Самолет» заинтересован в монетизации данных и эффективно применяет концепцию LakeHouse для обеспечения data-driven подхода и внедрения на практике data value chain. Значимым техническим ... читать далее.