14.01.2025  Новости

Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS). Новая версия получила функциональность захвата изменений данных (change data capture, CDC) и сервис мониторинга на базе Prometheus. Кроме того, теперь Arenadata Streaming поддерживает концепцию «многослойного» хранения Kafka Tiered Storage и протокол согласования Kafka Raft. Для реализации CDC в состав дистрибутива Arenadata Streaming включены два source-коннектора Debezium для сервиса Kafka Connect, предназначенные для захвата изменений в базах данных PostgeSQL и Microsoft SQL Server. Они собирают изменения данных в СУБД, записывая их в топики Kafka, а затем различные sink-коннекторы могут передавать эти данные в другие базы и хранилища. Предусмотрена возможность использовать доступные «из коробки» коннекторы Debezium, добавлять собственные и настраивать их из веб-интерфейса ADS Control — системы для управления кластерами потоковой передачи. Новая версия Arenadata Streaming реализует концепцию Tiered Storage — «многослойного» хранения данных в топиках Kafka. Поступающие «горячие» данные располагаются в локальной файловой системе, а далее, согласно заданным политикам, переносятся во внешнюю систему, которая лучше адаптирована для долгосрочного хранения «холодных» данных. В качестве внешней системы Arenadata Streaming поддерживает HDFS и S3. «Концепция Tiered Storage позволяет сократить расходы и предоставить дополнительную гибкость, когда требуется хранение исторических данных ... читать далее.