31.10.2025 НовостиArenadata представила новую версию системы потоковой передачи и обработки данных Arenadata Streaming (ADS). В состав продукта включён NiFi 2 — новое поколение low-code-сервиса разработки и исполнения ETL и интеграционных потоков данных. Среди прочих улучшений — расширение функциональности Iceberg Sink Connector и поддержка российской операционной системы «Альт СП» (релиз 10). В релизе Arenadata Streaming обновлены версии сервисов экосистемы Kafka и NiFi. Значительные изменения затронули Iceberg Sink Connector — инструмент для интеграции с iceberg-таблицами. В новой версии коннектора реализована поддержка модуля преобразования одиночных сообщений (Single Message Transform, SMT), который позволяет автоматически трансформировать каждую запись . Кроме того, теперь доступно удаление строк в режиме UPSERT и новые параметры для операций CDС, определяющие действия (вставка, обновление или удаление) для каждой входящей записи. Это позволяет автоматизировать обработку данных без необходимости писать сложный код. Александр Анисимов, технический руководитель продукта Arenadata Streaming, отметил: «Мы вложили значительные ресурсы команды разработки в развитие готового к промышленной эксплуатации Iceberg Sync Connector. После перехода коннектора в основной проект Apache Iceberg многие критически важные для корпоративной среды функции остались без внимания, например поддержка аутентификации Kerberos, ключевые модули для трансформации данных (SMT) и полноценная работа в режиме UPSERT ...
читать далее.
