06.03.2023  Экспертиза

За рамками ETL и ELT: Мишель Трико, соучредитель и генеральный директор компании Airbyte, рассказывает на портале The New Stack о том, как будут развиваться системы интеграции данных в ближайшие годы. Интеграция данных значительно изменилась с тех пор, как данные стали централизовываться в хранилищах и озерах данных. ELT (Extract-Load-Transform) заменило ETL (Extract-Transform-Load), сделав аналитиков автономными в получении доступа к необходимым им данным в этих хранилищах. Появились новые решения реверсивного ETL (Reverse ETL), позволяющие операционным группам получать доступ к консолидированным данным из тех же хранилищ. В отрасли этот новый стандарт называют современным стеком данных. И если в 2008 г., согласно Accenture, подход, основанный на данных, использовали только 30% наиболее дорогих компаний, таких как Amazon, Apple и Microsoft, то теперь их доля выросло до 70%. Проблема с понятием «современное» заключается в том, что современное сегодня завтра становится устаревшим. И это приводит к вопросу: как будет развиваться интеграция данных с учетом тех трендов, которые мы видим? Обсудим, с какими проблемами столкнутся компании и что им следует предпринять для их решения. Текущие проблемы ELT Неспособность удовлетворить все потребности Давайте начнем с рассмотрения проблем, с которыми компании сталкиваются сегодня, начиная с ELT и реверсивного ETL. Есть две существенные причины, по которым они продолжают создавать и поддерживать все большее количество коннекторов своими ... читать далее.