18.02.2025  Экспертиза, Искусственный интеллект, Менеджмент

Инжиниринг данных требует знаний в области программирования и управления данными, а теперь ИТ-руководителям необходимо включить в свою стратегию работы с данными большие языковые модели (LLM), отмечают опрошенные порталом ComputerWeekly эксперты. Современный ландшафт данных ставит перед организациями беспрецедентные задачи, поскольку компаниям приходится обрабатывать тысячи документов в многочисленных форматах. Как отмечает Богдан Радута, руководитель отдела исследований FlowX.ai, это могут быть самые разные документы — от PDF-файлов и электронных таблиц до изображений и мультимедиа, которые необходимо объединить и переработать в содержательную информацию. У каждого источника данных своя модель данных и свои требования, и если их не объединить в единое целое, то организации в итоге будут иметь дело с изолированными данными. Это может означать, что пользователи вынуждены переходить от одного приложения к другому, вырезать и вставлять информацию из разных систем, чтобы получать полезные инсайты для принятия обоснованных решений. Однако традиционные подходы к инжинирингу данных не справляются со сложностью получения данных в различных форматах. «В то время как обычные конвейеры ETL [извлечение, преобразование и загрузка] отлично справляются с обработкой структурированных данных, они терпят неудачу, когда сталкиваются с неоднозначностью и изменчивостью информации реального мира», — говорит Радута. Это означает, что по мере роста разнообразия источников данных системы, основанные ... читать далее.