21.05.2020 Новости, Итоги и тенденцииКомпания NVIDIA объявила о сотрудничестве с сообществом разработчиков ПО с открытым кодом, чтобы сообщить GPU-ускорение движку анализа и обработки больших массивов данных Apache Spark 3.0. С выходом этой версии Spark специалисты по работы с данными и машинному обучению впервые смогут применить GPU-ускорение к ETL-обработке (выборка, преобразование и загрузка), часто выполняемой с помощью операций базы данных SQL. Обучение ИИ-модели можно проводить на том же кластере Spark, не перенося процессы на отдельную инфраструктуру. Это позволяет проводить высокоскоростной анализ данных на всех этапах конвейера анализа данных, ускоряя работу с огромными объемами данных – от озера данных до обучения моделей. Более того, нет необходимости изменять существующий код, используемый для приложений Spark, работающих в локальной среде и облаке. Как стратегический партнер NVIDIA в области ИИ Adobe одной из первых получила доступ к Spark 3.0 на Databricks. Первая же серия тестов показала семикратный прирост производительности и 90%-ное сокращение расходов благодаря GPU-ускоренному анализу данных для разработки продуктов в Adobe Experience Cloud и поддержке возможностей, поддерживающих цифровые бизнесы. Прирост производительности в Spark 3.0 повышает точность моделей, позволяя обучать их на более крупных наборах данных и чаще переобучать. Таким образом появляется возможность обрабатывать терабайты новых данных каждый день, что важно для специалистов, поддерживающих рекомендательные системы ...
читать далее.
