15.05.2020  Новости, Искусственный интеллект, Открытый код/Linux

NVIDIA объявила о сотрудничестве с сообществом разработчиков ПО с открытым кодом, чтобы сообщить GPU-ускорение движку анализа и обработки больших массивов данных Apache Spark 3.0, который применяют свыше 500 000 специалистов во всем мире. С долгожданным выходом Spark 3.0 специалисты по работы с данными и машинному обучению впервые смогут применить GPU-ускорение к ETL-обработке (выборка, преобразование и загрузка), часто выполняемой с помощью операций базы данных SQL. Обучение ИИ-модели можно проводить на том же кластере Spark, не перенося процессы на отдельную инфраструктуру. Это позволяет проводить высокоскоростной анализ данных на всех этапах конвейера анализа данных, ускоряя десятки и тысячи терабайт данных — от озера данных до обучения моделей. Более того, нет необходимости изменять существующий код, используемый для приложений Spark, работающих в локальной среде и облаке. «Анализ данных — это самая большая вычислительная задача, стоящая сегодня перед компаниями и исследователями, — говорит Манувир Дас (Manuvir Das), руководитель Enterprise Computing в NVIDIA. — Нативное GPU-ускорение для всего конвейера Spark 3.0 — от ETL до обучения и инференса — обеспечивает производительность и масштаб, необходимые для объединения потенциала больших данных и силы ИИ». Являясь стратегическим партнером NVIDIA в области ИИ, Adobe одной из первых получила доступ к Spark 3.0 на Databricks. Первая же серия тестов показала 7-кратный прирост производительности и 90% сокращение расходов ... читать далее.