10.01.2024  Новости, Искусственный интеллект

Исследователи использовали всего 8% самого мощного суперкомпьютера в мире для обучения модели размером с ChatGPT, сообщает портал AI Business. Для обучения языковой модели размером с ChatGPT от OpenAI обычно требуется огромный суперкомпьютер. Но ученые, работающие на самом мощном в мире суперкомпьютере, разработали инновационные методы обучения гигантских моделей с использованием гораздо меньшего количества оборудования. В новом исследовании ученые из Ок-Риджской национальной лаборатории (Oak Ridge National Laboratory) обучили большую языковую модель (LLM) с одним триллионом параметров с помощью всего нескольких тысяч графических процессоров на суперкомпьютере Frontier — самом мощном нераспределенном суперкомпьютере в мире и одной из всего двух экзафлопсных систем в мире. В последнем списке Top500 Frontier сохранил за собой корону самого мощного суперкомпьютера, опередив Aurora на базе Intel. #IMAGE_228395# Для обучения гигантской LLM исследователи использовали всего 3072 GPU из 37 888 GPU производства AMD, установленных на Frontier. Это означает, что они обучили модель, сравнимую с ChatGPT с триллионом параметров, всего на 8% вычислительной мощности суперкомпьютера. Команда Frontier достигла этого результата, используя стратегии распределенного обучения, чтобы по сути обучать модель на всей параллельной архитектуре устройства. Используя такие приемы, как параллелизм с перетасовкой данных для уменьшения обмена данными между слоями узлов и тензорный параллелизм для решения ... читать далее.