Уважаемые партнеры! Приглашаем принять участие в маркетинговой акции «Вкусные условия». Участвующие бренды: Vitek, Hyundai, Rondell, Starwind. Фокусные продукты: вафельницы, тостеры, сэндвичницы, хлебопечи, кофемашины, электрические турки, капельные и рожковые кофеварки. Период действия акции: с ...
Уважаемые партнеры! Приглашаем вас принять участие в промопрограмме на всю линейку продукции Patriot. Закупая оборудование Patriot, вы накапливаете бонусы. По итогам акции накопленные бонусы выдаются в виде подарочных сертификатов различных розничных сетей по вашему выбору
Получите кешбэк 5% на закупку новых моделей мини-ПК CBR до 15 декабря^ Артикул 11039713 CBR DT-001 Артикул 11039714 CBR DT-002 Артикул 11111883 CBR DT-007 Артикул 11113650 CBR DT-008 В течение 10 дней после отгрузки заполните форму регистрации, указав свои данные: ФИО, код клиента, должность ...
Исследователи использовали всего 8% самого мощного суперкомпьютера в мире для обучения модели размером с ChatGPT, сообщает портал AI Business. Для обучения языковой модели размером с ChatGPT от OpenAI обычно требуется огромный суперкомпьютер. Но ученые, работающие на самом мощном в мире суперкомпьютере, разработали инновационные методы обучения гигантских моделей с использованием гораздо меньшего количества оборудования. В новом исследовании ученые из Ок-Риджской национальной лаборатории (Oak Ridge National Laboratory) обучили большую языковую модель (LLM) с одним триллионом параметров с помощью всего нескольких тысяч графических процессоров на суперкомпьютере Frontier — самом мощном нераспределенном суперкомпьютере в мире и одной из всего двух экзафлопсных систем в мире. В последнем списке Top500 Frontier сохранил за собой корону самого мощного суперкомпьютера, опередив Aurora на базе Intel. #IMAGE_228395# Для обучения гигантской LLM исследователи использовали всего 3072 GPU из 37 888 GPU производства AMD, установленных на Frontier. Это означает, что они обучили модель, сравнимую с ChatGPT с триллионом параметров, всего на 8% вычислительной мощности суперкомпьютера. Команда Frontier достигла этого результата, используя стратегии распределенного обучения, чтобы по сути обучать модель на всей параллельной архитектуре устройства. Используя такие приемы, как параллелизм с перетасовкой данных для уменьшения обмена данными между слоями узлов и тензорный параллелизм для решения ... читать далее.
