Крупнейшая ИИ-модель генерации языка Microsoft и NVIDIA

16.10.2021 Новости, Исследования и разработки

Компании Microsoft и NVIDIA представили крупнейшую в мире ИИ-модель генерации естественного языка Megatron-Turing Natural Language Generation, которая содержит 530 млрд параметров. Это самая большая и самая мощная монолитная трансформаторная языковая модель, обученная на сегодняшний день. Модель MT-NLG имеет в 3 раза больше параметров по сравнению с существующей крупнейшей моделью такого типа и демонстрирует самую высокую точность в широком наборе задач естественного языка, таких как: предсказание завершения текста по смыслу; понимание прочитанного; генерация логических выводов; создание заключений на естественном языке; различение смысла слов с несколькими значениями. Обучение столь мощной модели, подчеркивают разработчики, стало возможным благодаря многочисленным инновациям. Например, NVIDIA и Microsoft объединили современную инфраструктуру обучения на основе GPU с развитым программным стеком распределенного обучения. Были созданы базы данных естественного языка, включающие сотни миллиардов единиц контента, а также разработаны методы обучения для ... читать далее.

Рекомендовано к прочтению

М.Видео: продажи HDD и SSD выросли на 41,5% в денежном выражении за две недели октября
ПАО «М.видео» проанализировала продажи накопителей HDD и SSD, USB-флешек и карт памяти по данным аналитической компании ICMR (ex ГФК-Русь). В 41–42-ю недели 2026 года совокупный денежный объём продаж трёх категорий составил 2,73 млрд рублей, увеличившись на 32,5% по сравнению с аналогичным периодом ...

Российский рынок Low-Code/No-Code достигнет 46,8 млрд рублей к 2030 году
Российский рынок платформ разработки с низким уровнем программирования и без кода (Low-Code/No-Code, LCNC) по итогам 2026 года составит 28,23 млрд рублей. Это в 7,78 раза больше показателя 2021 года. К 2030 году рынок может вырасти до 46,8 млрд рублей при среднегодовом темпе около 14%. Такие оценки ...

Почти треть руководителей крупнейших компаний России — инженеры по образованию
Почти треть (30,6%) руководителей крупнейших российских компаний имеют инженерное образование — чаще, чем любое другое. Еще 11,4% получили образование по смежным техническим направлениям, включая математику, физику и информационные технологии. В совокупности доля руководителей с инженерной и ...

Криптоограбление века: что случилось, кто виноват и вернет ли миллиарды Binance
В пятницу, 30 октября, Binance сообщила о несанкционированных операциях с горячими кошельками на нескольких блокчейнах в результате хакерского взлома. По предварительной оценке биржи, общий объем затронутых активов составил около $6,3 млрд. В инциденте подозреваются северокорейская группировка ...

Kazan Digital Week. «Группа Астра» и НПК «АТРОНИК» договорились о технологическом сотрудничестве в сфере спецвычислителей
«Группа Астра», производитель инфраструктурного ПО, и АО НПК «АТРОНИК», разработчик и производитель спецвычислителей для железнодорожного, морского транспорта и авионики, подписали соглашение о технологическом сотрудничестве в рамках форума Kazan Digital Week 2026. Подписи под документом поставили ...