Уважаемые партнеры! Приглашаем вас принять участие в промопрограмме на всю линейку продукции Patriot. Закупая оборудование Patriot, вы накапливаете бонусы. По итогам акции накопленные бонусы выдаются в виде подарочных сертификатов различных розничных сетей по вашему выбору
Получите кешбэк 5% на закупку новых моделей мини-ПК CBR до 15 декабря^ Артикул 11039713 CBR DT-001 Артикул 11039714 CBR DT-002 Артикул 11111883 CBR DT-007 Артикул 11113650 CBR DT-008 В течение 10 дней после отгрузки заполните форму регистрации, указав свои данные: ФИО, код клиента, должность ...
Получите кешбэк 5% на закупку новых моделей блоков питания CBR до 10 декабря. В течение 10 дней после отгрузки заполните форму регистрации, указав свои данные: ФИО, код клиента, должность, телефон, e-mail, номер накладной. Кешбэк будет зачислен в течение месяца после окончания акции. По всем ...
Уважаемые партнеры! Компания Treolan предлагает вам принять участие в маркетинговой акции по программным решениям «МПС Софт». Достигайте целевых показателей продаж и получайте ценные призы! Для участия в программе необходимо зарегистрироваться
Учёные Сбера, лаборатории Fusion Brain Института AIRI и Сколтеха обнаружили принципиально новое свойство больших языковых моделей и научились контролировать его. Это позволит оптимизировать модели-трансформеры на 10–15% без потери в качестве, экономя вычислительные мощности. Модели с трансформерной архитектурой лежат в основе диалоговых ботов. В таких моделях множество слоёв: от входа (например, запроса «Нарисуй кота») информация доходит до выхода и преобразуется в картинку. Принято считать, что линейность слоёв —— свойство самых слабых моделей, а нелинейность — сильных, то есть тех же самых трансформеров. Линейность обеспечивает простоту и эффективность в вычислениях, но при этом модель не может решать сложные задачи, такие как выучивать необычные закономерности в данных. Исследователи изучили устройство 20 известных open source языковых моделей по типу декодера и выяснили, что между эмбеддингами (числовые представления данных) есть высокая линейная зависимость. Соответственно, при переходе от слоя к слою информация не претерпевает нелинейных преобразований, и сложную архитектуру трансформера можно заменить намного более лёгкими слоями нейросети. Чтобы избежать проявления негативных свойств линейности во время предобучения и улучшить метрики качества модели, специалисты разработали специальный регуляризатор. Это позволило заменить сложные блоки слоёв модели на более простые. В ходе экспериментов выяснилось, что облегчать без потери качества можно от 10 до 15% слоёв. Андрей ... читать далее.
