06.02.2024 Новости, Искусственный интеллектНейросетевая модель Сбера GigaChat обошла большинство моделей в открытом доступе по итогам открытого бенчмарка MERA. Для замера были представлены две инструктивные модели Сбера — GigaChat PRO и GigaChat Lite+. Бенчмарк MERA представляет собой набор из 21 задачи в формате инструкций на различные области знаний, в которых проверялся широкий ряд навыков моделей: от знаний о мире до умения программировать на Python. По итогу теста GigaChat PRO набрал 51,3 балла из 100, обогнав ближайшую модель Mixtral 8×7B Instruct (47,8). В бенчмарк были включены задачи, сложные для языковых моделей, поэтому на текущий момент они уступают только человеку. Система открытый оценки позволяет объективнее и более прозрачно оценивать способности моделей. Чем больше модель набирает баллов, тем точнее искусственный интеллект может решать множество интеллектуальных или бытовых задач: помогать писать статьи в нужном стиле и формате, искать информацию и подготавливать на её основе аналитику. А бизнес с его помощью может создавать собственные решения и оптимизировать внутренние процессы. Андрей Белевцев, старший вице-президент, CTO, руководитель блока «Технологии» Сбербанка, отметил: «В условиях, когда большие языковые модели активно развиваются, важно иметь актуальное представление об их реальных способностях. Благодаря оценке пользователи могут понять, как применять GigaChat, а исследователи — получить объективную информацию для дальнейшего обучения, адаптации и развития больших языковых моделей ...
читать далее.
