10.10.2025  Новости, Искусственный интеллект

Компания MWS AI объявила о запуске открытого русскоязычного бенчмарка — MWS Vision Bench, предназначенного для оценки качества мультимодальных моделей искусственного интеллекта (Visual Language Models, VLM), способных одновременно анализировать изображения и текст. MWS Vision Bench стал первым бенчмарком, ориентированным на оценку мультимодальных моделей в реальных продуктовых сценариях, где необходимо работать с документами на русском языке. Новый инструмент позволяет тестировать возможности генеративного искусственного интеллекта в распознавании и понимании документов, содержащих визуальные данные. Современные модели умеют анализировать договоры, счета, формы, схемы и таблицы. Однако существующие международные бенчмарки, такие как OCRBench, AI2D и MMMU, охватывают только английский и китайский языки. Подходящих бенчмарков на русском языке до сих пор не было, что делало невозможной объективную оценку таких моделей при решении продуктовых задач в российских компаниях. Бенчмарк MWS Vision Bench охватывает широкий спектр задач, направленных на оценку способности моделей работать с документами. Он проверяет, насколько эффективно модели умеют считывать текст с изображений, понимать структуру документа, находить необходимую информацию, распознавать расположение элементов и отвечать на сложные вопросы по содержимому. В состав MWS Vision Bench вошли 800 изображений и 2580 заданий, отражающие реальные сценарии работы с документами в российских организациях. В набор включены офисные ... читать далее.