20.01.2022  Новости

Сбер объявил о том, что линейка моделей ruCLIP для ранжирования изображений и подписей к ним на русском языке, а также оценки семантической близости изображений и текстов, разработанная командами Sber AI и SberDevices, стала доступна на GitHub, в дополнение к ранее опубликованной модели ruCLIP Small. Промышленные версии с наивысшим качеством и количеством параметров – ruCLIP Base exclusive и ruCLIP Large exclusive – доступны в хабе предобученных моделей, датасетов и контейнеров DataHub на платформе SberCloud ML Space. Эти модели, отмечают в компании, на ряде датасетов обошли ансамбль оригинальной англоязычной модели CLIP и русско-английского переводчика. Успешное обучение ruCLIP и доступность моделей в open source позволит эффективно решать многие задачи компьютерного зрения в различных продуктах и сервисах в режиме zero-shot, то есть без необходимости дорогостоящего дообучения. В релиз вошли шесть моделей ruCLIP, которые отличаются, в частности, размером использованного патча (14×14, 16×16, 32×32) и размерами входных изображений (224×224, 336×336 и 384×384). Семантика названия моделей выглядит следующим образом: ruclip-vit-base-patch16-224; ruclip-vit-base-patch32-224; ruclip-vit-base-patch32-384 — ruCLIP Base; ruclip-vit-large-patch14-224 — ruCLIP Large; ruclip-vit-large-patch14-336 — ruCLIP Large exclusive — доступна DataHub SberCloud ML Space only; ruclip-vit-base-patch16-384 — ruCLIP Base exclusive — доступна в DataHub ... читать далее.