20.12.2023  Экспертиза, Интернет, Искусственный интеллект

Инновации в области квантования и сжатия моделей делают возможным развертывание мощных моделей искусственного интеллекта на периферии, пишет на портале The New Stack Рахул Прадхан, вице-президент по продуктам и стратегии компании Couchbase. Периферийный ИИ (Edge AI), или развертывание ИИ на периферии, может стать движущей силой значительных инноваций во всех отраслях. Благодаря Edge AI организации могут быстрее принимать решения, не полагаясь на облако и дата-центры. Однако вычислительные ограничения edge-устройств и проблемы с реализацией на периферии высокоточных моделей ИИ остаются препятствиями для использования этой технологии. Квантование моделей — метод, повышающий скорость вычислений за счет улучшения переносимости и уменьшения размера модели, — имеет решающее значение для решения этих проблем. Он помогает развертывать модели для более быстрых и эффективных решений периферийного ИИ. Такие достижения, как обобщенное квантование после обучения (GPTQ), адаптация с понижением ранга (LoRA) и квантованная адаптация с понижением ранга (QLoRA), позволяют проводить аналитику в реальном времени и принимать более эффективные решения на периферии. Несмотря на то, что Edge AI все еще является развивающимся подходом, при интеграции с соответствующими инструментами и методами он способен изменить то, как предприятия используют интеллектуальные устройства и получают от них выгоду. Траектория развития периферийного ИИ Интеграция периферийных вычислений и ИИ меняет подход организаций ... читать далее.