27.09.2024  Экспертиза, Интернет, Искусственный интеллект, Мобильные и беспроводные решения

Локальные системы искусственного интеллекта, известные как «LLMs on the edge» (большие языковые модели на периферии), могут помочь снизить нагрузку на дата-центры, но может пройти некоторое время, прежде чем этот подход станет мейнстримом, отмечают опрошенные порталом Data Center Knowledge эксперты. Проблема, которую представляет собой ИИ для дата-центров, освещается достаточно широко. Одним из способов снизить нагрузку является использование LLM на периферии, то есть позволить системам ИИ работать на ПК, планшетах, ноутбуках, смартфонах и других устройствах. Очевидные преимущества LLM на периферии включают в себя снижение стоимости обучения LLM, уменьшение задержки при запросах к LLM, повышение конфиденциальности пользователей и надежности. Если такие локальные решения смогут снизить нагрузку на дата-центры за счет уменьшения требований к вычислениям, то смогут устранить необходимость в многогигаваттных ЦОД-фабриках. Но действительно ли такой подход осуществим? В связи с расширяющейся дискуссией о переносе LLM, лежащих в основе генеративного ИИ (GenAI), на периферию, мы рассмотрим, действительно ли такой перенос может снизить нагрузку на дата-центры. Смартфоны прокладывают путь периферийному ИИ Майкл Азофф, главный аналитик практики исследований облачных вычислений и дата-центров компании Omdia, говорит, что наиболее быстро развивающийся сценарий использования ИИ на периферии — это легкие LLM на смартфонах. Huawei разработала различные варианты размеров своей LLM Pangu 5.0 ... читать далее.