17.11.2023  Экспертиза, Искусственный интеллект, Мобильные и беспроводные решения

Роб Эндерле, президент и главный аналитик Enderle Group, обсуждает на портале Datanami преимущества гибридного подхода к внедрению ИИ на настольных компьютерах и в смартфонах. Снижение затрат и нагрузки на серверы По мере наращивания больших языковых моделей (LLM) мы обнаруживаем, что они потребляют все больше ресурсов, что создает проблемы с пропускной способностью, несмотря на то что объем их использования все еще сравнительно невелик. Речь идет о моделях, содержащих более 13 млрд. параметров и требующих огромных вычислительных мощностей. Когда большое количество пользователей использует эти модели одновременно, не только расходуются огромные объемы пропускной способности, но и создаются новые болезненные узкие места, потенциально способные поставить на колени облачные серверы, и без того испытывающие большие нагрузки. Разгрузив эти серверы и используя централизованный ресурс только для обновления данных, обслуживания и для тех случаев, когда локальный ИИ не справляется, вы сокращаете расходы и нагрузку на эти централизованные ресурсы и предоставляете пользователям более высокую производительность, не требующую подключения к системе. Последнее очень важно для таких вещей, как навигация на смартфоне, которая может работать и без подключения, а также для получения критической информации при отключении сети в результате природных или техногенных катастроф, которые происходят все чаще и чаще. Одним словом, пользователи просто хотят, чтобы эта технология работала, а ... читать далее.