16.07.2024  Экспертиза, Искусственный интеллект

Федеративные языковые модели (Federated Language Models, FLM) — это идея, которая использует преимущества двух тенденций развития генеративного ИИ: расширение применения малых языковых моделей (SLM) и рост возможностей больших языковых моделей (LLM), пишет на портале The New Stack Джанакирам МСВ, главный аналитик компании Janakiram & Associates. В области генеративного ИИ произошли два значительных события: появление SLM, которые могут работать на устройствах, и расширение возможностей выполняемых в облаке LLM с точки зрения размера контекста, интеграции инструментов, мультимодальности и сложных рассуждений. FLM используют преимущества этих двух тенденций, позволяя при этом предприятиям соблюдать конфиденциальность, приватность и безопасность. При использовании FLM мы имеем дело с двумя языковыми моделями — SLM, работающей на периферии, и LLM, работающей в облаке. SLM используется в основном для генерации, а LLM — для сопоставления запроса с набором подходящих инструментов и связанных с ними параметров. На приведенной ниже схеме показаны архитектура и потоки при использовании модели FLM. #IMAGE_229926# Цель состоит в том, чтобы реализовать агент Retrieval Augmented Generation (RAG, генерация с расширенным поиском) без необходимости передачи конфиденциального контекста мощным LLM, работающим в открытом доступе. LLM используется для сопоставления запроса с подходящими инструментами, имеющими доступ к конфиденциальным внутренним данным и приложениям. Приложение ... читать далее.