03.11.2020 Новости, Искусственный интеллектСегодня большие языковые модели (LLM) становятся основой для целых классов продуктов — от интеллектуальных ассистентов до аналитических систем и рекомендательных движков. Крупные корпорации повсеместно внедряют масштабные LLM, но быстро сталкиваются с проблемами: развитие и поддержка таких моделей требуют огромных мощностей и устойчивости системы. Александр Кротов, эксперт в области оптимизации нейросетевых инфраструктур, рассказал о том, какие подходы использовать в масштабных LLM-проектах, и какие инструменты помогут сохранить стабильность системы. В чем проблема использования LLM в корпорациях Крупные компании ежедневно оперируют тысячами процессов. Если выполнять их вручную, это займет массу времени — и не исключены ошибки из-за человеческого фактора. Одна ошибка не будет стоить слишком дорого, но если каждый день их сотни, то это значительно скажется на общей выручке. Поэтому корпорации используют масштабные LLM, чтобы автоматизировать процессы и минимизировать человеческий фактор. AI-агенты могут применяться как для простых задач — например, суммаризации документов, ответов на простые обращения или генерации контента — так и для сложных последовательностей действий (tool calls). Они тоже могут ошибаться, но на этот раз более-менее стабильно, одинаково при обучении и в продакшене. Так, LLM могут запускать внутренние скрипты, запрашивать базы данных, управлять CRM, создавать задачи в Jira или анализировать отчёты BI. По сути, модели становятся универсальным интерфейсом к ...
читать далее.
