12.08.2024  Новости, Безопасность

Специалисты «Лаборатории Касперского» изучили открытые данные и внутренние источники, чтобы выяснить, как и для чего люди используют indirect prompt injection (непрямые инъекции затравки). Этому киберриску подвержены многие системы на основе больших языковых моделей (LLM). Речь о текстовых описаниях задач, которые должны выполнять чат-боты. В случае с непрямыми инъекциями пользователи могут даже не подозревать, что нейросеть выполняет чужие инструкции. Как это работает. Множество решений на основе больших языковых моделей — алгоритмов, лежащих в основе популярных чат-ботов, работают так: человек задаёт вопрос чат-боту, который в свою очередь формулирует запрос к поисковой системе или доступной базе документов, читает выдачу, отбирает определённые страницы, анализирует и формирует ответ. Некоторые поисковые системы также резюмируют результаты при помощи языковых моделей. Однако люди могут размещать специальные фразы — инъекции — на своих сайтах и в опубликованных в сети документах, чтобы нейросети выдавали другим пользователям ответ, учитывающий цели интересантов. В «Лаборатории Касперского» привели примеры областей, в которых такой метод уже применяется. Наём персонала. В некоторых компаниях скрининг резюме автоматизируется с помощью нейросетей. Зная это, соискатели применяют непрямую инъекцию, чтобы обратить внимание больших языковых моделей на свои резюме. Но делают они это так, чтобы прочитать добавленную инструкцию могли только боты, а не рекрутеры и другие люди. Так ... читать далее.