27.02.2024  Экспертиза, Безопасность, Искусственный интеллект

Манипулируя поведением большой языковой модели (LLM), атаки типа «инъекция подсказок» (prompt injection) могут предоставить злоумышленникам несанкционированный доступ к частной информации. Независимый аналитик Кристофер Тоцци обсуждает на портале ITPro Today стратегии, которые могут помочь разработчикам уменьшить уязвимость этого типа в LLM и чатботах. Если вы опытный разработчик, то наверняка знакомы с инъекционными атаками, такими как SQL-инъекции и межсайтовый скриптинг (XSS). Теперь появился новый вид инъекционного риска: prompt injection. Если вы разрабатываете приложения, основанные на генеративном искусственном интеллекте (GenAI) или больших языковых моделях (LLM), инъекция подсказок — это проблема, которую необходимо решить, чтобы предотвратить злоупотребление вашим ПО и данными, лежащими в его основе. Рассмотрим, что такое prompt injection, как это работает и как разработчики могут устранить эту уязвимость в создаваемых ими приложениях. Что такое инъекция подсказок Это тип кибератаки, направленный на то, чтобы обмануть LLM или чатботы и заставить их выполнить действия или раскрыть информацию, которая не должна быть доступна пользователю. Для этого злоумышленники вводят в интерфейс LLM или чатбота подсказки, которые призваны вызвать недопустимое поведение. Другими словами, prompt injection — это внедрение специально созданных подсказок в приложение, использующее LLM. Какова цель инъекции подсказок в LLM Как правило, злоумышленники, использующие prompt injection ... читать далее.