05.08.2025  Экспертиза, Безопасность, Искусственный интеллект, Менеджмент

Подход «человек в курсе» (Human-on-the-Loop, HOTL) заменяет микроменеджмент в подходе «человек в контуре» (Human-in-the-Loop, HITL) структурированной автономией искусственного интеллекта. Стив Уилсон, директор Exabeam по искусственному интеллекту и продуктам, рассказывает на портале The New Stack о том, как безопасно масштабировать агентов ИИ с помощью структур управления. За последние два года большая часть разговоров об ИИ была сосредоточена на рисках, и это правильно — джейлбрейки, утечки данных и непреднамеренные действия очень опасны. Но сегодня вопрос уже не в том, что «ИИ — это рискованно», а в том, как «как мы можем безопасно масштабировать ИИ». Агенты ИИ становятся более зрелыми, а сценарии их использования расширяются. Рассуждения ИИ быстро совершенствуются. Агенты пишут код, сортируют оповещения, разрешают тикеты, составляют черновики отчетов — и они делать это на производстве, а не только в лабораториях. Сейчас насущный вопрос заключается не том, опасно ли эти агенты. Насущный вопрос заключается в том, создали ли вы правильную модель управления, позволяющую им работать безопасно и продуктивно. Пришло время перейти от подхода «человек в контуре» к подходу «человек в курсе». Эволюция: от инжиниринга подсказок к надзору за агентами ИИ Эпоха «копирования-вставки» для ИИ осталась в прошлом. Сегодня правят агенты. Давайте рассмотрим эволюцию действий ИИ за последние пару лет. Мы начали с ChatGPT. Он мог генерировать идеи, составлять черновики писем или писать фрагменты ... читать далее.