Стандарт внедрения ИИ-агентов

Подразделение Yandex B2B Tech подготовило матрицу угроз, связанных с разработкой и внедрением ИИ-агентов – автономных программ, выполняющих задачи при помощи искусственного интеллекта. Документ охватывает риски на разных уровнях архитектуры таких систем и предназначен для специалистов по безопасности. Разработка стандартов безопасного внедрения ИИ-агентов – требование времени, подчеркнули в Госдуме.

Классификация угроз

Угрозы разделены на пять категорий: интерфейс взаимодействия, исполнение и инструменты, инфраструктура и оркестрация, ядро и логика, а также данные и знания.

В каждой группе описаны возможные атаки и уязвимости, включая внедрение вредоносных инструкций, перегрузку агентов запросами и манипуляции с промтами.

Понимание этих рисков необходимо не только разработчикам, но и бизнесу, так как ИИ-агенты активно внедряются в корпоративные процессы и становятся частью критичной инфраструктуры.

Безопасность на втором плане

Ранее операторы связи и технологические компании заявляли о стремительном распространении ИИ-агентов, которые способны выполнять более сложные задачи, чем традиционные чат-боты. 2025-й эксперты уже называют «годом ИИ-агентов».

По словам члена комитета Госдумы по информационной политике, информационным технологиям и связи Антона Немкина, рынок ИИ-агентов развивается стремительно, но вопросы безопасности пока остаются на втором плане.

Мишень для кибератак

«Агенты не ограничиваются простыми диалогами, они получают доступ к внутренним системам компаний, а значит, становятся потенциальной мишенью для кибератак. Важно, что документ структурирует риски по уровням архитектуры. Такой подход позволяет бизнесу и разработчикам выстроить системную модель защиты: от фильтрации пользовательских запросов и защиты каналов взаимодействия до контроля над логикой работы самого агента и безопасностью используемых данных», – пояснил депутат.

Объединение усилий

Особую опасность представляют так называемые «скрытые инструкции» – когда вредоносный промт может изменить цель работы агента. Для компаний это означает риск утраты контроля над процессами и несанкционированного использования корпоративных данных.

Разработка стандартов безопасного внедрения ИИ-агентов требует объединения усилий разработчиков, заказчиков и регуляторов. Без комплексного подхода риски будут расти пропорционально масштабам внедрения технологий, утверждает эксперт.

Источник: Пресс-служба депутата Государственной Думы РФ Антона Немкина

Следите за нашими новостями в Телеграм-канале Connect


Поделиться:



Следите за нашими новостями в
Телеграм-канале Connect

Спецпроект

Цифровой девелопмент

Подробнее
Спецпроект

Машиностроительные предприятия инвестируют в ПО

Подробнее