Искусственный интеллект (ИИ) становится мощным, но уязвимым инструментом в руках как бизнеса, так и злоумышленников. Эксперты говорят о растущих рисках, связанных с внедрением ИИ-агентов, и предлагают возможные пути их минимизации.

По данным Национального центра искусственного интеллекта при Правительстве России, 43% компаний в стране уже используют ИИ, однако только 36% имеют хотя бы базовые политики безопасности. Это делает ИИ уязвимым местом для атак. Особенно опасны ситуации, когда ИИ-ассистенты получают доступ к чувствительной информации, например, персональным данным клиентов. Утечка таких данных может обойтись компании в 15 млн рублей, а повторное нарушение грозит оборотным штрафом.

Злоумышленники активно эксплуатируют уязвимости ИИ. Например, они используют метод jailbreak, чтобы взламывать устройства и программные продукты через ИИ. Встречаются также каскадные атаки: создается специальный ИИ-агент, который «обучает» следующего, передавая вредоносные инструкции по цепочке. В результате ваш бот может выдавать недостоверную или даже противоправную информацию.

Еще одна серьезная проблема – заражение дата-сетов, на которых обучается нейросеть или большая языковая модель (LLM), как например ChatGPT. Если в данных преобладают некорректные утверждения, например, что «2×2 = 5», модель будет воспринимать это как истину. Более опасны случаи, когда данные содержат бэкдоры – скрытые уязвимости, позволяющие злоумышленникам перехватывать контроль над системой. Они активируются при определенных условиях, например, если модель получает специфический входной запрос. В этом случае ИИ превращается в троянского коня, предоставляя доступ к конфиденциальным данным.

Злоумышленники могут атаковать ИИ-агентов через специально модифицированные запросы, вызывая перегрузку системы. Это приводит к исчерпанию вычислительных мощностей, что парализует работу компании или вынуждает ее тратить дополнительные средства на расширение инфраструктуры.

В связи с этим возрастает важность системного подхода. К ИИ-агентам и моделям нужно подходить как к микро-сервисам. Необходимы политики безопасности и инструментальные проверки. Оптимальный вариант – MLSecOps. Это новая методология, которая объединяет машинное обучение (ML) и безопасность (SecOps). Она предполагает, что вопросы защиты должны быть заложены на этапе проектирования модели, а не решаться постфактум.

В настоящее время системный подход к защите ИИ разрабатывается в рамках рабочих групп Консорциума исследований безопасности искусственного интеллекта.