Продукты и решения

PT AF Cloud получил LLM Firewall для защиты ИИ-агентов от prompt injection и утечек данных

16 октября Positive Technologies представила новый модуль LLM Firewall в составе PT Application Firewall. Модуль анализирует входящие запросы к большим языковым моделям и их ответы, выявляя prompt injection, jailbreak, попытки извлечения системных инструкций, нарушения политик и передачу чувствительных данных. На дату сообщения функциональность доступна в PT AF Cloud; появление в локальной редакции PT AF PRO заявлено позднее.

Что произошло

Модуль анализирует входящие запросы к большим языковым моделям и их ответы, выявляя prompt injection, jailbreak, попытки извлечения системных инструкций, нарушения политик и передачу чувствительных данных. На дату сообщения функциональность доступна в PT AF Cloud; появление в локальной редакции PT AF PRO заявлено позднее.

Что именно является новым событием

16 октября Positive Technologies представила новый модуль LLM Firewall в составе PT Application Firewall.

Кого касается

Организации, запускающие корпоративных ИИ-ботов, RAG-сервисы, виртуальных ассистентов и агентов с доступом к данным и инструментам.

Что это не означает

Модуль не делает любое LLM-приложение автоматически безопасным и не заменяет разграничение прав, защиту данных, контроль агентных инструментов и безопасную разработку.

Что проверить

Что делать

Проводить пилот на прямых и косвенных prompt injection, утечке секретов, извлечении system prompt и опасных вызовах инструментов. Для чувствительных данных отдельно согласовать допустимость облачной обработки.

Источники