PT AF Cloud получил LLM Firewall для защиты ИИ-агентов от prompt injection и утечек данных
16 октября Positive Technologies представила новый модуль LLM Firewall в составе PT Application Firewall. Модуль анализирует входящие запросы к большим языковым моделям и их ответы, выявляя prompt injection, jailbreak, попытки извлечения системных инструкций, нарушения политик и передачу чувствительных данных. На дату сообщения функциональность доступна в PT AF Cloud; появление в локальной редакции PT AF PRO заявлено позднее.
Что произошло
Модуль анализирует входящие запросы к большим языковым моделям и их ответы, выявляя prompt injection, jailbreak, попытки извлечения системных инструкций, нарушения политик и передачу чувствительных данных. На дату сообщения функциональность доступна в PT AF Cloud; появление в локальной редакции PT AF PRO заявлено позднее.
Что именно является новым событием
16 октября Positive Technologies представила новый модуль LLM Firewall в составе PT Application Firewall.
Кого касается
Организации, запускающие корпоративных ИИ-ботов, RAG-сервисы, виртуальных ассистентов и агентов с доступом к данным и инструментам.
Что это не означает
Модуль не делает любое LLM-приложение автоматически безопасным и не заменяет разграничение прав, защиту данных, контроль агентных инструментов и безопасную разработку.
Что проверить
- архитектуру проксирования
- охват потоков
- обработку файлов и RAG
- правила блокирования
- ложные срабатывания
- хранение промтов
- место обработки данных в облачной модели
- интеграцию с SIEM
Что делать
Проводить пилот на прямых и косвенных prompt injection, утечке секретов, извлечении system prompt и опасных вызовах инструментов. Для чувствительных данных отдельно согласовать допустимость облачной обработки.