AI Security Agentic Framework Essentials (AI-SAFE)
AI Security Agentic Framework Essentials (AI-SAFE)
Фреймворк для моделирования угроз.
Разработан практиками — для практиков.
AI SAFE
Фреймворк для системного анализа безопасности ИИ‑систем. Связывает компоненты архитектуры с недостатками, возможными воздействиями и мерами защиты, помогая сформировать проверяемый план обеспечения безопасности.
Зачем нужен этот фреймворк
Чтобы рассматривать область защиты ИИ‑приложений с нескольких точек зрения:
- со стороны рисков и последствий, если угрозу приведут в исполнение;
- со стороны первопричин — недостатков в процессах, архитектуре, реализации и эксплуатации, позволяющих угрозам свершиться;
- со стороны защитных мер;
- со стороны архитектуры приложений.
Поэтому мы выпускаем AI SAFE 2.0 в форме атласа. Карта в нём — это срез, который вы можете формировать сами: выбирать интересующие сущности и двигаться по связям между воздействиями, недостатками, защитными мерами и компонентами архитектуры.
При подготовке документа мы опирались на опубликованные ранее фреймворки, каталоги и рекомендации: материалы OWASP GenAI Security Project, Google SAIF, Databricks AI Security Framework, MITRE ATLAS и другие.
Кому будет полезен фреймворк
Архитекторам, бизнес‑аналитикам и разработчикам
Создающим ИИ‑решения или встраивающим их в свои продукты и сервисы, — чтобы защититься на уровне архитектуры и бизнес‑сценариев.
CISO и руководителям служб безопасности
Для планирования защитных мер и оценки их покрытия относительно возможных рисков и последствий.
Инженерам безопасности, DevSecOps‑специалистам, участникам MLOps‑ и MLSecOps‑процессов
Чтобы выявлять и устранять в своей зоне ответственности причины рисков, связанных с ИИ‑приложениями, их инфраструктурой и процессами.
Специалистам по оценке рисков, юристам и руководителям
Чтобы узнать о том, какие практические последствия для бизнес‑задач возникают при создании и использовании ИИ‑приложений.
Аналитикам, преподавателям и студентам
Как системный способ изучения области угроз и защиты ИИ‑приложений.
Какие есть ограничения
AI SAFE 2.0 сфокусирован на угрозах, недостатках и защитных мерах, специфичных для ИИ‑приложений и сервисов. Атлас учитывает общие компоненты инфраструктуры, процессы разработки и эксплуатации, влияющие на безопасность ИИ‑приложений, но не претендует на исчерпывающее описание их защиты. Чтобы подробно изучить общие вопросы безопасности приложений, рекомендуем обращаться к моделям зрелости OWASP SAMM и DSOMM, требованиям OWASP ASVS, каталогам недостатков CWE и шаблонов атак CAPEC, а также к материалам по безопасности Yandex Cloud.
AI SAFE 2.0 не сводится к таксономии. Классификации помогают ориентироваться в материалах, а основа атласа — связи между воздействиями, недостатками, защитными мерами и компонентами архитектуры.
Кроме прямых связей между сущностями бывают многошаговые цепочки причин и последствий. Например, несанкционированный доступ может привести к краже модели. Один исходный недостаток может запускать такую цепочку и приводить к дальнейшим последствиям. Для каждого шага нужно проверять, выполнены ли необходимые условия. Мы не заменяем такие цепочки прямой связью между первым и последним событием: они показаны отдельно вместе с условиями, при которых возможны. При анализе конкретного сценария также стоит учитывать другие возможные цепочки.
Как пользоваться атласом
В основном разделе перечислены четыре типа сущностей атласа: воздействия, недостатки, защитные меры и компоненты архитектуры — и связи между ними.
Начинать работать с атласом можно с любой точки зрения, близкой вашей роли: от возможных воздействий и их последствий, от недостатков, от защитных мер или от архитектуры приложения. Выбрав интересующие сущности в той или иной категории, вы сформируете собственную карту и будете переходить по связям к другим сущностям атласа.
Команда проекта
Защитите свою ИИ‑систему вместе с экспертами Yandex Cloud
Поможем применить AI SAFE к вашей архитектуре: оценим риски, проведём аудит инфраструктуры и подберём меры защиты под критичность системы.
