Метрики внедрения и контроля стандарта
Статус раздела — справочный. Метрики приведены как основа для построения системы показателей и не являются обязательными требованиями настоящего стандарта. До нормативного применения для каждой метрики должны быть определены формула расчета, период измерения, единица измерения, связанные требования
AI-*и трактовка результата.
Метрики раздела нужны для контроля внедрения требований, но сами по себе не доказывают безопасность системы. Набор, периодичность и целевые значения определяет организация с учетом риска и архитектуры.
Если значение метрики не может быть вычислено из-за отсутствия условия применимости в архитектуре (например, отсутствуют агентные сценарии), для нее указывается N/A. Если знаменатель ниже организационного порога, метрика считается N/A с объяснением.
Отсутствие реестра, сквозной трассировки, алертов или иного источника данных, необходимого для вычисления применимой метрики, не является N/A: оно фиксируется как отсутствие контроля или данных и подлежит устранению.
Охват и соответствие стандарту
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 1 | Доля охваченных ИИ-систем | Организация эксплуатирует ИИ-системы | Владелец ИБ / архитектор | Реестр ИИ-систем, акты описания архитектуры | Запись в реестре с идентификатором системы, датой, утверждающим | Если продуктивных систем нет — N/A |
| 2 | Уровень выполнения требований | Организация проводит проверку соответствия | Владелец ИБ / проверяющий | Система учета несоответствий, планы исправления | Акт проверки с перечнем требований и выводом | Если требования не определены — N/A |
| 3 | Среднее время закрытия несоответствия (MTTR Compliance) | Выявлены невыполненные требования или исключения | Владелец ИБ / менеджер риска | Система учета несоответствий, даты открытия/закрытия | Журнал несоответствий с датами, решениями, ответственными | Если нет выявленных несоответствий — N/A (знаменатель 0) |
| 4 | Количество и «возраст» исключений | Действуют утвержденные исключения | Владелец ИБ / риск-менеджер | Реестр исключений по разделу Исключения | Акт исключения со сроком, причиной, компенсирующей мерой | Если исключений нет — 0 с отметкой; N/A при отсутствии реестра |
| 5 | Охват правовой оценкой | Система обрабатывает регулируемые данные | Ответственные за правовые вопросы / соответствие требованиям | Реестр решений о соответствии требованиям, список систем с ПДн | Утвержденное правовое решение и решение о соответствии требованиям, диаграмма потоков данных | Если регулируемые данные не обрабатываются — N/A |
Управление идентификацией, доступом и секретами
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 6 | Индекс избыточных привилегий (IAM Hygiene) | Система использует рабочие идентичности | Владелец ИБ / IAM | Экспорт эффективных привязок IAM, CIEM (при подтвержденной доступности) | Сравнительная таблица: субъект, роль, операция, решение | Если нет рабочих идентичностей — N/A |
| 7 | Доля бесключевого доступа (Workload Identity) | Среда исполнения получает облачные учетные данные | DevSecOps / платформа | Конфигурация сред исполнения, наличие авторизованного ключа | Запись конфигурации: среда, способ получения учетных данных, N/A для сред без доступа к облаку |
Если все среды используют долгоживущие ключи по утвержденному исключению — N/A с обоснованием |
| 8 | Своевременность ротации секретов | Используются долгоживущие секреты (API-ключи, токены внешних провайдеров, пароли) | Владелец ИБ / секрет-менеджер | Реестр секретов, даты ротации | Запись: идентификатор секрета, дата ротации, утвержденный срок, решение | Краткоживущие IAM-токены не включаются в ротацию; если нет долгоживущих секретов — N/A |
| 9 | Доля секретов в утвержденном хранилище | Система использует секреты | Владелец ИБ / секрет-менеджер | Реестр секретов, конфигурация доставки | Запись: идентификатор секрета, способ хранения, доставка | Если нет секретов — N/A; утвержденное хранилище определяется организацией (не обязательно Lockbox) |
Защита данных и конвейеров
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 10 | Качество обнаружения ПДн (Detector Quality) | Система использует защитное преобразование регулируемых данных | Владелец данных / ML-инженер | Результаты синтетических тестов детектора | Протокол теста: версия правил, точность и полнота или иной утвержденный показатель, дата, тестовый набор | Метрика оценивает детектор, а не само маскирование; если преобразование не применяется — N/A |
| 11 | Доля проверенных загрузок данных | Система создает или обновляет RAG-корпус, обучает или дообучает модели | Владелец данных / ML-ops | Журнал запуска приемной проверки, карантин, решения | Запись: идентификатор загрузки, факт запуска проверки, дата, инициатор, решение | Знаменатель — все применимые загрузки за период, включая загрузки без запущенной проверки; если применимых загрузок за период нет — N/A |
| 12 | Уровень изоляции данных обучения | Организация обучает или экспериментирует с моделями | Владелец ML-платформы | Журналы DataSphere, реестры проектов, инциденты ИБ | Запись инцидента с описанием обнаружения продуктивных данных в экспериментальной среде | Если нет экспериментальных сред — N/A |
| 13 | Доля проверенных сторонних моделей | Используются сторонние модельные комплекты | Владелец ИИ-продукта | Реестр моделей, записи приемки | Запись приемки: версия, контрольная сумма, решение, дата | Если нет сторонних моделей — N/A |
Безопасность моделей, агентов и RAG
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 14 | Частота срабатывания модерации (Guardrails Activation Rate) | Используются правила модерации (AI-CONTENT1) |
Владелец продукта / контент-менеджер | События модерации, прикладные журналы | Запись: категория, действие, дата, сессия | Если модерация не заявлена как мера защиты — N/A |
| 15 | Доля остановленных агентных циклов | Система выполняет агентные сценарии | Владелец агента / оркестратор | Журналы агента, метрики оркестратора | Запись: причина остановки, номер шага, лимит | Если нет агентных сценариев — N/A |
| 16 | Надежность авторизации RAG (RAG ACL Effectiveness) | RAG содержит документы с различающимися правами | Владелец RAG / разработчик | Результаты автоматизированных тестов документной авторизации | Протокол: разрешенный и запрещенный субъект, результат до вызова модели | Если RAG без разграничения доступа — N/A |
| 17 | Доля подтвержденных (HITL) действий | Система определяет действия с существенными последствиями | Владелец агента / ИБ | Журналы подтверждений, трассировка агента | Запись: действие, субъект подтверждения, версия параметров | Если нет действий, требующих HITL — N/A |
Управление уязвимостями и цепочка поставок
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 18 | Среднее время устранения критических уязвимостей (MTTR Critical Vulns) | Используются программные образы или зависимости | DevSecOps / владелец приложения | Сканер уязвимостей, трекер задач, история релизов | Запись: идентификатор уязвимости, дата обнаружения, дата исправления, релиз | Если нет критических уязвимостей за период — N/A (знаменатель 0) |
| 19 | Доля компонентов с актуальным SBOM | Организация обязывает формировать SBOM для релизов | Владелец ИБ / DevSecOps | Реестр релизов, манифесты SBOM | Сохраненный SBOM, связь с дайджестом релиза | SBOM учитывается только там, где он обязателен по политике; если не обязателен — N/A |
| 20 | Скорость реагирования на инциденты поставщиков | Используются внешние компоненты (модели, данные, библиотеки) | Владелец ИБ / цепочка поставок | Реестр уведомлений поставщиков, трекер задач | Запись: уведомление, дата получения, дата оценки влияния, дата ограничительных мер | Если нет внешних компонентов — N/A |
Мониторинг, инциденты и наблюдаемость
| № | Метрика | Применимость | Владелец | Источник данных | Артефакт проверки | Правило N/A / нулевого знаменателя |
|---|---|---|---|---|---|---|
| 21 | Полнота прикладной трассировки (Trace Completeness) | Система обрабатывает запросы, требующие сквозной трассировки | Владелец мониторинга / DevOps | Журналы приложения, корреляционные записи | Выборка записей с идентификатором корреляции, политиками, инструментами | Если сквозная трассировка не заявлена — N/A |
| 22 | Среднее время обнаружения аномалии (MTTD AI) | Для системы настроены алерты или подключен YCDR с подтвержденной доступностью | SOC / владелец мониторинга | События алертов, журналы Monitoring, YCDR (при доступности и настроенном коллекторе) | Запись: время начала аномалии, время срабатывания алерта, канал доставки | YCDR учитывается только для систем, где он доступен и получает события; если алерты не настроены — N/A |
| 23 | Среднее время реагирования на ИИ-инцидент (MTTR AI) | Зарегистрирован ИИ-инцидент, требующий реагирования | SOC / менеджер инцидентов | Трекер инцидентов, журналы действий | Запись: время алерта, время первого шага изоляции, действие | Если инцидентов за период нет — N/A (знаменатель 0) |
| 24 | Доля инцидентов с сохраненными материалами расследования | Зарегистрированы инциденты, требующие расследования | SOC / владелец ИБ | Реестр инцидентов, архивы материалов расследования | Акт инцидента с перечнем материалов, сроком, владельцем | Если инцидентов за период нет — N/A (знаменатель 0) |