Как защитить данные, когда сотрудники и клиенты банка работают с ИИ

Сотрудник может отправить внешней модели пароль, а клиентский ИИ-ассистент — раскрыть чужие данные. На примере банка разберём, как контролировать запросы и ответы, проверять приложения и находить опасные настройки облака.

Краткий пересказ YandexGPT
  • Выяснить, где сотрудники и клиенты используют ИИ: провести инвентаризацию используемых моделей и ИИ-приложений, определить границы работы с данными для каждого сценария.
  • Контролировать данные в запросах к внешним моделям: использовать шлюзы (например, SolidWall AI Security Gateway) для проверки и обработки запросов, применять маскирование чувствительных данных.
  • Проверять запросы, права и ответы клиентского ассистента: анализировать запрос клиента, обращение ассистента к данным и инструментам, ответ клиенту; выявлять попытки промпт-инъекции и другие нарушения.
  • Испытать приложение до запуска для клиентов: использовать инструменты автоматического анализа защищённости (например, SolidPoint) для проверки приложения на стенде, выявлять и устранять проблемы с доступом к данным и правами на действия.
  • Проверить настройки ИИ-инфраструктуры в облаке: провести инвентаризацию ИИ-ресурсов и проверить их настройки (например, с помощью модуля AI-SPM в Yandex Security Deck), обратить внимание на публично доступные ресурсы, сервисные аккаунты с избыточными правами, настройки шлюзов, хранилищ и сред исполнения.
  • Выбирать меры защиты с учётом сценария: ориентироваться на фреймворк AI-SAFE 2.0 для определения значимых угроз и подбора технических и организационных мер защиты, проверять результаты применения мер.

Эту статью мы подготовили по материалам нашего вебинара — первой встречи серии «Безопасность ИИ на практике».

Представим банк, который использует ИИ в работе сотрудников и обслуживании клиентов. Документы и база знаний хранятся во внутреннем контуре. Сотрудники обращаются к внутренним и внешним моделям, а команда разработки создаёт ИИ-приложения в облаке. Одно из них — текстовый ассистент — отвечает клиентам на вопросы о договорах, просрочках и платежах.

В этих сценариях банку нужно решать разные задачи безопасности. При работе сотрудников с внешними моделями — контролировать, какие данные покидают компанию. При обращении клиентов к ассистенту — проверять, к каким сведениям и действиям у него есть доступ и что он возвращает в ответе. Рассмотрим оба сценария и способы проверить защиту на практике.

Полноэкранное изображение

Выясните, где сотрудники и клиенты используют ИИ

Разработчик узнаёт от коллег о новом ИИ-помощнике, пробует его на рабочей задаче и начинает пользоваться постоянно. При этом служба безопасности может не знать ни об инструменте, ни о данных, которые сотрудник ему передаёт: фрагментах кода, документах или паролях из настроек подключения.

Полноэкранное изображение

Так возникает теневой ИИ — использование ИИ-инструментов вне контроля компании. Чтобы определить, что предстоит защищать, начните с инвентаризации:

  • Какими моделями и ИИ-приложениями пользуются сотрудники?
  • Какие инструменты они самостоятельно установили на рабочие машины и серверы?
  • К каким моделям обращаются эти инструменты?
  • Какие собственные ИИ-приложения банк уже открыл клиентам?

Для каждого сценария определите допустимые границы работы с данными. Например, какие сведения разработчик может отправить внешней модели и что клиент вправе узнать через банковского ассистента.

Контролируйте данные в запросах к внешним моделям

Чувствительные данные могут попасть в запрос вместе с рабочим контекстом. Сотрудник загружает сведения о клиентах для отчёта, а разработчик просит проверить строку подключения к базе данных и копирует её целиком, вместе с паролем. Если отправить такой запрос без обработки, данные покинут банк ещё до ответа модели.

На вебинаре этот сценарий мы разбирали с помощью SolidWall AI Security Gateway — шлюза, который контролирует запросы и ответы в подключённых потоках. Банк определяет, с какими моделями разрешено работать, направляет обращения к ним через шлюз и задаёт правила обработки данных. Кроме стандартных типов, например номеров карт, можно описать собственные — в том числе внутренние типы документов.

Правила действуют только на обращения, которые проходят через шлюз. Поэтому при настройке защиты нужно проверить и перечень чувствительных данных, и список подключённых потоков.

Как работает маскирование

Если шлюз обнаружит в запросе пароль, он может заблокировать обращение целиком. Когда значение пароля не нужно для решения задачи, другой вариант — заменить чувствительный фрагмент и передать модели остальной текст.

Маскирование бывает двух видов:

  • Необратимое. Чувствительный фрагмент заменяется и не восстанавливается в ответе. Сотрудник видит, что часть данных скрыта.
  • Обратимое. Шлюз сохраняет соответствие между исходным значением и заменой. Если модель возвращает эту замену в ответе, шлюз подставляет исходное значение перед показом пользователю.

При обратимом маскировании сотрудник может увидеть свои данные в ответе, хотя внешняя модель их не получала. Поэтому по одному окну чата нельзя судить, сработала ли защита.

На вебинаре мы показывали это на учебном примере с адресом электронной почты. Сотрудник отправил адрес и увидел его в ответе. При этом в журнале шлюза было видно, что модель получила запрос с заменой: исходное значение восстановилось на обратном пути. Аналогично проверили пароль в строке подключения и номер карты.

Полноэкранное изображение

Чтобы проверить маскирование на своих тестовых данных, сопоставьте три сообщения:

  • исходный запрос сотрудника;
  • запрос, переданный модели;
  • ответ в чате.

Так вы увидите, какие значения шлюз заменил и какие восстановил.

Как шлюз распознаёт чувствительные данные

Для поиска чувствительной информации используются разные методы. Номер карты можно искать по структуре, название внутреннего документа — по словарю. Для более сложных случаев применяются нечёткий поиск и нейросетевой анализ, а для изображений — распознавание текста. В шлюзе эти проверки образуют каскад.

Например, сотрудник может ошибиться при вводе ИНН. Проверка, рассчитанная на точное соответствие формату, способна пропустить такую строку. Нечёткий поиск и анализ контекста помогают распознать идентификатор с ошибкой и применить к нему правило обработки данных.

Анализ смысла нужен и для ограничения тем, с которыми работает клиентский ассистент. По отдельному слову не всегда можно понять, относится ли обращение к банковскому обслуживанию. Для такой проверки шлюз использует специализированные модели.

Проверяйте запросы, права и ответы клиентского ассистента

Клиент вправе узнать о платеже по своему договору. При этом сведения о другом человеке и внутренние инструкции банка должны оставаться недоступными. Чтобы проверить соблюдение этих границ, рассмотрите три этапа работы ассистента.

Этап

Что проверить

Запрос клиента

Относится ли обращение к банковскому обслуживанию? Есть ли признаки попытки изменить поведение ассистента через инструкции в запросе?

Обращение ассистента к данным или инструментам

Какие сведения он может получить и какие действия выполнить при подготовке ответа?

Ответ клиенту

Не попали ли в него чужие персональные данные, внутренняя информация или технические секреты?

Попытку повлиять на поведение модели через инструкции в обрабатываемом тексте называют промпт-инъекцией. Например, злоумышленник может попытаться заставить ассистента выйти за рамки поддержки клиентов или раскрыть внутреннюю информацию.

Контроль входящих запросов и исходящих ответов помогает находить разные нарушения. Даже обычный на вид вопрос может привести к выдаче чужих данных, если у ассистента есть избыточный доступ к ним.

В демонстрации SolidWall AI Security Gateway анализировал обращения к учебному банковскому ассистенту. Один запрос получил в журнале отметку о признаках мошенничества, другие срабатывания указывали на попытки промпт-инъекции.

При этом шлюз работал в режиме наблюдения. Запись в журнале показывала, какое правило сработало, но не доказывала, что запрос был прерван. При проверке защиты нужно сопоставить правило, назначенное ему действие и результат, который получил пользователь.

Испытайте приложение до запуска для клиентов

Журнал шлюза позволяет изучить уже прошедшие обращения. До запуска ассистента нужно проверить на работающем стенде, какие данные он способен раскрыть и какие действия выполнить.

На вебинаре мы использовали для этого SolidPoint — инструмент автоматического анализа защищённости приложения. Для динамической проверки ему нужен запущенный экземпляр приложения. На трёх учебных приложениях показали разные находки, в том числе раскрытие сведений о пользователях и избыточные права агента.

В одном из диалогов ассистент выдал сведения о пользователях из базы данных. Такой результат даёт владельцу приложения конкретный пример для разбора: можно сопоставить фактически раскрытые данные с теми, которые пользователь вправе видеть.

Если проверка выявила избыточные права, команда пересматривает доступные ассистенту действия: какие из них нужны для работы с договорами и платежами, а какие следует ограничить. Проверять доступ к данным и права на действия нужно отдельно — успешный результат одной проверки не подтверждает другую.

Проверки можно проводить в процессе разработки и повторять для работающего приложения. Автоматический анализ покрывает часть задач. Вопросы, которые остаются открытыми, можно разобрать со специалистами по анализу защищённости.

Проверьте настройки ИИ-инфраструктуры в облаке

Проверка диалогов не покажет, например, есть ли у ключа ассистента ограничение срока действия. Для этого нужно отдельно изучить облачные ресурсы и их настройки.

В Yandex Security Deck эту задачу помогает решать модуль AI-SPM. Он позволяет провести инвентаризацию ИИ-ресурсов организации, которая работает в Yandex AI Studio, и проверить настройки обнаруженных объектов.

Полноэкранное изображение

На вебинаре мы выбрали в консоли интересующие типы ресурсов и посмотрели, какие из них есть в организации. Такая проверка помогает обратить внимание на публично доступные ресурсы, сервисные аккаунты с избыточными правами, настройки шлюзов, хранилищ и сред исполнения.

В демонстрации обнаружили API-ключ без ограничения срока действия. Находку можно передать команде, которая управляет ключом, даже если в журнале диалогов нет связанных с ним срабатываний.

Контроль трафика, проверка приложения и аудит облачных настроек дополняют друг друга. Шлюз помогает выяснить, какие данные передали в конкретном обращении. Проверка приложения — что ассистент способен раскрыть или выполнить. Аудит инфраструктуры — какие права и настройки ресурсов требуют внимания.

Выбирайте меры защиты с учётом сценария

Списки OWASP® Top 10 помогают сориентироваться в распространённых рисках, в том числе для приложений с языковыми моделями. Но приоритеты защиты зависят от конкретного приложения: у помощника разработчика и клиентского ассистента разные пользователи, источники данных и последствия ошибки.

В серии наших вебинаров для этой работы мы будем использовать фреймворк AI-SAFE 2.0. Команда описывает приложение, определяет значимые для бизнеса угрозы и их возможные последствия, затем подбирает технические и организационные меры защиты.

Для каждой меры нужен проверяемый результат. При маскировании можно посмотреть, какое значение получила внешняя модель. При проверке клиентского ассистента — какие сведения он вернул пользователю. При аудите ключа — установлен ли срок его действия.

Начните с одного рабочего сценария: выберите инструмент, которым сотрудники уже пользуются, и проследите путь запроса до модели и обратно. Для собственного ИИ-приложения дополните это проверкой на стенде и аудитом прав в облаке. Результаты помогут разработчикам и службе безопасности определить, что исправлять в первую очередь и как проверить исправления.

Как защитить данные, когда сотрудники и клиенты банка работают с ИИ

Войдите, чтобы сохранить пост