Обучаем нейросети федеративным способом

Федеративное обучение — метод тренировки ML‑моделей, при котором данные остаются на стороне владельца и не передаются внешним подрядчикам. Метод соответствует ФЗ № 152 «О персональных данных», его можно применять для работы с конфиденциальной информацией, например в медицине.

При таком подходе данные не обязательно должны полностью совпадать по структуре. В разных медорганизациях может накапливаться разная информация по пациентам, и технология позволяет обучать модели даже на таких разнородных данных.

С помощью федеративного обучения можно объединить ресурсы разных учреждений без централизованного обмена данными. Этот метод позволяет обучать модель на локальных данных каждой организации, несмотря на различия в форматах.

Эксперимент, проведённый командой Yandex Cloud совместно с Сеченовским Университетом и ИСП РАН, продемонстрировал, что метод работает на практике. Он помогает распознавать патологии сердца на снимках ЭКГ. Цель сотрудничества — подтвердить эффективность федеративного подхода в медицине, где конфиденциальность данных особенно важна.

В статье расскажем о том, как прошёл эксперимент и как федеративное обучение помогло решить проблему разнородности и нехватки данных. Поделимся результатами применения федеративного обучения и возможностями, которые эта технология открывает для медицины в будущем.

Как работает федеративное обучениеКак работает федеративное обучение

Обычно при обучении моделей ИИ данные собираются из различных источников: архивов разных медицинских учреждений, медицинских информационных систем, открытых источников — и передаются на центральный сервер, где происходит их обработка и обучение модели.

Такой подход может создавать риски для конфиденциальности данных, особенно в таких сферах, как медицина. Например, возможны утечки или несанкционированный доступ к персональным медицинским данным пациентов.

При таком подходе сохраняется конфиденциальность данных, так как они остаются у владельцев и не передаются на центральный сервер. Это позволяет объединить ресурсы различных медицинских учреждений для улучшения качества моделей.

Центральный федеративный сервер не обрабатывает и не хранит исходные данные, как это происходит в традиционных централизованных системах. Его задача — координировать обучение, агрегируя параметры для улучшения общей модели, обеспечивая при этом конфиденциальность данных.

После того как параметры модели от всех клиентов объединяются на центральном федеративном сервере, её обновлённая версия возвращается на устройства клиентов, чтобы учиться на новых данных.

Благодаря этому модель учитывает изменения и особенности каждого клиента, становясь точнее и эффективнее. Этот процесс повторяется до тех пор, пока разработчики не достигнут заданных метрик качества: точности предсказаний и устойчивости модели.

С федеративного сервера на клиенты отправляются задания, которые включают в себя код модели и конфигурации. При этом не каждый пользователь может отправить такое задание, есть чёткое разделение ролей. После создания задания проводится проверка на стороне сервера и на стороне клиентов. Те задания, которые прошли проверку, выполняются на клиентах. Далее запускается ещё одна проверка на стороне клиентов — можно ли отправить обратно на сервер результат обучения. За счёт таких многофакторных проверок обеспечивается безопасность данных.

Если проверка успешна, обучение модели начинается на локальных данных. В случае неудачи задание отклоняется. Это предотвращает утечку данных и гарантирует, что обучение происходит в надёжной среде.

Виды федеративного обученияВиды федеративного обучения

Их всего три: горизонтальное, вертикальное и трансферное.

При федеративном подходе модель обучается на инфраструктуре владельца данных, а расходы покрывает заказчик. Если у команды нет серверов, оснащённых графическими процессорами (GPU), которые необходимы для сложных вычислений, можно арендовать необходимую инфраструктуру у облачного провайдера. Графические процессоры значительно ускоряют процесс обучения сложных моделей, таких как нейронные сети. Доступна и гибридная модель, когда часть данных хранится и обрабатывается локально, а часть — в облаке.

Облачный провайдер предоставляет посекундную оплату за ресурсы, что позволяет платить только за фактическое использование и избегать лишних расходов.

Обучение ML‑модели на медицинских данных: кейс Yandex Cloud, ИСП РАН и Сеченовского УниверситетаОбучение ML‑модели на медицинских данных: кейс Yandex Cloud, ИСП РАН и Сеченовского Университета

Эксперимент заключался в обучении ML‑модели, чтобы распознавать патологии сердца на основе данных ЭКГ. Для этого использовали фреймворк NVFlare, который поддерживает федеративное обучение с использованием GPU. Команда архитекторов Yandex Cloud продумала архитектуру и внедрила техническое решение, а Сеченовский Университет предоставил медицинскую поддержку и экспертизу.

Проект реализовали на гибридной инфраструктуре: ИСП РАН развернул часть ресурсов в своём ЦОД, а Сеченовский университет использовал Yandex Cloud, так как своих мощностей у них не было.

Инженеры компании «ИМПРУВ ИТ» разработали схему, которая позволила развернуть фреймворк в облаке и настроить его буквально по клику, чтобы вычислительные ресурсы использовались только во время обучения и не расходовались впустую.

Такой подход позволил протестировать инфраструктуру на недорогих виртуальных машинах и подключать дорогостоящие GPU только для обучения моделей. Это значительно снизило расходы на вычислительные ресурсы.

Для эксперимента использовали два набора данных: общедоступный открытый и закрытый от Сеченовского университета. Оба набора размечены в едином формате.

ИСП РАН адаптировал свою существующую модель для классификации ЭКГ, чтобы она могла работать в рамках фреймворка федеративного обучения, и запустил тренировку. Обучение провели на датасете из 47 тысяч двенадцатиканальных ЭКГ: 30 тысяч от ИСП РАН и 17 тысяч от Сеченовского университета.

В ходе эксперимента специалисты обучили модель диагностировать фибрилляцию предсердий. Чувствительность модели составила 99%, а специфичность — 95%. Результаты работы модели проверили трое врачей функциональной диагностики с опытом работы более 10 лет, чтобы убедиться в её точности и клинической применимости.

Развитие федеративного обучения в медицине сегодняРазвитие федеративного обучения в медицине сегодня

Во всём мире эту технологию считают революционной и видят за ней будущее развития ИИ в областях с чувствительными данными. Наибольший интерес сейчас проявляет именно медицина, она занимает 36% рынка. Высокий интерес сектора к технологии обусловлен её потенциалом в области анализа медицинских изображений и разработки лекарств. Также технологию можно применять для обучения прогностических моделей на данных электронных медицинских карт пациентов (ЭМК) и для обучения больших языковых моделей (LLM), основанных на медицинских данных.

«Полного совершенства при обследовании с нейросетями достичь пока что не удаётся, но это и не нужно: всё же мы говорим об использовании нейросетей для помощи врачу, а не для его замены. Системы поддержки принятия врачебных решений берут на себя ту часть работы, которую можно автоматизировать и которая связана с рутинными процедурами, занимающими время. Но конечное решение принимает врач, и он может при необходимости самостоятельно проанализировать нужные показатели, учесть то, что не учла программа, и составить окончательное мнение».

Институт персонализированной кардиологии Сеченовского Университета вместе с научными сотрудниками из ИСП РАН и ИКТИ РАН разрабатывает устройства, которые работают с СППВР и помогают в дистанционном мониторинге сердца.

Они фиксируют сердечно-сосудистые заболевания, помогают обрабатывать ЭКГ, значения ЧСС и пульсовой волны. Модель помогает врачам расшифровывать полученные данные и определяет предварительный диагноз. При необходимости можно отправить данные коллегам и проконсультироваться.

«В ИСП РАН разработка алгоритмов федеративного обучения — часть создания систем доверенного искусственного интеллекта. В этом году при поддержке Минобрнауки России открылась молодёжная лаборатория, где мы обучаем большие модели для медицинских задач. Также мы занимаемся защитой данных и предотвращением угроз, которые могут повлиять на качество обучения. Это имеет важное научное и практическое значение, что подтверждается успешным экспериментом с Сеченовским Университетом и Yandex Cloud».

Федеративное обучение применимо не только в здравоохранении, но и в других сферах. Например, в финансовой отрасли его можно использовать для обнаружения мошенничества и оценки кредитоспособности. При этом данные клиентов остаются защищёнными, что особенно важно при работе с конфиденциальной информацией.