Глубокое обучение (Deep Learning)
Deep Learning (глубокое обучение) — направление машинного обучения, в котором используются многослойные нейронные сети. Они автоматически находят паттерны в данных и тем самым учатся решать различные задачи: распознавать изображения, понимать речь, переводить тексты.
Слово «глубокое» в названии отражает количество слоев в нейронной сети. Чем больше слоев, тем более абстрактные закономерности способна улавливать модель. Именно это отличает глубокое обучение от классических методов, где человек вручную задает необходимые параметры.
Как развивалось глубокое обучение
Идея нейронных сетей родилась еще в 1940-х годах: в 1943 году ученые предложили первую математическую модель, которая работала как искусственный нейрон. В 1958 году был создан перцептрон — первая модель обучаемой нейронной сети. Однако компьютеры того времени были слишком слабыми. Обучать даже простые сети было долго и дорого, поэтому интерес к теме постепенно угас.
Возрождение началось в 1980-х: появился алгоритм обратного распространения ошибки, который позволил эффективно обучать многослойные сети. Но даже после этого нейронные сети были малоэффективны по сравнению с другими методами машинного обучения — не хватало данных и мощных компьютеров.
Настоящий прорыв произошел в 2012 году: нейронная сеть AlexNet выиграла конкурс ImageNet, снизив ошибку распознавания изображений вдвое по сравнению с предыдущими методами. Этот момент многие считают настоящим рождением современной эпохи глубокого обучения. С тех пор развитие пошло взрывными темпами.
Сегодня технологии на базе глубокого обучения окружают нас повсюду: в голосовых помощниках, системах рекомендаций в YouTube и Netflix, медицинской диагностике, беспилотных автомобилях и многих других областях. По данным McKinsey, более 78% компаний по всему миру используют ИИ хотя бы в одном бизнес-процессе.
Основные концепции
Нейронная сеть состоит из узлов (нейронов), объединенных в слои. Каждый нейрон принимает несколько входных значений, умножает их на веса, прибавляет смещение (bias) и передает результат через функцию активации. Функция активации определяет, «сработает» ли нейрон и с какой силой.
Слои бывают трех типов:
- Входной слой — принимает исходные данные: пиксели изображения, токены текста, числовые признаки.
- Скрытые слои — обрабатывают данные и поэтапно извлекают все более сложные признаки. Именно их количество делает сеть «глубокой».
- Выходной слой — формирует результат: класс объекта, вероятность события, сгенерированный текст.
В зависимости от наличия разметки в данных различают три подхода к обучению:
- С учителем — модель обучается на размеченных данных, где для каждого примера известен правильный ответ. Например, фотографии кошек и собак с подписями. Задача — минимизировать ошибку предсказания.
- Без учителя — модель ищет скрытые закономерности в неразмеченных данных. Например, группирует похожие примеры, генерирует новые или сжимает изображения.
- С подкреплением — модель получает награду за правильные действия и штраф за ошибки. Используется в игровых агентах и робототехнике.
Глубокое обучение применяется к самым разным типам данных: изображениям, тексту, аудио, временным рядам и их комбинациям (мультимодальные модели).
Архитектуры нейронных сетей
За десятилетия развития глубокого обучения сложилось несколько ключевых архитектур, каждая из которых оптимальна для определенного типа задач:
- Полносвязные сети (Fully Connected Networks, FCN) — базовая архитектура, в которой каждый нейрон связан со всеми нейронами следующего слоя. Хорошо работают с табличными данными, но неэффективны для изображений и текстов из-за огромного числа параметров.
- Сверточные нейронные сети (Convolutional Neural Networks, CNN) — специализированы для работы с изображениями. Вместо полных связей используют операцию свертки: небольшое «окно» скользит по изображению и выявляет локальные признаки — края, текстуры, фигуры. CNN лежат в основе систем распознавания лиц, медицинской диагностики по снимкам и автопилотов.
- Рекуррентные нейронные сети (Recurrent Neural Networks, RNN) — обрабатывают последовательные данные, сохраняя «память» о предыдущих шагах. Их развитием стали LSTM (Long Short-Term Memory) и GRU (Gated Recurrent Unit) — архитектуры, которые лучше справляются с длинными зависимостями в тексте или временных рядах, а также с прогнозированием различных событий.
- Трансформеры (Transformers) — архитектура, предложенная в 2017 году в статье «Внимание — это все, что вам нужно». Обрабатывает весь текст одновременно и для каждого слова вычисляет степень его связи с остальными словами (механизм внимания). Трансформеры стали основой всех современных больших языковых моделей и систем обработки естественного языка. Отлично масштабируются, умеют обучаться на огромных объемах данных и поддерживают длинный контекст.
- Генеративно-состязательные сети (Generative Adversarial Networks, GAN) — состоят из двух соревнующихся сетей: генератора, который создает новые данные, и дискриминатора, который отличает реальные данные от сгенерированных. GAN используются для генерации реалистичных изображений, видео и синтеза голоса.
- Диффузионные модели (Diffusion Models) — зашумляют изображение, а затем восстанавливают его из шума. Сегодня это основной вид моделей для генерации изображений и видео.
- Автоэнкодеры (Autoencoders) — сжимают данные в компактное представление (кодирование), а затем восстанавливают их (декодирование). Применяются для поиска аномалий, шумоподавления и генерации данных.
Этапы глубокого обучения
Глубокое обучение модели — итеративный процесс, то есть после проверки результата часто приходится возвращаться к предыдущим этапам. Среди этих этапов можно выделить следующие:
-
Подготовка данных
Под выбранные задачи подбираются релевантные данные, их очищают от ошибок и дубликатов, размечают (если нужно) и аугментируют — искусственно расширяют датасет. Например, для изображений применяют повороты, отражения и изменение яркости. Затем данные делят на три части:
- тренировочная — для обучения модели;
- валидационная — для подбора настроек и контроля качества в процессе обучения;
- тестовая — для финальной независимой оценки модели.
-
Выбор архитектуры
В зависимости от типа данных (изображения, текст, звук) выбирают подходящую архитектуру. Сегодня почти всегда начинают с готовой предобученной модели и лишь адаптируют ее под свою задачу. Определяют количество слоев, механизмы внимания, функции активации и другие параметры.
-
Обучение
Это основной и самый длительный этап. Модель обучается по следующему циклу:
- Прямой проход — небольшие порции данных (мини-батчи) проходят через сеть, и модель выдает предсказания («на фото, скорее всего, кошка — 92 %»).
- Вычисление ошибки — сравнение предсказаний модели с правильными ответами и измерение того, насколько сильно она ошиблась (функция потерь).
- Обратный проход — модель «понимает», в каких местах и почему ошиблась, и вычисляет, как нужно изменить веса, чтобы ошибка уменьшилась.
- Обновление весов — с помощью оптимизатора (например, Adam) веса модели немного корректируются.
Этот цикл может повторяться тысячи и миллионы раз. При дообучении готовых моделей обычно достаточно 3–10 эпох (полных проходов по датасету). Чем лучше данные и модель, тем меньше нужно повторений.
-
Оценка и валидация
Модель регулярно проверяют на валидационной выборке. В конце оценивают качество на тестовой выборке. Анализируют ошибки, ищут признаки переобучения (слишком хорошо запомнила тренировочные примеры и не работает с новыми) или недообучения (не может определить базовые закономерности).
-
Настройка гиперпараметров
Модель и технология обучения донастраиваются в зависимости от результатов прошлого этапа. Например, меняют скорость обучения, размер мини-батча, количество слоев и другие параметры. При переобучении применяют Dropout (случайное отключение нейронов), штрафы за большие веса или Early Stopping (автоматическая остановка обучения, когда качество на валидации перестает расти).
-
Финальная подготовка
Модель готовят к реальной работе: для ускорения уменьшают точность весов, удаляют ненужные связи, настраивают экспорт результатов в удобный формат и так далее. Цель — адаптировать модель для работы с пользователем.
-
Развертывание и сопровождение
Модель интегрируют в приложение или сервис. После запуска начинается постоянный мониторинг: отслеживают качество, выявляют дрейф данных и при необходимости дообучают модель на новых данных.
Инструменты и фреймворки
Для разработки моделей глубокого обучения используют специализированные фреймворки:
- PyTorch — наиболее популярный фреймворк в исследовательской среде и при разработке современных моделей. Отличается гибкостью и удобной отладкой благодаря динамическому вычислительному графу. Сегодня на PyTorch строится большинство новых исследований и передовых моделей.
- TensorFlow — мощный фреймворк от Google, ориентированный на производство и крупномасштабные системы. Обладает зрелой экосистемой для развертывания, позволяет запускать написанный код на разных бэкендах.
- Keras — высокоуровневый API поверх TensorFlow. Позволяет быстро прототипировать модели с минимальным количеством кода.
- JAX — библиотека от Google для высокопроизводительных вычислений с автодифференцированием. Популярна в научных исследованиях, при работе с очень большими моделями и когда нужна максимальная скорость.
- Hugging Face Transformers — стандарт для работы с предобученными моделями. Предоставляет тысячи готовых моделей для NLP, компьютерного зрения, аудио и мультимодальных задач. Упрощает дообучение и обмен моделями.
Обучение глубоких моделей требует значительных вычислительных ресурсов. Для ускорения используют GPU — графические процессоры, которые параллельно обрабатывают тысячи операций. Для самых крупных моделей применяют TPU (Tensor Processing Unit) — специализированные чипы, оптимизированные под матричные вычисления. Облачные платформы позволяют получить доступ к нужным мощностям без покупки оборудования и масштабировать ресурсы под задачу.
Применения глубокого обучения
Почти везде, где есть большие данные и сложные паттерны, которые трудно описать правилами вручную, хорошо себя проявляет Deep Learning. Такие модели особенно эффективны в следующих областях:
- Компьютерное зрение — распознают объекты на фотографиях, сегментируют изображения, идентифицируют лица и анализируют медицинские снимки. Системы компьютерного зрения используются в контроле качества на производстве, охране и розничной торговле.
- Обработка естественного языка — переводят тексты, отвечают на вопросы, анализируют тональность отзывов и генерируют контент. Подробнее в статье про NLP.
- Речь и аудио — распознают речь и преобразуют ее в текст, синтезируют голос, разделяют голоса нескольких говорящих.
- Рекомендательные системы — анализируют поведение пользователей и предлагают релевантный контент: фильмы, товары, статьи. Именно глубокое обучение стоит за рекомендациями в стриминговых сервисах и маркетплейсах.
- Развлечения и медиа — генерируют изображения, видео и музыку, а также редактируют подобный контент. Отдельным особняком стоят технологии Deep Learning Super Sampling (DLSS), позволяющие повысить производительность в играх за счет улучшения изображения и генерации дополнительных кадров.
- Медицина и биоинформатика — диагностируют заболевания по снимкам МРТ и КТ, предсказывают структуру белков (AlphaFold), анализируют геномные данные.
- Автономные системы — беспилотные автомобили используют глубокое обучение для распознавания дорожной обстановки, пешеходов и знаков. Роботы обучаются манипуляциям с объектами через взаимодействие со средой, что может использоваться в производственных процессах.
- Финансы и маркетинг — выявляют мошеннические транзакции, прогнозируют спрос, персонализируют рекламу и оценивают кредитные риски.
Вызовы и ограничения
Глубокое обучение сопряжено с рядом серьезных ограничений, которые крайне сложно, а иногда и невозможно обойти в текущей парадигме разработки искусственного интеллекта:
- Вычислительные затраты — обучение крупных моделей требует значительных затрат на GPU и недель работы. Это делает разработку дорогостоящей и недоступной для небольших команд без облачной инфраструктуры. Среди экспертов есть мнение, что для решения проблемы нужно заимствовать принцип работы человеческого мозга, хотя консенсус по корректному сравнению энергоэффективности ИИ и мозга пока не достигнут.
- Ограничения в мышлении — на текущий момент мы не можем обучить модель по-настоящему надежному логическому мышлению и причинно-следственным связям. Многие эксперты считают, что это фундаментальная проблема нынешних методов обучения, и людям придется придумать нечто новое.
- Проблема «черного ящика» — даже разработчикам модели сложно объяснить, почему их детище принимает те или иные решения (особенно в глубоких слоях). Это критично в медицине, юриспруденции и финансах, где требуется прозрачность. Область интерпретируемого ИИ (XAI) активно развивается, но универсального решения пока нет.
- Забывание знаний при непрерывном обучении — модель не может учиться непрерывно, как это умеет человек. При получении новых знаний она отдает им приоритет и теряет старые. Этот феномен называется катастрофическое забывание (catastrophic forgetting), и в чистом глубоком обучении он нерешаем — приходится использовать сложные трюки, например, методы защиты критически важных знаний.
- Уязвимость перед атаками — специально подобранные входные данные способны обмануть модель. Незаметное для человека изменение пикселей изображения и едва различимые звуки на аудио могут заставить нейронную сеть ошибиться в классификации. Такой вид атак называется Adversarial attack, и универсального способа борьбы с ними еще не придумали.
- Предвзятость алгоритмов — модель воспроизводит предвзятость, заложенную в обучающих данных. Например, система найма, обученная на исторических данных компании, может дискриминировать определенные группы кандидатов.
- Нехватка размеченных данных — для многих специализированных задач (медицина, редкие языки) качественных размеченных данных просто не существует в нужном объеме. Также мы уже близки к исчерпанию высококачественного человеческого контента в интернете, а на синтетических данных модели деградируют. Это значит, что скоро мы достигнем потолка качества моделей, если не придумаем что-то новое.
Инструменты глубокого обучения в Yandex Cloud
Yandex Cloud предоставляет инфраструктуру и сервисы для разработки и развертывания моделей глубокого обучения:
-
Yandex AI Studio — платформа для создания и внедрения ИИ-решений. Включает:
- Model Gallery — коллекция готовых предобученных моделей для задач компьютерного зрения, NLP и генерации контента. Подробнее в документации.
- Agent Atelier — среда для создания ИИ-агентов на базе моделей глубокого обучения. Подробнее в документации.
- SpeechKit — технологии распознавания и синтеза речи на базе нейронных сетей. Подробнее в документации.
-
Yandex DataSphere — среда для разработки, обучения и дообучения собственных моделей глубокого обучения с доступом к GPU. Подробнее в документации.
-
Yandex Vision OCR — сервис компьютерного зрения на базе нейронных сетей для распознавания текста, объектов и лиц на изображениях. Подробнее в документации.