Основы машинного обучения: задачи, методы, этапы и инструменты

Машинное обучение — это область искусственного интеллекта, в которой алгоритмы обучаются на данных, выявляют скрытые паттерны и делают предсказания без явного программирования.

27 августа 2025 г.

20 минут чтения

Краткий пересказ YandexGPT

Машинное обучение (ML) широко применяется в рекомендательных системах, голосовых ассистентах, диагностике заболеваний, выявлении мошеннических транзакций, прогнозировании спроса и анализе медицинских снимков.
Среди основных категорий задач ML: классификация, регрессия, кластеризация, уменьшение размерности, выявление аномалий, рекомендательные системы, обработка естественного языка и компьютерное зрение.
Виды машинного обучения различаются по способу получения знаний из данных: обучение с учителем, без учителя и с частичным участием учителя, с подкреплением и глубокое обучение.
Этапы создания ML-модели — постановка задачи, сбор данных, предобработка данных, разделение данных на обучающую, валидационную и тестовую выборки, выбор и обучение модели, валидация и тонкая настройка, оценка модели на тестовой выборке, развёртывание и мониторинг.
При разработке моделей машинного обучения могут возникать типичные проблемы — переобучение, недообучение, смещение и разброс, проклятие размерности, этика и предвзятость.

Тезисы сформулированыYandexGPT

Спасибо!

К 2025 году рынок машинного обучения оценивался в $94,35 млрд. Технологии ML уже работают в рекомендательных системах стриминговых сервисов, голосовых ассистентах смартфонов и системах диагностики заболеваний. Около 35% продаж Amazon генерирует именно рекомендательная модель, а алгоритмы DeepMind снизили энергопотребление дата‑центров Google на 40%.

В России машинное обучение активно применяют банки для выявления мошеннических транзакций, ритейлеры — для прогнозирования спроса, а медицинские центры — для анализа снимков МРТ.

Наш сервис Yandex DataSphere предоставляет среду для ML‑разработки полного цикла: от вычисления и обучения моделей до развёртывания и эксплуатации обученных моделей и любых Docker^®‑образов в качестве сервиса.

В статье расскажем об основных задачах машинного обучения, методах их решения, этапах разработки моделей и типичных проблемах, с которыми сталкиваются специалисты. Также рассмотрим популярные инструменты и покажем, как облачные технологии упрощают работу с ML.

Основные задачи машинного обучения

Алгоритмы машинного обучения работают с разными типами данных: текстом, изображениями, числовыми значениями. Выбор метода зависит от решаемой задачи — будь то фильтрация спама или диагностика заболеваний. Основные подходы включают классификацию, регрессию, кластеризацию и другие методы. Существует восемь основных категорий задач машинного обучения, каждая со своими техническими особенностями.

Классификация

Классификация определяет, к какой категории относится объект. Алгоритм анализирует признаки объекта — числовые характеристики, описывающие его свойства — и выбирает подходящий класс из заранее известного набора.

Почтовые сервисы классифицируют письма на спам и не спам, банки определяют кредитоспособность клиентов, а системы компьютерного зрения распознают объекты на фотографиях. В медицине классификаторы помогают диагностировать заболевания по результатам анализов, а в кибербезопасности — выявлять вредоносный трафик.

Регрессия

Регрессия предсказывает непрерывное числовое значение. Если классификация отвечает на вопрос «К какой категории относится объект?», то регрессия — на «Какое конкретное число соответствует объекту?».

Модели регрессии прогнозируют стоимость квартир по площади и расположению, предсказывают нагрузку на серверы в следующем месяце или оценивают время доставки заказа. Ритейлеры используют её для прогнозирования спроса на товары, а финансовые аналитики — для предсказания курсов валют.

Кластеризация

Кластеризация группирует похожие объекты без заранее известных категорий. Алгоритм самостоятельно находит закономерности в данных и объединяет схожие элементы. Маркетологи кластеризуют клиентов для персонализации предложений, новостные агрегаторы автоматически группируют статьи по темам, а исследователи анализируют геномные данные для поиска связей между генами.

В отличие от классификации, где модель учится на размеченных примерах, кластеризация работает с неразмеченными данными.

Уменьшение размерности

Снижение размерности сокращает количество признаков в данных, сохраняя ключевую информацию. Метод главных компонент и другие алгоритмы выделяют наиболее важные характеристики и отбрасывают избыточные. Это ускоряет обучение моделей, позволяет визуализировать многомерные данные на двумерных графиках и устраняет шум.

Биоинформатики применяют снижение размерности для анализа экспрессии тысяч генов, а специалисты по обработке изображений — для сжатия и ускорения распознавания.

Выявление аномалий

Поиск аномалий обнаруживает нетипичные паттерны в данных. Модель изучает нормальное поведение системы и сигнализирует об отклонениях. Банки выявляют подозрительные транзакции по необычным тратам клиента, промышленные компании предсказывают поломки оборудования по аномальным показателям датчиков, а системы кибербезопасности обнаруживают вторжения по нестандартному сетевому трафику. Алгоритмы аномалий часто работают в реальном времени, мгновенно реагируя на отклонения.

Обработка естественного языка

NLP (Natural Language Processing — обработка естественного языка) позволяет вычислительным моделям понимать и генерировать человеческий язык. Языковые модели классифицируют тональность отзывов, переводят тексты и извлекают имена и даты из документов. Они также создают краткие изложения длинных статей и ведут диалоги в чат‑ботах. Современные архитектуры трансформеров с механизмами внимания анализируют контекст, улучшая качество переводов, анализ социальных сетей и обучающих систем. При этом сохраняются нерешённые задачи: обработка редких языков, устранение предвзятости моделей и обеспечение точности в медицине и юриспруденции.

Компьютерное зрение

Компьютерное зрение анализирует изображения и видео с помощью моделей машинного обучения. Основные задачи включают классификацию изображений — когда алгоритм определяет, что изображено на фото. Например, модель различает, кошка это или собака. Также модели обнаруживают объекты — находят их расположение и определяют, что именно это за объекты. Семантическая сегментация идёт дальше — она точно выделяет границы каждого объекта на уровне отдельных пикселей.

Для задач распознавания текста на изображениях существуют специализированные сервисы. Например, Yandex Vision OCR распознаёт печатный и рукописный текст на 48 языках, извлекает данные из документов и автомобильных номеров. Сервис также распознаёт структуру таблиц и возвращает текст с координатами строк и столбцов.

Современные модели — свёрточные нейронные сети и трансформеры — демонстрируют высокую точность в различных областях. Беспилотные автомобили используют эти модели для навигации, медицинские системы — для анализа рентгеновских снимков и МРТ. Города внедряют интеллектуальные камеры для мониторинга дорожного движения. На специализированных задачах, например в выявлении определённых типов рака, точность моделей может превосходить человеческую.

Эти восемь типов задач покрывают большинство применений машинного обучения. Но для их решения используют разные подходы к обучению моделей.

Виды машинного обучения

Методы машинного обучения различаются по способу получения знаний из данных. Выбор подхода зависит от типа доступной информации и конкретной задачи.

Обучение с учителем

При обучении с учителем модель учится на размеченных примерах — данных с известными правильными ответами. Алгоритм находит зависимость между входными признаками и целевой переменной, чтобы предсказывать ответы для новых объектов.

Классификация писем на спам и не спам происходит именно так: модель обучается на тысячах писем с метками и затем определяет категорию новых сообщений. К этому типу относятся задачи классификации и регрессии. Обучение с учителем даёт высокую точность, но требует больших затрат на разметку данных.

Обучение без учителя

Обучение без учителя работает с неразмеченными данными. Алгоритм самостоятельно находит структуры и закономерности без подсказок о правильных ответах.

Кластеризация покупателей по поведению, поиск ассоциативных правил в покупательских корзинах и сжатие данных — типичные задачи этого подхода. Модели без учителя помогают исследовать новые датасеты, находить скрытые паттерны и готовить данные для дальнейшего анализа. Главное преимущество — не нужна дорогостоящая разметка.

Обучение с частичным участием учителя

Полуконтролируемое обучение комбинирует оба подхода: использует небольшое количество размеченных данных вместе с большим объёмом неразмеченных. Алгоритм сначала изучает общую структуру всех данных, а затем уточняет модель на размеченных примерах.

Метод экономит ресурсы на разметку и часто даёт лучшие результаты, чем обучение только на малом размеченном датасете. Компании применяют его для классификации документов, распознавания речи и анализа медицинских изображений.

Обучение с подкреплением

В обучении с подкреплением (RL — Reinforcement Learning) модель учится через взаимодействие со средой. Вместо готовых примеров модель получает награды или штрафы за свои действия и постепенно вырабатывает оптимальную стратегию. Именно благодаря такому обучению AlphaGo победила чемпионов мира в го, а DeepMind оптимизировала охлаждение центров обработки данных Google и снизила энергопотребление на 40%.

Современное применение обучения с подкреплением выходит за рамки игр. Роботы учатся сложным манипуляциям, алгоритмы управляют портфелями на бирже, а системы оптимизируют логистику и производственные процессы. Метод RLHF — обучение с подкреплением на основе обратной связи от людей — помог создать ChatGPT: модель дообучали на оценках качества ответов от экспертов.

Глубокое обучение

Глубокое обучение использует искусственные нейросети с множеством слоёв для автоматического выделения сложных признаков из данных. Этот подход преобразовал компьютерное зрение (свёрточные нейронные сети), обработку языка (трансформеры) и генеративные задачи. Свёрточные нейронные сети распознают изображения лучше классических алгоритмов, а трансформеры породили эру больших языковых моделей — систем, способных понимать и генерировать человеческий текст.

Хотя глубокие модели требуют значительных вычислительных ресурсов и больших наборов данных, они позволяют решать задачи, недоступные традиционным методам. Современные практики включают transfer learning и тонкую настройку предварительно обученных моделей. Фреймворки TensorFlow и PyTorch^® упрощают разработку и оптимизацию нейросетей.

Понимание различных видов обучения помогает выбрать правильный инструмент для конкретной задачи. А чтобы разобраться, как эти методы работают на практике, рассмотрим базовые принципы машинного обучения.

Как устроено машинное обучение

Машинное обучение основано на идее, что алгоритм может научиться выполнять задачу без явного программирования каждого шага. Вместо написания правил вручную мы показываем алгоритму примеры и позволяем ему найти закономерности самостоятельно.

В основе лежит математическая модель — функция с настраиваемыми параметрами. Процесс обучения заключается в подборе таких значений параметров, при которых модель даёт наиболее точные предсказания. Алгоритм оптимизации постепенно улучшает параметры, минимизируя ошибку между предсказаниями модели и известными ответами.

Качество модели оценивают на данных, которые не использовались при обучении. Это позволяет проверить способность алгоритма обобщать знания на новые примеры. Если модель хорошо работает только на обучающих данных, но плохо на новых — она переобучилась и запомнила примеры вместо выявления общих закономерностей.

Создание работающей ML‑модели — это структурированный процесс, который проходит через несколько обязательных этапов.

Этапы создания ML‑модели

Постановка задачи	Первый шаг, определяющий успех всего проекта. Нужно чётко сформулировать, что именно должна предсказывать модель, какие данные доступны и какая точность приемлема. Например, задача «предсказывать отток клиентов за месяц до ухода с точностью 85%» сразу определяет тип модели — бинарный классификатор — и целевую метрику. На этом этапе также оценивают бизнес‑эффект от внедрения и определяют ограничения по скорости работы и ресурсам.
Сбор данных	Качество данных определяет потолок возможностей модели. Данные собирают из внутренних систем компании, открытых источников, через API внешних сервисов или генерируют специально. Для задачи про отток клиентов понадобятся история транзакций, активность в приложении, обращения в поддержку и демографические характеристики. Важно собрать достаточный объём репрезентативных данных, охватывающих разные сценарии использования.
Предобработка данных	Сырые данные редко готовы к обучению модели. Предобработка включает очистку от ошибок и дубликатов, заполнение пропущенных значений, преобразование категориальных признаков в числовые и нормализацию числовых колонок. На этом этапе также создают новые признаки — например, вычисляют среднюю сумму покупок клиента за последний месяц или количество дней с момента последней активности. Качественная предобработка может улучшить результат больше, чем выбор сложного алгоритма.
Разделение данных	Данные делят на три части: обучающую выборку для тренировки модели, валидационную — для настройки гиперпараметров и тестовую — для финальной оценки качества. Типичное соотношение — 60/20/20 или 80/10/10 в зависимости от объёма данных. При разделении важно сохранить пропорции классов и учесть временную структуру — например, не использовать будущие данные для предсказания прошлых событий.
Выбор и обучение модели	На обучающей выборке пробуют разные алгоритмы: логистическую регрессию как базовый вариант, затем деревья решений, случайный лес, градиентный бустинг или нейросети. У каждого алгоритма свои сильные стороны — линейные модели интерпретируемы, деревья хорошо работают с категориальными признаками, а нейросети выделяют сложные нелинейные зависимости. Модель обучается итеративно: алгоритм оптимизации подбирает параметры, минимизирующие ошибку предсказания.
Валидация и тонкая настройка	После первичного обучения модель проверяют на валидационной выборке и настраивают гиперпараметры — глубину деревьев, коэффициент регуляризации, скорость обучения. Используют поиск по сетке, случайный поиск или байесовскую оптимизацию. Также применяют кросс‑валидацию — многократное переобучение на разных разбиениях данных для более надёжной оценки. На этом этапе борются с переобучением через регуляризацию, отбор признаков или упрощение модели.
Оценка модели на тестовой выборке	Финальное тестирование показывает реальное качество модели на данных, которые она никогда не видела. Для классификации считают точность, полноту, F1‑меру и строят матрицу ошибок. Для регрессии — среднеквадратичную ошибку и коэффициент детерминации. Также проверяют устойчивость к выбросам и корректность работы на граничных случаях. Если результаты неудовлетворительные, возвращаются к предыдущим этапам.
Развёртывание и мониторинг	Готовую модель интегрируют в продуктовую среду — разворачивают как веб‑сервис, встраивают в мобильное приложение или запускают в потоковой обработке данных. Настраивают мониторинг качества предсказаний, скорости ответов и потребления ресурсов. Со временем данные меняются, и модель начинает работать хуже — это называется дрейфом концепта. Поэтому организуют регулярное переобучение на свежих данных и A/B‑тестирование новых версий.

Разработка модели машинного обучения — это последовательный процесс от постановки задачи до развёртывания в продакшн‑среде. Каждый этап критически важен для конечного результата. Но даже при тщательном следовании всем этапам разработчики сталкиваются с типичными проблемами машинного обучения.

Проблемы в ML

Создание эффективных моделей машинного обучения сопряжено с рядом фундаментальных вызовов. Понимание этих проблем помогает избежать типичных ошибок и построить надёжные решения.

Переобучение

Переобучение возникает, когда модель слишком точно подстраивается под обучающие данные и теряет способность работать с новыми примерами.

Представьте студента, который выучил ответы на конкретные экзаменационные вопросы, но не понимает предмет — на экзамене с другими формулировками он провалится. Переобученная модель распознавания кошек может запомнить конкретные фотографии из обучающей выборки вместо того, чтобы выучить общие признаки кошек.

Борются с переобучением через регуляризацию, увеличение объёма данных, упрощение модели и применение техник вроде dropout в нейросетях.

Недообучение

Недообучение — противоположная проблема, когда модель слишком простая и не улавливает важные зависимости в данных. Попытка предсказать сложную кривую линейной функцией приведёт к большим ошибкам как на обучающих, так и на новых данных.

Решение — усложнить модель, добавить новые информативные признаки или выбрать более мощный алгоритм. Например, перейти от линейной регрессии к полиномиальной или от простого дерева решений — к ансамблю.

Смещение и разброс

Это фундаментальная дилемма машинного обучения. Модели с высоким смещением упрощённо представляют реальность и систематически ошибаются — это недообучение. Модели с высоким разбросом слишком чувствительны к конкретным примерам в обучающих данных — это переобучение.

Идеальная модель балансирует между этими крайностями. Ансамблевые методы помогают найти баланс: бэггинг снижает разброс, объединяя предсказания многих моделей, а бустинг уменьшает смещение, последовательно исправляя ошибки слабых алгоритмов.

Проклятие размерности

С ростом числа признаков экспоненциально растёт объём данных, необходимый для обучения качественной модели. В многомерном пространстве все точки становятся одинаково далёкими друг от друга, и понятие близости теряет смысл. Текстовые данные с миллионами признаков‑слов или геномные данные страдают от этой проблемы.

Методы снижения размерности, отбор важных признаков и регуляризация помогают справиться с проклятием. Глубокие нейросети частично решают проблему, автоматически выделяя информативные представления из высокоразмерных данных.

Этика и предвзятость

Модели наследуют предвзятости из данных, на которых обучаются. Алгоритм найма Amazon дискриминировал женщин, потому что учился на резюме из прошлого, где большинство принятых кандидатов были мужчинами. Системы оценки риска в судах США давали завышенные оценки для афроамериканцев.

Предвзятость возникает из‑за нерепрезентативных выборок, исторических предрассудков в данных или некорректной постановки задачи. Решение требует аудита данных на справедливость, балансировки выборок, использования метрик fairness и привлечения разнообразных команд к разработке.

Эти проблемы универсальны для машинного обучения независимо от инфраструктуры. Но правильный выбор платформы может существенно упростить их решение.

Машинное обучение и облако

Облачные платформы кардинально изменили подход к разработке ML‑решений. Вместо закупки дорогостоящего оборудования и настройки инфраструктуры команды получают готовые инструменты и масштабируемые ресурсы по требованию.

Обучение современных моделей требует значительных вычислительных мощностей — GPU для нейросетей, большие объёмы памяти для обработки данных, распределённые системы для параллельных вычислений. Облако предоставляет эти ресурсы за минуты: можно арендовать кластер из сотен GPU на время обучения модели и отключить после завершения, платя только за использованное время.

Yandex DataSphere объединяет привычный интерфейс Jupyter^® Notebook с масштабируемой инфраструктурой. Разработчики пишут код в браузере, а вычисления выполняются на мощных серверах в облаке. Сервис автоматически настраивает окружение, устанавливает библиотеки и предоставляет доступ к GPU. Обученные модели разворачиваются как API одной кнопкой, без настройки серверов и балансировщиков нагрузки.

Кроме инфраструктуры, облако упрощает работу с данными. Объектные хранилища вмещают петабайты информации, управляемые базы данных обеспечивают быстрый доступ, а сервисы потоковой обработки позволяют обучать модели на данных в реальном времени. Встроенные инструменты мониторинга отслеживают качество моделей в продакшне и сигнализируют о деградации.

Для эффективной работы с машинным обучением нужны правильные инструменты — от языков программирования до специализированных библиотек.

Команда Yandex Cloud

В этой статье:

Основные задачи машинного обучения
Виды машинного обучения
Как устроено машинное обучение
Проблемы в ML
Популярные инструменты и библиотеки ML
Машинное обучение и облако