Регион, где происходит Эль-Ниньо
К чему приводит природное явление Эль-Ниньо и как инструменты Yandex Cloud помогают его предсказывать
Рассказываем, какие технологии используются для того, чтобы увеличить срок прогнозирования природной аномалии в Тихом океане. И как учёные из Высшей школы экономики и Школы анализа данных Яндекса построили модель, которая предсказывает Эль-Ниньо.
«Эль-Ниньо» (El Niño) с испанского языка переводится как «мальчик» или «ребёнок». Так перуанские рыбаки, а за ними и климатологи назвали природный феномен — аномальное повышение температуры воды в центре Тихого океана. Научное название явления — южная осцилляция. Инженер-исследователь, выпускник ШАДа Никита Гущин рассказывает, зачем предсказывать Эль-Ниньо и почему даже нейросеть пока не помогает заглянуть дальше полутора лет.
Почему океан становится теплее
В нормальных условиях течение несёт холодные воды вдоль западного побережья нижней части Южной Америки. Пассаты — ветровые течения — отгоняют нагретый поверхностный слой в западную часть Тихого океана. Так холодные воды накапливаются на востоке, а тёплые — на западе. Поэтому у побережья Перу вода прогревается до 22−24 °C, а у берегов Австралии и Индонезии температура может достигать 30 °C.
В период Эль-Ниньо поток тёплых вод, наоборот, идёт к перуанским берегам, а холодные океанические воды поднимаются медленнее. Пассаты тоже ослабевают, и в результате поверхностные воды прогреваются на большей площади Тихого океана.
Впервые резкое потепление воды заметили в начале ХХ века рыбаки, которые ловили рыбу на западном побережье Южной Америки. В холодной воде много планктона, которым питаются рыбы, поэтому в такие периоды был хороший улов. А когда вода становилась теплее, количество рыбы сокращалось.
Во время Эль-Ниньо нагревается поверхностный слой воды в центре Тихого океана
На что влияет Эль-Ниньо и зачем его предсказывать
Изменение температуры океанических вод сильно влияет на жизнь людей в странах, близких к экватору. Климат становится теплее, но в разных регионах это приводит к разным последствиям. Например, на северо-западе Мексики, юго-востоке США, в Перу и Эквадоре воздух становится более влажным. В Колумбии, странах Центральной Америки, Индонезии, на Филиппинах и в северной Австралии климат, наоборот, становится суше. Так, в одних местах Эль-Ниньо приводит к наводнениям и необычным для регионов снегопадам, а в других — к засухам и лесным пожарам.
Это влияет на урожай и жизнь людей в целом. В результате возникают экономические и социальные проблемы. Засуха и последующее повышение цен на продукты, случившиеся в период Эль-Ниньо в 2007 году, вызвали беспорядки в Египте, Камеруне и на Гаити.
Также Эль-Ниньо приводит к всплеску заболеваний, которые переносят комары. В Индии, Венесуэле и Колумбии с циклами Эль-Ниньо связаны вспышки малярии, а в Кении и Сомали в 1997−1998 годах из-за сильных осадков в период Эль-Ниньо началась лихорадка долины Рифт.
Самые сильные периоды Эль-Ниньо были зафиксированы в 1982−1983, 1997−1998 и 2015−2016 годах.
Периоды Эль-Ниньо и обратного явления — Ла-Нинья, когда температура в экваториальной части Тихого океана опускается ниже нормы
Почему Эль-Ниньо сложно предсказать даже с помощью нейросети
Океанические воды могут нагреваться как раз в два года, так и раз в семь лет, и раньше это явление считалось непредсказуемым. К настоящему моменту учёные научились предсказывать Эль-Ниньо за полтора года.
На столько даёт прогноз и наша ML-модель, которую мы разработали с учёными из ВШЭ. По мнению климатологов, горизонт прогнозирования можно увеличить, но максимум до двух лет. Мы надеемся превысить этот срок.
Как снижается точность предсказания по месяцам. Точными считаются предсказания с корреляцией выше 0,5. На графике видно, что свёрточная нейронная сеть (CNN) даёт более точный прогноз, чем обычная (NN). Свёрточные сети больше подходят для обработки изображений.
Главная проблема в том, что у нас пока мало данных. Поэтому для обучения модели мы использовали и реальные исторические данные о температуре океана, и смоделированные синтетические.
Синтетические данные мы получили из климатической модели, построенной без ML — только на основе дифференциальных уравнений, с помощью которых физики описывают законы природы. Так мы моделировали поверхность океана 100 раз и получили 250 тысяч графиков с синтетическими данными. Хотя эти данные были не очень точными, они помогли ML-модели понять общие закономерности. А затем мы дообучили её на небольшом датасете реальных данных: порядка 2500 графиков, полученных в ходе ежемесячных наблюдений за температурой океана за последние 200 лет.
Благодаря использованию уравнений из физики наша модель понимает, что мы не просто работаем с картинками, а пытаемся вывести некий физический закон, согласно которому что-то в природе меняется. В результате она сама старается получить дифференциальное уравнение, решая которое, мы получим нужный прогноз.
Перед обучением моделей и реальные, и синтетические данные нужно было предобработать. Мы использовали сервис для ML-разработки Yandex DataSphere, где можно платить только за потребляемые ресурсы.
Нам понадобилось:
-
1 ТБ места в хранилище;
-
100 ГБ оперативной памяти;
-
32 процессора;
-
2 мощных сервера с видеокартами A100 — они позволяют обучать модель с большим количеством параметров.
Как преодолеть порог в два года
Мы пытались научить модель строить более долгосрочный прогноз с помощью более мощных и интересных моделей машинного обучения. Так, мы применяли методы из области разработки естественных языков — архитектуру нейронных сетей Transformer для временных рядов. Она хорошо работает на данных, которые представляют из себя последовательность. Например, такой тип архитектуры использует нейросеть ChatGPT. Но в нашем случае результаты остались на прежнем уровне.
Далее появилась гипотеза, что распутать длинные временные закономерности можно, разложив ряд на тренд (прямая, вдоль которой растёт температура) и сезонную компоненту (то, что остаётся после вычитания тренда). Поэтому сейчас мы активно работаем над моделью на основе архитектуры Autoformer, которая тоже хорошо справляется с последовательностями данных.
При этом мы заметили, что разные модели делают похожие предсказания. Важнее сами данные, и сейчас наша главная задача — понять, какие данные лучше использовать.