Распознанные и проанализированные нейросетью изображения рыб
Нейросети и колюшка: как технологии помогают изучать рыб
Рассказываем о том, как проект Yandex Cloud и СПбГУ помогает оценить динамику популяции колюшки для изучения экосистемы водоёмов и понимания численности рыб.
13 марта 2025 г.
15 минут чтения
Краткий пересказ YandexGPT
- Трёхиглая колюшка — небольшая рыба размером от 5 до 7 см, распространённая в морях Атлантического, Северного Ледовитого и Тихого океанов, а также в связанных с ними реках и озёрах.
- Колюшка играет важную роль в экосистеме, так как служит источником питания для многих животных.
- Учёные СПбГУ совместно с Yandex Cloud разработали нейросеть для анализа поведения колюшки в море на основе видеозаписей.
- Нейросеть позволяет обрабатывать большие объёмы данных быстро и эффективно, определяя количество, размеры, направление движения рыб и расстояние от объектива до рыбы.
- Модель уже обработала снимки более 340 000 рыб и продолжает активно использоваться учёными.
- Планируется обработать все собранные в 2021–2024 годах данные и опубликовать результаты в международных научных журналах.
- В 2025 году планируется новый полевой сезон на Белом море для сбора дополнительного материала.
Трёхиглая колюшка — это небольшая рыба, взрослые особи в среднем достигают размера от 5 до 7 см. Имеют на теле несколько колючек: три на спине и по одной с каждого бока на брюшке. Распространена очень широко: в морях Атлантического, Северного Ледовитого и Тихого океанов и в связанных с ними реках и озёрах.
Колюшка играет важную роль в экосистеме, так как служит объектом питания для других животных: её охотно поедают водные насекомые, пиявки, лягушки, ужи, болотные черепахи, хищные рыбы и птицы, млекопитающие. Например, в Белом море колюшка формирует значительную часть кормовой базы трески и керчака, сельди и наваги.
Традиционно колюшку ловили с целью изготовления из неё высококачественного жира без запаха. Рыбий жир давали детям для профилактики различных болезней, также он способствовал очистке сосудов. Применяли его и наружно — он помогал быстро заживлять раны и ожоги. Кроме того, жир колюшки использовали в технических целях. Отходы от его производства перерабатывали в кормовую муку для животноводства, а также применяли в производстве удобрений.
«Изучением биологии колюшки в СПбГУ занимаются уже 20 лет. В том числе изучают её поведение в море с помощью видеосъёмки. Для таких работ нужно анализировать огромные объёмы видеозаписей, делать это вручную практически невозможно. Процесс нужно было автоматизировать, и мы договорились о сотрудничестве с Центром технологий для общества Yandex Cloud».
Будущая модель должна была определять не только количество рыб на фотографии, но и их размеры, направление движения в кадре, расстояние от объектива до рыбы. Такие задачи требуют времени, ресурсов и больших объёмов данных. По итогу совместной работы была разработана нейросеть, которая позволила обрабатывать материал и получать данные удобным и быстрым способом.
Какое реализовали решение
В команде проекта учёные биофака СПбГУ отвечали за постановку задачи, сбор и предоставление данных, помощь с разметкой и оценку результата. Студенты программы «Науки о данных» Яндекс Образования в СПбГУ занимались разметкой, классификацией и написанием кода. Yandex Cloud предоставила экспертов, предложила архитектуру решения и ресурсы для развёртывания системы в облаке.
Эксперты Yandex Cloud и студенты проанализировали большой объём видеоматериала с предыдущих экспедиций — более одного миллиона изображений с подводных камер в Белом море. С помощью выделения конкретных объектов на фотографиях разметили данные, написали и обучили нейросеть.
Сейчас модель может обработать целый день съёмки, 9–18 тысяч кадров, за 3–5 часов (вместо тысячи часов вручную) и предоставить данные в удобном для дальнейшего анализа виде. В 2023 году с её помощью удалось обнаружить и зафиксировать более 340 000 рыб. Модель продолжают активно использовать, её передали для работы учёным.
Дальнейшее развитие проекта
Команда проекта планирует обработать с помощью нейросети весь собранный в 2021–2024 годах полевой материал — и опубликовать результаты работы в международных научных журналах. Кроме того, данные о проекте лягут в основу научной работы о суточных миграциях трёхиглой колюшки в прибрежной зоне Кандалакшского залива Белого моря.
Также в 2025 году планируется полевой сезон на Белом море для сбора дополнительного материала, который тоже пройдёт все этапы обработки.
Центр технологий для общества Yandex Cloud реализует социально значимые проекты в области образования и науки, здравоохранения, экологии и культуры. Если у вас есть похожие проекты, заполните заявку.
