Как научить нейросеть считать яблоки и прогнозировать урожай

Биологический факультет МГУ вместе с консорциумом в составе ФНЦ имени Мичурина, Тамбовского государственного университета и агроинженерного центра ВИМ создали в Yandex Cloud полноценную систему мониторинга и прогнозирования урожая.

В России на данный момент не существует методов точной оценки величины урожая и систем для прогнозирования урожайности, которые бы учитывали наши погодные условия и сортовые особенности плодовых культур. При планировании агрономы вынуждены полагаться только на собственный опыт и крайне ограниченный набор данных.

В мире задачи прогнозирования урожая, планирования ресурсов и организации сквозного процесса производства плодов помогает решить «точное садоводство» — комплексная высокотехнологичная система управления производством плодов, основанная на технологиях:

• глобального геопозиционирования (GNSS);
• геоинформационных систем (GIS);
• дистанционного мониторинга состояния насаждений и урожая;
• внесения удобрений и средств защиты растений сообразно реальным потребностям растений;
• IT-систем поддержки принятия решений в садоводстве.

Этот комплекс технологий, объединённый в различных ИТ-системах, позволяет повысить урожайность и качество плодов, точнее планировать агротехнические операции, уменьшить негативное воздействие химических удобрений и пестицидов на окружающую среду. Всё это ведёт к оптимизации затрат, а значит и к повышению эффективности агробизнеса.

Биологический факультет МГУ уже давно занимается изучением важнейших проблем биологии и тесно соприкасающихся с ней проблем медицины, сельского и рыбного хозяйства, микробиологического производства, охраны биосферы и биотехнологии. Одним из направлений является дистанционный мониторинг растений. В 2020 году факультет вместе с консорциумом в составе ФНЦ имени Мичурина, Тамбовского государственного университета и агроинженерного центра ВИМ запустил работу над полноценной системой мониторинга и прогнозирования урожая.

Чтобы не разворачивать собственную инфраструктуру для хранения и обработки большого количества данных с помощью нейросетей и ML-алгоритмов, было решено использовать облачную платформу Yandex Cloud.

Для мониторинга растительности, в том числе культурных насаждений, применяются системы дистанционного зондирования из космоса, с самолетов, беспилотных летательных аппаратов. Этот подход хорошо показывает себя для полевых культур, но в саду нужно нечто большее, чем просто суммарная площадь листьев или их масса. Важно распознать и оценить буквально каждый плод, но съёмка с воздуха и тем более из космоса даёт недостаточно данных из-за низкого разрешения картинки.

В первую очередь нужны данные дистанционного зондирования — снимки растений, сделанные на разных расстояниях от них. Для сбора данных с близкого расстояния была разработана собственная робоплатформа, а также установлены камеры на имеющуюся технику, которая несколько раз в год объезжает все деревья в саду. Это позволяет получать фотографии в ходе всего вегетационного цикла, отображающие ключевые фазы развития растений: распускание листьев, цветение, завязывание и вызревание плодов — с учётом влияния внешних факторов. После того как трактор или платформа закончили объезд своей части сада, с них снимают камеры, подключают их к ноутбуку и загружают полученные фото в облачное хранилище. Туда же загружаются данные спутниковых снимков и снимков с беспилотников, если они есть. Например, многие хозяйства используют защитные сетки, что затрудняет съемку с БПЛА.

Кроме снимков, для полноценного мониторинга необходимы данные ГИС и геокоординаты для привязки полученных снимков к карте. Они используются для дифференциального сбора урожая, удобрения деревьев и применения защитных препаратов. Эти операции зависят от состояния растений, рельефа сада, характеристик почвы. В данный момент привязка GPS-данных производится вручную, но планируется использовать навигационные системы, которыми оборудованы тракторы.

Обработка данных в облаке

Для хранения и обработки такого большого количества данных используются различные сервисы Yandex Cloud:

• Yandex Object Storage — для хранения неограниченного объёма собранных данных, быстрого доступа к ним и последующей их обработки с помощью нейросетей и ML-алгоритмов.
• Yandex DataSphere — для ML-разработки и получения прогностической модели. Сервис предоставляет все необходимые инструменты и динамически масштабируемые ресурсы для полного цикла разработки машинного обучения.
• Yandex IoT Core — для обработки собранной телеметрии с IoT-устройств в почве и метеодатчиков.
• Yandex Cloud Functions — для обработки телеметрии и создания новых сервисов. В перспективе разработка web-приложения, с помощью которого специалисты заказчика, хорошо знающие предметную область, смогут вносить дополнительные сведения, уточняющие прогнозы.
• Yandex DataLens — для построения и предоставления пользователям аналитики и отчетов в веб-дашборде. С его помощью, например, демонстрируются метеоданные в виде графиков и таблиц, а также расположение деревьев на карте с оценками урожая.

Также были задействованы управляемые сервисы платформы данных Yandex Cloud:

• Yandex Managed Service for Apache Kafka^® — для хранения и обработки данных в реальном времени.
• Yandex Data Processing — для обработки многотерабайтных массивов данных с использованием.
• Yandex Managed Service for MongoDB — для хранения количественных данных.
• Yandex Managed Service for ClickHouse — для хранения справочных данных.

Использование всего пайплайна сервисов Yandex Cloud позволило сосредоточиться на разработке системы мониторинга и робоплатформы и не отвлекаться на создание и поддержку инфраструктуры под неё. Система была протестирована на площадках в ботаническом саду МГУ и в экспериментальном саду ФНЦ имени Мичурина: от сбора данных с помощью робоплатформы, их хранения и обработки в Yandex Cloud до аналитики и формирования отчётов в Yandex DataLens.

Также удалось собрать часть данных в питомнике ООО «Сады Ставрополья» и подтвердить, что система будет полезна не только хозяйствам, производящим плоды, но и питомникам, выращивающим посадочный материал. Построенная распределённая система мониторинга насаждений и урожая работоспособна.

В настоящее время система позволяет определять такие важные параметры, как интенсивность цветения и обилие урожая (в расчёте на одно растение или на гектар). В будущем, после сбора достаточного набора эталонных данных, планируется добавить в систему функции определения:

• качества яблок — их размера и зрелости;
• однородности качества плодов внутри одной партии.

В ближайшие сезоны планируется территориальное масштабирование системы в ключевых точках российской «плодово-ягодной» географии, включая Ставропольский край, Курскую, Липецкую область. Необходимо накапливать и обрабатывать не просто большое количество информации, а согласованные данные, где каждой рассчитанной цифре соответствует результат полевого учёта. Для этого идёт работа над улучшением методов машинного обучения и организации ручной работы, такой как экспертная оценка, разметка изображений для нейросетей, проверка данных. Не менее важно заинтересовать самих участников рынка — так, чтобы они были готовы поделиться своими данными для создания общего регионального или федерального датасета.

Стратегическая задача — накопление комплексных данных от картинки до экспертной оценки для каждой точки сада и за весь период вегетации. Собрав данные за несколько сезонов, можно будет делать точные прогнозы. Они позволят хозяйствам и питомникам получать более выгодные условия по контрактам с торговыми сетями, по кредитам и субсидиям, минимизировать потери плодов и упущенную прибыль.