Создание сервиса расчёта и интеграции данных мониторинга состояния сельскохозяйственных полей ЦКП ИКИ-Мониторинг («Вега»)

В настоящее время использование спутниковых данных в сельском хозяйстве широко распространено и активно развивается. В частности, широкое распространение получило применение различных вегетационных индексов для оценки и прогнозирования состояния культур. Такие данные используются не только для отображения на карте полей в различных пользовательских интерфейсах, предназначенных для визуальной оценки состояния растительности, но и в работе с пространственными рядами для оценки динамики ее развития, оценки и прогнозирования урожайности на основе сравнения таких данных с многолетней накопленной историей. При этом для получения данных, которые бы могли позволять формировать устойчивые на протяжении длительных периодов значения индексов, необходимо построение специализированных систем сбора, хранения и тематической обработки спутниковых данных. Для построения таких систем требуются значительные ресурсы не только для хранения и обработки самих данных, но и существенные затраты времени на разработку, развёртывание и сопровождение необходимого программного обеспечения и инфраструктуры. Выделение ресурсов, необходимых для решения задач по организации регулярного спутникового мониторинга полей в интересах небольших и средних хозяйств, зачастую, являются экономически не целесообразным и, фактически, невозможным.

В то же время на базе существующей инфраструктуры крупных центров хранения и обработки спутниковых данных, решение таких задач является одним из направлений деятельности. В частности, в рамках сервисов созвездия Вега, работающих на базе ЦКП «ИКИ-Мониторинг», в настоящее время существуют и используются специализированные решения, ориентированные на расчёт различных индексов по спутниковым данным в разрезе пространственных объектов для обеспечения внутренних задач, в том числе, для сервисов на базе интерактивных картографических интерфейсов.

В том числе, благодаря развитию технологий обработки спутниковых данных, архивы ЦКП «ИКИ-Мониторинг» на сегодняшний день содержат уникальную ежедневную информацию по данным высокого пространственного разрешения, представляющие интерес для решения прикладных задач в сфере мониторинга состояния сельскохозяйственных культур.

В 2025 г. на базе мощностей ЦКП ИКИ-Мониторинг был создан и запущен в опытную эксплуатацию сервис, позволяющий пользователям получать и интегрировать в собственные системы данные зональной статистики, сформированные в необходимых границах полей. Сервис обеспечивает как расчёт и выгрузку многолетних рядов значений вегетационных индексов, так и расчёт, и оперативное обновление данных по актуальным космическим снимкам. Сервис ориентирован, в первую очередь, на программную интеграцию во внешние информационные системы и реализован в виде набора веб-сервисов к соответствующим блокам обработки для организации программного доступа (API). При разработке архитектуры, функционала и протоколов взаимодействия сервисов был сделан упор на максимальную простоту логики использования.

Функционал реализованного сервиса разбит на два блока: предоставление картографических сервисов (API карт) и предоставление API расчёта зональной статистики на основе спутниковых данных по полям пользователей (API расчёта). Для работы блоков сервиса был так же реализована схема управления наборами данных, доступными пользователям API. Для работы сервисов блока был зарегистрирован dns-адрес api.pro-vega.ru.

API карт

Сервис карт реализован на базе стандарта OGC WMS в части типа запроса getMap c использованием дополнительных параметров. Сервис ориентирован на обеспечение работы пользователей со спутниковыми продуктами Вега-Про в интерактивном режиме. Текущая реализация предназначена для обработки запросов областей карты фиксированного пиксельного размера (тайлами) с поддержкой кэширования данных на стороне серверов «Вега-Про», либо в версии для формирования карт по области произвольного размера. Сервис предназначен, в первую очередь, для работы с композитными продуктами, однородно покрывающие большие территории с известной временной скважностью. В рамках реализованных блоков сервис применяется для формирования карт по данным ежедневных продуктов на базе Landsat+Sentinel (30 м на пиксель) на 2025, 2024 гг., еженедельным и ежемесячным композитным изображениям по данным Sentinel-2 (10 м на пиксель) и другими, предусмотренными соглашением. Запрос карт, помимо стандартных WMS-параметров запроса, управляется параметрами — идентификатор продукта обработки спутниковых данных и датой.

В частности:

• bbox — координаты в порядке (долгота, широта) нижнего левого и правого верхнего угла карты. Ширина и высота тайла в единицах проекции должна быть одинаковой.
• srs — картографическая проекция, в которой переданы координаты карты. Поддерживаются основные коды espg — 4326 (широтодолготная), 3857 (меркатор), но могут быть переданы и другие. Пример проекции — в тестовой ссылке на сервис (ниже). Кроме этого, можно согласовать поддержку других необходимых проекций, задаваемых строкой в WKT нотации вида +prоj = …, через условные идентификаторы.
• unisat_dt — дата в формате год-месяц-день, например 2023-06-01. Тестовый композит доступен на этот день, при запросе других дат будут сформированы пустые (прозрачные) тайлы. При работе с еженедельными продуктами датой композита будет дата каждого воскресенья. На другие даты будут возвращаться пустые тайлы.
• unisat_product — продукт обработки (цветосинтез) - правила, по которому формируется карта из исходных данных. Примеры продуктов: v_comp_laseh_1d_true_color (естественные цвета, comp_lansen_1dc_hitse_ndvi_v1 (индекс NDVI), v_comp_laseh_1d_ndmi (индекс NDMI)

Пример структуры запроса:

https://api.pro-vega.ru/smiswms/get_map_mc.pl?cached=1&height=512&service=WMS&format=png&EXCEPTIONS=xml&layers=unisat&db_pkg_mode=comp&srs=EPSG:4326
&unisat_products=<product>&unisat_dt=<dt>&version=1.1.1&bbox=<ukey>&unisat_qmode=preset&transparent=1&request
=GetMap&styles=&width=512&cached=1&ukey=<bbox>

В рамках работ настоящей темы для была проведена доработка сервисов Вега для поддержки работы с данными о доступных пользователям API наборов данных, а так же, для возможности управления выбором из БД UNISAT экземпляров продуктов наборов с использованием только идентификатора продукта и даты.

API расчёта

Сервис расчёта обеспечивает систему-клиента оперативными и историческими данными значений показателей (например, индекс ndvi) и параметров (например, min, max, количества пикселей) для загружаемых полигонов полей. По умолчанию система-клиент может работать с данными одного слоя (набора) полей с одинаковыми параметрами расчёта (рассчитываемые параметры и показатели, исходные продукты, временные интервалы и оперативность). Для наборов полей с различающимися параметрами расчёта создаются дополнительные учётные записи и соответствующие им ключи авторизации. Базовые сценарии, реализуемые сервисом расчёта:

• Загрузка и управление полями: Режим полного обновления слоя полей, обновления отдельных полей, добавление и удаление отдельных полей;
• Расчёт значений индексов по полям: Полный пересчёт исторических рядов данных по полям или полю, оперативный расчёт по полям на основе     обновившихся данных;
• Выгрузка результатов расчёта: полного пересчёта по всем полям, оперативного расчёта по всем полям, полного пересчёта по отдельным полям.

В зависимости от необходимого режима, сервис расчёта для наборов полей пользователей по расписанию формирует задания в специальном формате для блока расчёта зональной статистики, работающего на мощностях и с данными ЦКП «ИКИ-Мониторинг». После формирования и размещения задания сервис проводит мониторинг результатов расчёта, проводит их контроль и выкладку готовых результатов в директорию, доступную по https-протоколу системе-клиенту. Система-клиент регулярно запрашивает содержимое директорий по установленному адресу через протокол https, формирует список обновившихся с момента предыдущего запроса файлов и инициирует их загрузку. Далее, система клиент проводит усвоение всех полученных данных в собственные системы хранения, формируя таким образом, актуальные наборы данных с рассчитанными показателями по каждому полю. В рамках работ по теме были реализованы блоки, обеспечивающие обработку запросов на управление полями, формирования заданий на расчёт зональной статистики в соответствии с доступными пользователю наборами данных, а так же, блоки по отслеживанию и выгрузке результатов расчёта.

Примеры загрузки данных в api-режиме с использованием утилит командной строки:

wget -q -O - --header="Content-Type:application/json" --post-file=filename.json
"https://api.pro-vega.ru/fields_api/uploader.pl?mode=replace&ukey=<ukey>"

Сформированные блоками расчёта и выкладки заданий файлы с данными размещаются в выходной директории со структурой, детально описанной в руководстве пользователя сервиса. Ниже приведен пример такой структуры, содержащий примеры данных:

        full/
            98489/
                20241205.comp_lansen_1dc_hitse_ndvi_v1.json
20241215.comp_lansen_1dc_hitse_ndvi_v1.json
        operative/
            2025/
                20250409T175804/
                    20241226.comp_lansen_1dc_hitse_ndvi_v1.json
        misc/        
            20250409T175804/
                fields_recalc_on_errors.json

Авторизация сервисов API

Авторизация запросов реализована на базе штатной системы авторизации сервисов семейства Вега. Для каждой учётной записи клиента формируется ключ доступа, по которому сервисы Вега определяют учётную запись и существующие для нее фильтры по данным и области пространства. Система-клиент добавляет ключ доступа к каждому запросу API, проходя, таким образом, процедуры аутентификации и авторизации на стороне системы Вега.

Общая архитектура сервиса

Общая схема работы сервиса API для интеграции данных приведена ниже на рисунке 1.

 Рисунок 1 — Общая схема работы сервиса API

В рамках работ темы реализованные блоки были развёрнуты на оборудовании в составе ЦКП «ИКИ-Мониторинг», проведена настройка веб-сервера для авторизации запросов, поступающих от пользователей API, включая управление доступом к индивидуальным директориям, содержащих результаты обработки.