Организация обработки данных КМСС

В рамках работ, нацеленных на обеспечение возможности автоматической тематической обработки данных с российских спутниковых систем, в ИКИ РАН была разработана автоматическая технология потоковой обработки изображений с приборов серии КМСС, находящихся на борту спутников серии Метеор-М. Данные КМСС характеризуются хорошо востребованным набором показателей пространственного разрешения и повторяемости наблюдений, благодаря чему территория России полностью покрывается результатами съёмки с пространственным разрешением 60 метров в течение 1-2 дней при работе двух приборов. Однако до недавнего времени потенциал этих данных не мог быть по-настоящему использован ввиду ограничений совместимости со стандартными методами, используемыми для предварительной и тематической обработки данных имеющихся спутниковых систем для оптико-электронной съемки. Разработанные в рамках упомянутой выше технологии методы позволили автоматически устранять локальные и систематические искажения географической привязки изображений, детектировать облачность и тени от нее, а также выполнять радиометрическую коррекцию данных. Это стало возможным благодаря проведению совместной обработки данных КМСС с хорошо калиброванными данными прибора MODIS, установленного на спутниках Terra и Aqua. На основе использования рассматриваемой технологии была реализована комплексная процедура обработки для получения ежедневных безоблачных композитных изображений КМСС, которые могут быть использованы для количественной оценки состояния земной поверхности. Первые результаты были получены в 2020 году, а в 2021 году технология была существенно доработана, что позволило запустить разработанную процедуру обработки в эксплуатацию.

Реализованная процедура получения безоблачных композитных изображений по данным приборов серии КМСС базируется на совместной обработке этих данных с данными прибора MODIS. Эти типы данных существенно отличаются как пространственным разрешением, так и схемой фрагментации данных в архивах. В частности, хранение данных КМСС реализовано в виде сцен в географической проекции, на которые разбиты сеансы данных, а хранение используемых данных прибора MODIS в регулярном разбиении на фрагменты в синусоидальной проекции. Для того, чтобы реализовать их эффективную совместную обработку на кластере вычислительных узлов они должны быть приведены к единому пространственному разбиению. Поэтому для предоставления всех необходимых для обработки данных этих приборов в едином пространственном разрешении и проекции используется разработанная в ИКИ РАН технология динамического блочного доступа. При этом получаемые в результате проведения двухэтапной процедуры обработки данные также формируются в этом фиксированном пространственном разрешении, что упрощает их дальнейшее использование. Первый вариант подсистемы организации рассматриваемой процедуры обработки был реализован в 2020 году. В 2021 году были устранены выявленные в ее работе недостатки, а также был добавлен новый функционал, отвечающий за контроль выполнения всех этапов выполнения процедуры. В частности, было реализовано формирования ежедневного отчета о выполнении оперативных и ретроспективных задач по обработке данных, предоставляемых на основе механизма динамического блочного доступа c автоматической диагностикой их успешности.

Принципиальная схема организации обработки для получения безоблачных композитов КМСС приведена на рисунке 1. Как показано на этой схеме данные КМСС поступают на обработку из трех центров «НИЦ «Планета», в каждом из которых функционируют сервисы предоставления блоков данных, а данные прибора MODIS поступают из архива, находящегося в ИКИ РАН. В рамках выполнения задания на подготовку данных под обработку сначала производится запрос к каталогам распределенных архивов, а затем на основе полученной информации формируются запросы на получение требуемых блоков данных к соответствующим сервисам их предоставления. После этого с использованием специального сервера балансировки нагрузки производится многопотоковое скачивание необходимых блоков данных. В рамках первого этап рассматриваемой процедуры обработки производится радиометрическая и геометрическая коррекция данных. После чего полученные калиброванные данные по сеансам КМСС заносятся в архив. После того как необходимый набор таких данных поступает в БД, выполняется второй этап процедуры, а именно, построение интерполированных безоблачных ежедневных композитов.

 Рисунок 3.1.3.1 - Принципиальная схема организации обработки для получения безоблачных композитов КМСС