Развитие методов предварительной обработки данных КМСС, направленных на маскирование облачности и уточнение географической привязки

В рамках развития методов по оперативной обработке в автоматическом режиме данных с приборов серии КМСС одной из первостепенных задач являлась задача оценки точности географической привязки изображений и устранение её аномалий. Субпиксельная точность геопозиционирования пикселей изображений КМСС необходима для обеспечения возможности использования сезонных и многолетних временных серий коэффициентов спектральной яркости растительного покрова с целью дистанционной оценки его характеристик, распознавания типов растительного покрова, оценки и прогнозирования его состояния и решения других задач.

Распространёнными методами оценки и геопривязки изображений КМСС с использованием опоры являются корреляционный подход и использование методов на основе поиска и отождествления опорных точек, в частности, алгоритма SIFT (scale invariant feature teansform). Недостатком метода, основанного на корреляционном подходе, является необходимость использования постоянно актуализируемого на момент съёмки изображения КМСС-2 опорного изображения, свободного от влияния мешающих факторов (облачность и тени от неё), а также обеспечение высокой степени заполненности данными. В оперативном режиме (вскоре после съёмки) этот процесс является достаточно ресурсоёмким, поскольку опорное изображение необходимо оперативно обновлять на основе использования сезонных рядов спутниковых данных. При этом метод на основе использования опорных точек не требует оперативной актуализации опоры и может полагаться на использование одного опорного безоблачного изображения, соответствующего другим интервалам времени съёмки, в частности, за предыдущий год, при этом безоблачное изображение может быть получено путём простого осреднения относительно чистых измерений за достаточно продолжительный период времени. В рамках проведённых работ исследовалась эффективность, особенности и ограничения метода на основе использования опорных точек ввиду его более широких возможностей для оперативной обработки данных.

Необходимо отметить, что для использования в SIFT привязываемое и опорное изображения должны иметь радиометрическое разрешение не выше 1 байта (8 бит), поэтому в целях экономии динамического диапазона значений, соответствующих только чистой поверхности, содержащей реальные опорные точки, важным является максимально полное детектирование облачности. Для решения задачи распознавания облачности на некалиброванных и непривязанных исходных изображениях КМСС была использована нейронная сеть, обученная на наборе данных, экспертным образом отобранном из результатов автоматического выявления мешающих факторов ранее разработанными в ИКИ РАН подходами. Путём использования keras tuner была определена оптимальная архитектура нейронной сети, которой оказалась конфигурация на базе Attention ResNet Unet с около 1,6 млн весов. С целью увеличения исходно ограниченного набора обучающих данных размеченные изображения аугментировались поворотом на различные углы, отражением по одной и двум осям, а также делалась радиометрическая аугментация для учёта исходной некалиброванности входных данных КМСС. Нейронная сеть была обучена с целью детектирования класса облачности, поэтому в исходных масках класс теней не учитывался при обучении. Параметризованная и обученная нейросеть имела точность более 95 % на валидационном наборе. Пример результатов распознавания облачности различных типов на одном из исходных изображений КМСС приведён на рисунке 1.

   

Рисунок 1 — Маска облачности слева (красным цветом отмечена детектированная облачность), ближний ИК канал на часть сцены КМСС справа

Обученная нейронная сеть используется на предварительном этапе подготовки исходных данных с целью детектирования облачности на исходном непривязанном и некалиброванном изображении КМСС, а также для определения минимального значения яркости облачности, выше которого все значения пикселей изображения переводятся в значение 255. Опорное изображение также переводится в разрешение 1 байт, при этом, аналогично, с целью минимизации потери радиометрического разрешения идентифицируются пиксели с яркостью выше значения 95-й перценители, которые принимаются равными значению 255. В качестве опорных данных использовались месячные композитные изображения Sentinel-2 (MSI), полученные за летний период в ближнем ИК канале, собранные в одной проекции и с таким же разрешением, что и привязываемое изображение, на территорию привязываемой сцены КМСС и её окрестностей с учётом величины максимально возможной аномалии привязки корректируемых изображений КМСС.

Для пар корректируемого и опорного изображений определялись ключевые точки и их дескрипторы на основе алгоритма SIFT на уровне только первой октавы, поскольку оба изображения имеют одинаковое пространственное разрешение, а также с целью устранения потери качества привязки данных при анализе ключевых точек на втором и более высоких уровнях октав. Для сопоставления большого количества ключевых точек на изображениях используется алгоритм FBN (flann based matcher), который оптимизирован для поиска пар соответствующих ключевых точек в высокоразмерных пространствах. Данный метод позволяет быстро определить систематическое смещение данных КМСС, что является первым этапом допривязки данных. Однако недостатком метода FBN является высокий процент неправильно найденных пар ключевых точек и пропуск подходящих пар.

С целью идентификации и исключения некорректно найденных соответствий в парах точек используется метод кластеризации пар смещений в «облака» (кластеры) на основе алгоритма dbcan, в котором предварительно задаётся параметр, характеризующий минимальное расстояние между облаками чтобы считать, что они представляют собой отдельные кластеры. В работе предполагается, что максимальная локальная аномалия привязки изображений данных КМСС относительно систематического смещения составляет максимум 30 пикселей (1,8 км), которое было выбрано за основу при задании параметра расстояния. По завершению этапа кластеризации пар становится возможной автоматическая идентификация целевого кластера ключевых точек по критерию абсолютного максимума входящих в него пар (доминирующий кластер) и таким образом можно определить систематическое смещение всей сцены КМСС (в среднем) относительно опорного изображения (рисунок 2, 3).

Рисунок 2 — Расположение кластеров всех найденных пар точек в пространстве горизонтальных и вертикальных смещений (ось х — смещение по долготе, ось у — смещение по широте в пикселях КМСС по отношению к исходному положению); доминирующим является кластер с координатами вблизи начала координат (точка 0,0)

 

Рисунок 3 — Взаимное расположение прошедших фильтрацию ключевых точек на изображении КМСС (слева) и опоре Sentinel-2 (справа); изображение КМСС содержит облачность, которая была исключена на этапе поиска пар

Следующим этапом является поиск и устранение локальных аномалий привязки, при этом, предполагается, что максимальные локальные искажения достигают не более 30 пикселей КМСС, а при локальной привязке используется ранее найденное нулевое смещение. Для осуществления локальной привязки отбираются найденные ранее ключевые точки, соответствующие исследуемой локальной квадратной области размером 100 на 100 пикселей, а также все ключевые точки на опорном изображении с учётом систематического смещения изображения КМСС и ожидаемой локальной аномалии привязки, не превышающей 30 пикселей.

При локальной допривязке привязываемое изображение КМСС обрабатывается покрывающими его целиком окнами 100 на 100 пикселей, для каждого из которых происходит отбор корректно отождествлённых пар методом dbscan с последующим анализом представленности кластера (рисунок 4).

 

   

Рисунок 4 — Пример автоматической идентификации пары ключевых точек (отмечены красным цветом) при локальной привязке (слева — часть сцены КМСС, справа — часть опорного изображения Sentinel-2 в канале ИК)

В результате, описанный метод позволяет осуществить допривязку исходного изображения КМСС по всей территории сцены на основе координат пар всех найденных точек на глобальном и локальных уровнях.