Алгоритм автоматической фильтрации облачных данных для решения задач объектного дистанционного мониторинга

Для задач мониторинга и изучения различных природных и антропогенных объектов в 2020-2021 годах велась разработка специальной технологии, реализующей автоматический расчёт различных характеристик таких объектов на основе спутниковых данных. Данная технология применяется для мониторинга объектов, представляющих собой «однородные» участки, для которых необходимо рассчитывать осреднённые по их площади характеристики. Такими объектами могут быть сельскохозяйственные поля, участки однородного леса, водные объекты и т.д. Созданная технология также позволяет на основе рассчитанных значений строить временные ряды характеристик объектов, анализируя которые можно делать вывод об их состоянии. Одной из проблем при построении временных рядов является фильтрация шумов. Под шумами понимаются значения характеристик, рассчитанные по спутниковым изображениям, на которых над объектами явно наблюдается облачность. При этом использование стандартных средств фильтрации облачности, а именно «попиксельного» анализа маски облачности, не всегда эффективно из-за недостаточных точностей масок. В 2022 г. был разработан алгоритм, который позволил формировать автоматически очищенные от шумов ряды характеристик объектов при низком качестве фильтрации облачности. Данный алгоритм основан на фильтрации по проценту площади, занятой облачностью в окрестности объекта на конкретном спутниковом изображении. Он представляет собой следующую последовательность шагов:

• для исследуемого объекта и сцены спутниковых данных формируется маска облачности (это может быть стандартная маска облачности, предоставляемая поставщиками спутниковых данных, или результат детектирования облачности в пикселе любым другим способом);
• по сформированной маске рассчитывается процент площади, занятой облачностью в окрестности анализируемого объекта.
• если процент площади, занятой облачностью, превышает значение выбранного порога, то считается, что выбранная сцена не пригодна для дальнейшего расчёта, и она не используется для формирования ряда характеристик наблюдаемого объекта.

 

Были проведены работы по нахождению оптимального порога облачности, при котором предлагаемый алгоритм давал бы наилучший результат, т.е. было бы минимальным значение суммарной ошибки, состоящей из ошибок первого и второго рода. В рассматриваемом случае к ошибкам первого рода относятся облачные сцены, оставшиеся после фильтрации в ряду наблюдений, а к ошибкам второго рода — пропуски (не включение в ряд) сцен, на которых непосредственно над объектом нет облачности. Оптимальное значение порога рассчитывается по формуле 1:

                                            ,                                                   (1)

где: N_e — количество лишних (extra) облачных изображений, попавших в выборку после фильтрации, N_m — количество пропущенных (missed) в результате фильтрации безоблачных изображений, N — размер выборки.

В качестве выборки были взяты наборы данных для ряда объектов (18 штук), расположенных на географически разных территориях и наблюдаемых в период с 2013 по 2021 г. Анализ показал, что для всех объектов независимо от размера окрестности наблюдается диапазон значений порога облачности (10–20 %), при котором обеспечиваются низкие значения суммарной ошибки (рисунок 1.2.5.1). И в качестве оптимального значения порога облачности может быть взято значение из полученного диапазона.

Для тех случаев, когда стандартные маски имеют значительные ошибки и не могут использоваться для расчёта процента площади, занятой облачностью, применяется специально реализованный алгоритм детектирования облаков в пикселе. Алгоритм основан на значениях коэффициента спектральной яркости (КСЯ) в голубом канале Rblue (456—523 и 450—510 мкм для MSI (Sentinel-2) и OLI (Landsat-8) соответственно) и нормализованного разностного индекса снега NDSI, вычисляемого с помощью значений КСЯ в зелёном канале (542—577 и 530–590 мкм для MSI (Sentinel-2) и OLI (Landsat-8) соответственно) и КСЯ в SWIR канале (1565–1655 и 1570–1650 мкм для MSI (Sentinel-2) и OLI (Landsat-8) соответственно). Если значение КСЯ в голубом канале ниже выбранного порога, то пиксель относится к безоблачному, в противном случае он считается «потенциально облачным». При этом если в «потенциально облачном» пикселе значение индекса снега NDSI не превышает заданный порог, то пиксель считается облачным, иначе он относится к снежному покрову.

  а                                                                           б

Рисунок 1 — Функция суммарной ошибки от порога облачности, построенная для объектов, расположенных в географических зонах, в которых процент облачных дней в году: а — 50 %,
б — менее 20 %. Ряды сформированы на основе анализа данных наблюдений прибора MSI

Рисунок 2 — Временные ряды со значениями характеристики объекта (оранжевый цвет — очищенные вручную ряды, синий цвет — ряды на различных этапах фильтрации): а — до фильтрации; б — после «маскирования» по стандартной маске облачности; в — после фильтрации выбросов для «маскированных» данных; г — после фильтрации «маскированных» данных по порогу облачности с помощью алгоритма по NDSI

На рисунке 2 приведён пример применения разработанного алгоритма фильтрации для одного из исследуемых объектов. В качестве размера окрестности был взят размер, равный четырём характерным размерам объекта, а значение порога облачности выбрано равным 15 %. На рисунках представлены очищенные вручную ряды характеристик объектов (оранжевый цвет), сформированные на основе данных коллекции Sentinel 2 без атмосферной коррекции, совместно с рядами характеристик, полученных на различных этапах фильтрации (синий цвет).

Фильтрация выбросов проводилась путём расчёта верхней границы доверительного интервала значений характеристики внутри скользящего окна и затем отбрасыванием всех значений, превосходящих эту границу.

В таблице 1 приведены значения суммарной ошибки, полученные в результате применения двух способов фильтрации для трёх объектов, расположенных в зонах с разным количеством облачных дней в году.

Таблица 1 — Значения суммарной ошибки, рассчитанные по результатам использования различных видов фильтрации.

Объект	Кол-во изображений	Фильтрация выбросов	Фильтрация по порогу
1	344	44 %	17 %
2	394	29 %	11 %
3	129	28 %	12 %