Верификация глобальных наборов данных спутникового мониторинга повреждений растительного покрова пожарами

В случае информационных продуктов ДЗЗ валидацией называется процесс оценки пространственной точности продукта с применением независимой выборки, не являющейся данными другого аналогичного информационного продукта. При валидации рекомендуется использовать данные более высокого пространственного разрешения с применением систематической разновременной выборки, описывающей все представленные биомы. Согласно требованиям ВМО (Всемирная метеорологическая организация), допустимая доля ошибок (ложных детекций или пропусков) продуктов картографирования гарей составляет 25 % (The 2022 GCOS ECVs Requirements (CGOS – 245). 2022. World Meteorological Organization (WMO), Geneva, Switzerland. 261 p, §9.4.1).

Продукты ДЗЗ картографирования гарей являются основным источником информации о пройденной огнём площади, используемой при оценке пирогенных эмиссий. Таким образом, оценка систематической ошибки данной группы продуктов является одним из этапов при оценке точности оценки пирогенных эмиссий. На территории России основное внимание при фиксации гарей и оценке пирогенных эмиссий уделяется лесным пожарам; при этом на травяные пожары приходится около трети пирогенной эмиссии углерода. Вследствие этого при валидации продуктов ДЗЗ картографирования гарей необходим учёт систематической ошибки для конкретного типа растительного покрова, в т. ч. для не покрытых лесом ландшафтов.

В последние годы было опубликовано несколько работ, посвящённых валидации глобальных продуктов картографирования гарей (Boschetti L., Roy D. P., Justice C. O. International Global Burned Area Satellite Product Validation Protocol Part I-production and standardization of validation reference data (to be followed by part II – accuracy reporting). 2010. Committee on Earth Observation Satellites, Maryland, USA; Franquesa M., Lizundia-Loiola J., Stehman S. V., Chuvieco E. Using long temporal reference units to assess the spatial accuracy of global satellite-derived burned area products // Remote Sensing of Environment. 2022. V. 269. Article 112823; Padilla M., Ramo R., Sierra S. Copernicus Global Land operations – “Vegetation and Energy” – “CGLOPS-1”. – Burned Area Collection 300M, version 3.1. – Algorithm theoretical basis document. Iss. I2.10. 2024. Copernicus. 53 p.). На территории России оценки пространственной точности информационных продуктов ДЗЗ картографирования гарей приведены в работах (Барталев С.А., Беляев А.И., Егоров В.А., Ершов Д.В., Коровин Г.Н., Коршунов Н.А., Котельников Р.В., Лупян Е.А. Валидация результатов выявления и оценки площадей, поврежденных пожарами лесов по данным спутникового мониторинга // Современные проблемы дистанционного зондирования земли из космоса. 2005. Т. 2. Вып. 2. С. 343–353; Loboda T.V., Csiszar I.A. Estimating burned area from AVHRR and MODIS: Validation results and sources of error // Contemporary Earth Remote Sensing from Space. 2005. V. 2. P. 415–421; Zhu C., Kobayashi H., Kanaya Y., Saito M. Size-dependent validation of MODIS MCD64A1 burned area over six vegetation types in boreal Eurasia: Large underestimation in croplands // Nature Scientific Reports. 2017. V. 7. Iss. 1. Article 4181). В цитируемых исследованиях валидационные выборки ограничивались отдельными регионами или гранулами и не носили систематический характер.

В рамках работ отчётного периода проведена оценка точности картографирования гарей согласно глобальным продуктам ДЗЗ (таблица 1) для различных типов растительного покрова на территории России. Особый интерес представляет оценка пространственной точности продукта картографирования гарей ИКИ РАН (или SRBA, Surface Reflectance Burned Area) (Барталев С.А., Егоров В.А., Ефремов В.Ю., Лупян Е.А., Стыценко Ф.В., Флитман Е.В. Оценка площади пожаров на основе комплексирования спутниковых данных различного пространственного разрешения MODIS и Landsat-TM/ETM+ // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С. 9–26) в сопоставлении с глобальными продуктами.

Таблица 2.4.1.1 — Характеристики использованных продуктов картографирования гарей

Продукт	Сенсор	Период	Разрешение		Публикация	Ссылка на данные
			Простр.	Врем.
ИКИ РАН (SRBA)	MODIS	2006–2023	232 м	День	(Барталев и др., 2012, п. 2.2)2	—
CGLS BA 3.1 (NTC1)	OLCI/ SLSTR1	2019 — наст. вр.	0,00298° (~333 м)	День	(Padilla et al., 2024)3	https://globalland.vito.be/download/manifest/ba_300m_v3_monthly_netcdf/manifest_clms_global_ba_300m_v3_monthly_netcdf_latest.txt
FireCCI51	MODIS	2001–2020	0,00225° (~250 м)	День	(Lizundia-Loiola et al., 2020)4	https://data.ceda.ac.uk/neodc/esacci/fire/data/burned_area/MODIS/pixel/v5.1/compressed
FireCCIS311	OLCI/ SLSTR	2019–2022	0,00278° (~300 м)	День	(Lizundia-Loiola et al., 2022)5	https://data.ceda.ac.uk/neodc/esacci/fire/data/burned_area/Sentinel3_SYN/pixel/v1.1
GABAM (GBA_30)	Landsat TM/ETM+/OLI	1985–2021	0,00025° (~30 м)	Год	(Long et al., 2019)6	ftp://124.16.184.141/GABAM
MCD64A1 C6	MODIS	11.2000 — наст. вр.	463 м	День	(Giglio et al., 2018)7	sftp://fuoco.geog.umd.edu логин: fire; пароль: burnt
VNP64A1 C2	VIIRS*	03.2012 — наст. вр.	463 м	День	(Giglio et al., 2024)8	https://search.earthdata.nasa.gov/search?q=VNP64A1_C2

   ¹ NTC —non-time critical; OLCI — Ocean and Land Colour Instrument, SLSTR —Sea and Land Surface Temperature Radiometer
   ² Барталев С.А., Егоров В.А., Ефремов В.Ю., Лупян Е.А., Стыценко Ф.В., Флитман Е.В. Оценка площади пожаров на основе комплексирования спутниковых данных различного пространственного разрешения MODIS и Landsat-TM/ETM+ // Современные проблемы дистанционного зондирования Земли из космоса. 2012. Т. 9. № 2. С. 9–26
   ³ Padilla M., Ramo R. Copernicus Global Land operations – “Vegetation and Energy” – “CGLOPS-1”. – Burned Area Collection 300M, version 3.1. – Quality assessment report. Issue I1.10. 2024. Copernicus. 61 p
   ⁴ Lizundia-Loiola J., Otón G., Ramo R., Chuvieco E. A spatio-temporal active-fire clustering approach for global burned area mapping at 250 m from MODIS data // Remote Sensing of Environment. 2020. V. 236. Article 111493.
   ⁵ Lizundia-Loiola J., Franquesa M., Khairoun A., Chuvieco E. Global burned area mapping from Sentinel-3 Synergy and VIIRS active fires // Remote Sensing of Environment. 2022. V. 282, Article 113298.
   ⁶ Long T., Zhang Z., He G. et al. 30 m Resolution Global Annual Burned Area Mapping Based on Landsat Images and Google Earth Engine // Remote Sensing. 2019. V. 11. Issue 5. Article 489.
   ⁷ Giglio L., Boschetti L., Roy D. P. et al. The Collection 6 MODIS burned area mapping algorithm and product // Remote Sensing of Environment. 2018. V. 217. P. 72–85. DOI: 10.1016/j.rse.2018.08.005.
   ⁸ Giglio L., Hall J. V., Humber M., Argueta F., Boschetti L., Roy D.P. Collection 2 VIIRS Burned Area Product User’s Guide. Version 1.1. 2024. 32 p.

В работе были использованы следующие валидационные выборки:

   (1)    Выборка (Glushkov I., Zhuravleva I., McCarty J.L. et al. Spring fires in Russia: results from participatory burned area mapping with Sentinel-2 imagery // Environmental Research Letters. 2021. V. 16. Iss. 12. Article 125005) на основе данных Sentinel-2 MSI (Multi-Spectral Instrument), содержащая пройденную огнём площадь на всей территории России за 2020 г. и разделённая на весенний и летне-осенний периоды;
   (2)    Выборка ИКИ РАН на основе данных Sentinel-2 MSI и Landsat-8 OLI (Operational Land Imager) по интенсивным лесным пожарам в Республике Якутия в 2021 г.;
   (3)    Выборка ИКИ РАН на основе данных данные Landsat TM/ETM+/OLI (TM —Thematic Mapper, ETM+ —Enhanced Thematic Mapper) и Sentinel-2 MSI по гарям аридных ландшафтов Прикаспийской низменности за период 2001–2020 гг. Выборка подробно описана в работах (Шинкаренко С.С., Барталев С.А., Берденгалиева А.Н., Иванов Н.М. Пространственно-временной анализ горимости пойменных ландшафтов Нижней Волги // Современные проблемы дистанционного зондирования Земли из космоса. 2022. Т. 19. № 1. С. 143–157; Шинкаренко С.С., Дорошенко В.В., Берденгалиева А.Н. Динамика площади гарей в зональных ландшафтах юго-востока европейской части России // Изв. РАН. Сер. Географическая. 2022. Т. 86. № 1. С. 122–133; Shinkarenko S.S., Berdengalieva A.N., Doroshenko V.V., Naichuk Ya.A. An Analysis of the Dynamics of Areas Affected by Steppe Fires in Western Kazakhstan on the Basis of Earth Remote Sensing Data // Arid Ecosystems. 2023. V. 13. Iss. 1. P. 29–38.).

Для выборок (1) и (2) классификация растительности производилась на основе карты типов растительного покрова России ИКИ РАН v5.7 (230 м, 2001–2022 гг.) (Барталев С.А., Егоров В.А., Жарко В.О., Лупян Е.А., Плотников Д.Е., Хвостиков С.А., Шабанов Н.В. Спутниковое картографирование растительного покрова России. М.: ИКИ РАН, 2016. 208 c. ISBN 978-5-00015-006-1). Для выборки (3), частично охватывающей территорию Казахстана, применялась карта типов растительного покрова ESA (European Space Agency) CCI LC 300m v2.0.7-2.1.1 (1992–2022 гг.) (Defourny P. et al. Product User Guide and Specification – ICDR Land Cover 2016-2020, version 1.1. 2021. 37 p.; Santoro M. et al. Land Cover CCI – Product User Guide, version 1.1. 2017. 52 p). Использовались агрегированные типы растительного покрова (таблица 2) за предшествующий фиксации гари год.

Временное распределение использованных данных представлено на рисунке 1. Пространственное распределение валидационных выборок представлено на рисунке 2.

 
Рисунок 1 — Временное распределение использованных данных

Исходные данные использованных продуктов и выборок перепроецировались по гранулам UTM (Universal Transverse Mercator) с разрешение 20 м для выборок (1) и (2), где основным источником данных являются снимки Sentinel-2 MSI, и 30 м для выборки (3). Ежегодно для каждой гранулы UTM рассчитывались представленные в таблице 3 параметры матрицы перепутывания для каждого типа растительного покрова. Годовые результаты по гранулам суммировались. В случае выборки (3) (2001–2020 гг.) параметры из таблицы 3 усреднялись за временной промежуток доступных наблюдений продукта картографирования гарей. На основе полученных данных по формулам из таблицы 4 были получены следующие метрики: доля ложных детекций, доля пропусков, систематическая ошибка и F1 score (Dice coefficient, DC).

 
Рисунок 2 — Пространственное распределение валидационных выборок

 
Рисунок 3 — Площадь гарей на территории России по типам растительного покрова

Таблица 2 — Схема агрегации типов растительного покрова

Примечание: классы ИКИ РАН и ESA в одной строке не соответствуют друг другу.

Таблица 3 — Пример матрицы перепутывания

Параметр	Валид. гари	Валид. нет гарей	Валид. всего
Продукт, гари	A11	A12	A1+
Продукт, нет гарей	A21	A22	A2+
Продукт, всего	A+1	A+2	Au

Примечание: «Продукт» — продукт гарей, «валид.» — валидационная выборка

Таблица 4 — Метрики оценки пространственной точности

Метрика	Английское название	Формула
Ложные детекции, %	Commission error (Ce)
Пропуски, %	Omission error (Oe)
Систематическая ошибка, %	Relative bias (relB)
Индекс Дайса	Dice coefficient (DC)

Таблица 5 — Оценка точности выделения гарей по всем типам растительного покрова по выборке (1)

Продукт	Ложные детекции (Ce), %	Пропуски (Oe), %	Сист. ошибка (relB), %	F1 score (DC)
GABAM	25,2	66,3	–54,9	0,46
CGLS BA 3.1	44	42,1	+3,4	0,57
FireCCIS311	22	47,8	–33,2	0,63
FireCCI51	27,4	47,1	–27	0,61
VNP64A1 C2	20,4	63,2	–54,3	0,49
MCD64A1 C6	33,4	72,6	–58,8	0,39
ИКИ РАН (SRBA)	42,4	53,7	–19,6	0,51

На рисунке 3 представлено распределение площади гарей по типам растительного покрова России. Как видно из рисунка, на лесные гари и гари травяных (лугово-степных) ландшафтов приходится по 30–40 % от всей пройденной огнём площади на территории страны. Вследствие этого в рамках отчётного материала представлены результаты валидации по этим двум типам ландшафтов.

В таблице 5 представлены результаты валидации рассмотренных продуктов на основе данных выборки (1) по всем типам растительного покрова. Общая точность рассмотренных продуктов согласно характеристике F1 score (DC) составляет ок. 0,4–0,6. Точность продукта ИКИ РАН сопоставима с результатами глобальных продуктов. Для большинства продуктов характерна недооценка площади гарей (ок. –20–60 %). Единственный на сегодняшний день глобальный продукт среднего пространственного разрешения (GABAM, 30 м) характеризуется низким показателем точности и высокой степенью недооценки пройденной огнём площади.

Следует отметить, что стандартный продукт MODIS MCD64A1, отличающийся наиболее низким показателем точности и максимальной недооценкой пройденной огнём площади, использовался для оценки пирогенных эмиссий на территории России в работе (Бондур В. Г., Гордо К. А., Зима А. Л. Исследование из космоса последствий природных пожаров на территории России для разных типов растительного покрова // Исслед. Земли из космоса. 2022. № 6. С. 74–86) и в различных версиях глобального продукта GFED (Global Fire Emissions Database).

На рисунке 4 представлены результаты валидации продуктов ДЗЗ картографирования гарей в лесной зоне. Для всех рассмотренных продуктов характерны более высокие показатели точности (таблица 5): DC ≈ 0,6–0,7 в случае выборки (1) (вся Россия) и DC ≈ 0,8 в случае выборки (2) (Якутия, 2021 г.). Для продукта ИКИ РАН характерен один из самых высоких показателей точности выделения лесных гарей (DC = 0,73 и DC = 0,83 для выборок (1) и (2) соответственно). Причина различия в результатах по двум выборкам заключается в характере пожаров: в случае выборки (1) представлены все лесные пожары на территории России, в случае выборки (2) представлены крупные летние лесные пожары с высокой степенью летальности.

По результатам выборки (1), все рассмотренные продукты не удовлетворяют требованию ВМО (максимум 25 % ложных детекций и пропусков), причём для большинства продуктов характерна недооценка площади лесных пожаров (ок. 20–50 %).

Рисунок 4 — Результаты валидации: лесные гари, выборки (1) и (2), весь период.
Красным пунктиром отмечено требование ВМО (<25 % ложных детекций и пропусков)

Лесным пожарам на территории России свойственен различный сезонный характер: в весенний период наблюдаются меньшие по площади, преимущественно низовые пожары с низкой степенью летальности, в летний период — крупные верховые пожары с высокой степенью гибели лесов (Лозин Д.В., Лупян Е.А., Барталев С.А., Балашов И.В., Стыценко Ф.В. Оценка повреждений российских лесов пожарами в 21 веке на основе анализа интенсивности горения по данным приборов MODIS // Материалы 22-й Международной конференции «Современные проблемы дистанционного зондирования Земли из космоса». М.: ИКИ РАН. 2024). На рисунке 5 представлено сравнение точности выделения лесных гарей в весенний и летне-осенний периоды на основании выборки (1). В весенний период точность картографирования гарей значительно снижается (DC ≈ 0,25–0,6; DC = 0,42 для продукта ИКИ РАН). В летне-осенний период для большинства продуктов характерна более высокая точность DC ≈ 0,7–0,8 (DC = 0,83 для продукта ИКИ РАН).

В сравнении с результатами глобальных валидационных исследований по биому бореальных лесов, полученные в ходе данной работы оценки пространственной точности в целом свидетельствуют о меньшей точности и более высокой степени недооценки глобальными продуктами ДЗЗ пройденной огнём площади.

 
Рисунок 5 — Результаты валидации: лесные гари, выборка (1), по сезонам

 
Рисунок 6 — Результаты валидации: травяные гари, выборки (1) и (3), весь период

На рисунке 6 представлены результаты валидации по травяным (лугово-степным) гарям. В случае выборки (1) наибольшая точность характерна для продуктов CGLS BA 3.1, FireCCIS311 и FireCCI51 (DC ≈ 0,55–0,6). Для продукта ИКИ РАН наблюдается низкая точность выделения травяных гарей по данным обеих валидационных выборок (DC ≈ 0,3). Вероятно, подобный результат вызван принципом фиксации гарей в продукте ИКИ РАН на основе наблюдения многолетней нормы: для травяных ландшафтов характерны изменчивые условия увлажнения и высокая повторяемость пожаров, что не позволяет сформировать фенологическую норму наблюдений.

В случае аридных ландшафтов (выборка (3)) наблюдаются более высокие показатели точности для всех продуктов, особенно в случае стандартных продуктов NASA MCD64A1 C6 и VNP64A1 C2. Вероятным объяснением может быть значительно большая площадь отдельных гарей и их более медленное восстановление в аридных ландшафтах.

По результатам выборки (1), для всех рассмотренных продуктов характерны низкие показатели точности картографирования сельхозпалов (DC ≤ 0,3).