Эксперименты по использованию методов машинного обучения для оценки запаса лесов по данным ДЗ

Запас стволовой древесины является важной характеристикой лесных насаждений, необходимой для решения многих задач лесного хозяйства и лесопользования. Многолетние оценки запаса стволовой древесины позволяют оценить динамику биомассы, и, соответственно, потоки углерода и углеродный бюджет лесов.

В ИКИ РАН ранее был разработан метод оценки запаса стволовой древесины лесов страны по данным ДЗЗ, основанный на композитных изображениях инструмента MODIS, и таких методов машинного обучения, как случайные леса (Breiman L. Random forests // Machine learning. 2001. V. 45. P. 5–32) и градиентный бустинг на основе деревьев решения в реализации LightGBM (Ke G. et al. LightGBM: A Highly Efficient Gradient Boosting Decision Tree. Neural Information Processing Systems. 2017). Полученные с помощью данного метода карты запаса стволовой древесины лесов России с 2002 по 2023 гг. были использованы при подготовке данных для Национального кадастра антропогенных выбросов парниковых газов.

Оценка запаса стволовой древесины по данным ДЗЗ выполняется в два этапа. Сначала на основе фрагментарной обучающей выборки, совмещающей данные наземных исследований и спутникового мониторинга, с использованием широкого набора признаков и метода LightGBM, строится подробная обучающая выборка значений запасов стволовой древесины за 2010 год. Затем на основе ограниченного набора инвариантных признаков и метода Random Forest происходит распространение информации о запасе лесов на период с 2002 по 2023 год.

Высокая значимость спутниковых оценок запаса стволовой древесины для решения целого ряда задач приводит к важности дальнейшего повышения достоверности получаемых оценок. Некоторые исследования показывают преимущество современных нейронных сетей (в частности, свёрточных нейронных сетей) над другими методами классификации при решении задач дистанционного зондирования. Это связано как с большей сложностью нейронных сетей и большими возможностями их настройки под конкретную задачу, так и со свойственной свёрточным нейронным сетям способностью учитывать геопространственный контекст, часто теряемый при попиксельной обработке данных другими методами. В связи с этим в ИКИ РАН в отчетный период были инициированы экспериментальные исследования возможностей использования нейронных сетей для решения задачи оценки запаса стволовой древесины лесов России на основе данных ДЗЗ.

В отчётный период проведена экспериментальная разработка и тестирование модели глубокой нейронной сверточной сети для предсказания запасов лесов по спектральным признакам, основанная на архитектуре U-Net (Huang H. et al. Unet 3+: A full-scale connected U-Net for medical image segmentation // ICASSP 2020–2020 IEEE international conference on acoustics, speech and signal processing (ICASSP). IEEE, 2020. P. 1055–1059) с модификациями. Модель разработана с использованием библиотеки TensorFlow для python (https://www.tensorflow.org/) и основана на дополненной архитектуре U-Net (Ge S. et al. Improved semisupervised unet deep learning model for forest height mapping with satellite SAR and optical data // IEEE J. Selected Topics in Applied Earth Observations and Remote Sensing. 2022. V. 15. P. 5776–5787). Эта модель была применена на первом этапе оценки запаса стволовой древесины, на котором используется набор, включающий около 40 признаков.

В качестве признаков для обучения модели используются значения отражательной способности в видимом, ближнем ИК и среднем ИК-спектральных диапазонах, получаемые из временных рядов композитных изображений (Миклашевич Т.С., Барталев С.А., Плотников Д.Е. Интерполяционный алгоритм восстановления длинных временных рядов данных спутниковых наблюдений растительного покрова // Современные проблемы дистанционного зондирования Земли из космоса. 2019. Т. 16. № 6. С. 143–154) за вегетационный период с шагом 15 дней в период с 1 июня по 15 сентября 2010 года, а также композитные изображения в красном и ближнем ИК спектральных каналах MODIS за зимний сезон 2010–2011 года.

Для проведения экспериментов выбрана ограниченная тестовая территория (6,5×6,5 тыс. пикселов MODIS) с наличием развитого лесного покрова (рисунок 1). Этот регион является репрезентативным для проведения экспериментов, так как для него присуще разнообразие природных условий и наличие широкого диапазона значений запаса стволовой древесины в лесах. Проведение исследований на ограниченной тестовой территории на данном этапе обусловлено необходимостью упрощения экспериментальных расчётов.

 

Рисунок 1 — Тестовый регион для проведения экспериментов по оценка запасов лесов по данным ДЗЗ методами машинного обучения

Архитектура U-Net выбрана исходя из её способности эффективно работать с изображениями и способности сохранять пространственные характеристики данных.
Для оценки запасов лесов данная архитектура была адаптирована для решения задачи регрессии с учётом некоторых особенностей используемых данных. Для каждого признака используется собственная маска для исключения значений с отсутствующими данными. Модель должна поддерживать глубокую многослойную структуру для извлечения признаков.
Структура модели состоит из пяти ключевых элементов:

• Входной слой, который принимает двумерный массив данных из 40 спектральных признаков и такой же набор масок, которые задают положения валидных данных.
   
• Слой энкодера (считывания данных) – это слой, который последовательно уменьшает размерность данных, извлекая ключевые особенности. Это достигается за счёт последовательных свёрточных операций (которые выделяют ключевые черты) и слоёв «сжатия» (пулинг), которые уменьшают размер изображения, делая его проще для обработки.
   
• Слой бутылочного горлышка – самое минимальное состояние передаваемых данных, где выделяется наиболее важная информация, извлечённая из исходного изображения.
   
• Слой декодера (восстановления данных), который постепенно восстанавливает данные до исходного размера. Это делается с помощью операций «расширения» (upsampling) и свёрток, которые добавляют детали, и используя информацию из слоя энкодера благодаря дополнительным соединениям между ними. Именно это позволяет наиболее точно восстанавливать поверхность, выделяя ключевые особенности.
   
• Выходной слой – специальный свёрточный слой с одним фильтром и линейной функцией активации. Он состоит из одного свёрточого фильтра, который преобразует восстановленные данные в итоговое изображение с предсказаниями. На этом этапе используется линейная функция активации, чтобы значения на выходе могли принимать любой непрерывный диапазон, что необходимо для предсказания количественных значений. Также подготовлены версии модели с различными функциями активации (например, relu, leaky_relu, sigmoid) (Lin G., Shen W. Research on convolutional neural network based on improved Relu piecewise activation function // Procedia Computer Science. 2018. V. 131. P. 977–984). Этот слой оказывает основное влияние на поведение предсказания моделью значений и их диапазон. Линейная функция активации позволяет модели получать значения в любом диапазоне (-∞; +∞), различные вариации relu функций позволяют получать значения, например от [0; +∞). Это позволяет влиять на поведение диапазона значений предсказания модели.
   

Сеть обучается методом стохастического градиентного спуска на основе входных изображений-признаков и соответствующих данных о запасах леса.

Экспериментальным путём оптимальное количество слоёв в модели было установлено равным семи. Меньшее число слоёв приводит к чрезмерному сглаживанию результата и нечётким границам между локальным участками леса с разными значениями запаса. При большем числе слоёв возрастает вычислительная сложность задачи, и требуется больший объем вычислительных мощностей и ОЗУ.

Подготовка данных включает в себя следующие этапы:

1. Сбор и чтение растров.
   Описанные выше признаки, а также целевая величина запаса стволовой древесины (обучающая выборка) представляет собой набор растровых изображений. Чтение данных из растровых изображений осуществлялось с использованием библиотеки rasterio в массив numpy. Все растры признаков объединялись в один многомерный массив, сохраняя пространственные размеры. Одна из особенностей модели – это тип данных значений в массиве – float32, что является ограничением со стороны библиотеки Tensorflow, на котором собрана модель. Для каждого признака была создана маска, определяющая валидный пиксел одновременно для всех признаков и целевого значения. Маска помогает исключить из анализа пикселы, которые содержат пропущенные значения, что повышает качество подготовки данных.
2. Разбиение данных на блоки.
   В рамках экспериментальной задачи данные были разбиты на блоки (патчи) размером 256×256 пикселов. Данная величина является фиксированной в рамках одной модели. То есть обученная модель на блоках такого размера будет применима только к блокам указанного размера. Применение модели к растру произвольного размера потребует предварительного разбиения его на тайлы соответствующего размера. Также был реализован сдвиг патчей с перекрытием, что позволило получить перекрывающиеся участки, минимизировав потерю информации на границах. При этом, на разных этапах эксперимента по-разному фильтровались блоки: например, для обучения выбирались блоки, содержащие менее 20 % валидных данных, что исключало из анализа шумовые участки, или для обучения использовались только блоки содержащие высокие значения для улучшения поведения модели на высоких значениях.
3. Хранение и оптимизация.
   Для дальнейшего использования данных в нейронных сетях полученные блоки данных были преобразованы в формат TFRecord. Этот формат обеспечивает компактное хранение данных и быструю загрузку во время обучения. Данные были разделены на обучающую и валидационную выборки в пропорции 90/10 %, что позволяет оценивать качество модели во время обучения.

Для управления обучением модели эмпирическим путем подбиралась подходящая функция потерь (loss-function), которая измеряет, насколько сильно предсказания модели отличаются от истинных значений. Роль функции потерь можно описать следующими аспектами:

1.     Функция потерь вычисляет числовое значение ошибки. Чем меньше значение функции, тем лучше модель справляется с поставленной задачей.
    
2.     Алгоритмы оптимизации (например, градиентный спуск) используют значение функции потерь и ее градиенты для корректировки параметров модели. Это позволяет постепенно уменьшать ошибку и улучшать точность модели.
    
3.     Функция потерь может быть дополнена штрафами за сложность модели или специфические ошибки, что помогает избежать переобучения и направляет модель в желаемом направлении.

Для оценки запаса стволовой древесины лесов была создана специальная функция потерь, состоящая из нескольких компонентов, учитывающая особенности данных.

        1. Среднеквадратичная ошибка (MSE) – измеряет разницу между предсказанными значениями и истинными значениями на пиксельном уровне:

           где y_true,i— истинные значения, y_pred,i - предсказанные значения, N — число пикселей
.

         2. Маскирование невалидных данных – учитывает маски для игнорирования невалидных данных. Это позволяет модели обучаться только на значимых данных, не ухудшая качество обучения за счёт некорректных данных.

Полная функция потерь рассчитывается следующим образом:

где Mask  — бинарная маска, которая имеет значение 1 для валидных пикселей и 0 для невалидных.

В проведённых экспериментах были использованы дополнительные компоненты: средняя абсолютная ошибка, штрафы за значения меньше 0, так как запас не может принимать отрицательные значения, штрафы за слишком высокие значения запаса, учет распределения значений растра и также их различные сочетания с коэффициентами.

Также у модели существуют гиперпараметры, отвечающие за «тонкую» настройку модели:

1.     Оптимизатор обучения. В экспериментальной работе использовался популярный оптимизатор adam с базовым шагом обучения 0,001.
2.     Добавлены слои регуляризации и нормализации для минимизации рисков переобучения модели.

Точные гиперпараметры для модели будут подобраны при обучении на всём наборе данных.

        
а)                                                                                       б)
         
в)                                                                                г)
Запас стволовой древесины, м3/га
 
Рисунок 2 — Спутниковые данные MODIS для территории долины реки Лена в видимом диапазоне (а); обучающая выборка данных о запасе стволовой древесины лесов (б); результаты оценки запасов леса методами LightGBM (в) и модели U-net (г)

Основными метриками для оценки качества модели являются значение функции потерь, MAE и MSE. По ним оценивается качество модели в процессе обучения и определяется остановка обучения модели. В качестве флага для остановки обучения модели выбрано отсутствие улучшения результата модели в течение 10 и более эпох. Получившаяся модель имеет 11,5 млн параметров.

Существенным ограничением использованного ранее метода оценки запаса стволовой древесины лесов по данным ДЗЗ является недооценка значений запаса в областях их высоких значений. Созданная и обученная модель позволяет значительно улучшить выделение областей с высоким запасом. Пример такого улучшения показан на рисунке 2 для долины реки Лена, где в условиях отсутствия опорных данных LGBM даёт низкие значения запаса, а модель U-net показывает более высокий запас. Другой успешный пример применения модели показан на рисунке 3, где модель корректно идентифицировала области низких значений запаса, показывая чёткие структурные линии антропогенного воздействия на леса.

       
а)                                                                                б)
         
в)                                                                                  г)
Запас стволовой древесины, м3/га
 
Рисунок 3 — Спутниковые данные MODIS (а); обучающая выборка данных о запасе стволовой древесины лесов (б); результаты оценки запасов леса методами LightGBM (в) и модели U-net (г)

Полученные экспериментальные результаты показывают положительный эффект применения модели с архитектурой U-net к задаче оценки запаса стволовой древесины. Модель способна давать менее зашумлённый и более сглаженный результат, что является особенностью семейства свёрточных моделей. Анализ гистограммы полученных значений запаса (рисунок 4) показывает, что нейронные сети способны лучше воспроизводить высокие значение запаса стволовой древесины, а также не копируют аномалии гистограммы на низких значения запаса, характерные для методов на основе деревьев решений.

 
Рисунок 4 — Сравнение гистограммы исходной опорной выборки c результатами полученными на основе методов случайного леса и нейронной сети архитектуры U-net

В результате проведённых исследований была создана экспериментальная основа для определения запаса стволовой    древесины лесов методами машинного обучения. В дальнейшем метод планируется адаптировать для распространения полученных оценок на период с 2000 по 2024 год и на всю территорию страны, что также может улучшить результаты за счёт использования более полной обучающей выборки.