Развитие системы ведения архивов и инструментов для контроля ее функционирования

В 2023 году существенное развитие претерпели процедуры, связанные с погружением спутниковых данных в архивы, реализованные на основе разработанной в ИКИ РАН технологии UNISAT. Основной причиной изменений была необходимость ускорения процессов усвоения данных в архивы, особенно в тех случаях, когда во входных директориях уже накопилось большое количество данных. Такие ситуации неоднократно случались в течение этого года и были связаны с одной стороны со сбоями в работе оборудования, а с другой – с необходимостью быстрого восстановления больших объемов данных. В рамках имеющейся реализации распределенного файлового хранилища, построенной на базе протокола NFS, и используемых систем хранения данных (NAS) при накоплении во входных директориях десятков тысяч файлов существенно замедляются как операции получения списка файлов, так и сами операции по переносу их в архив. И хотя для ряда типов данных уже были реализованы процедуры для разнесения входных данных по разным поддиректориям, этого оказалось недостаточно. В рамках проведённых работ эта практика была распространена на большее число различных типов данных. Кроме этого утилиты архивации теперь не запрашивают полный список поступивших в директорию данных, а читают его в потоковом режиме. Это же относится и к процедуре запуска утилит архивации для различных типов входных данных (сейчас их около 100), которая ранее получала полный список файлов во входной директории для того, чтобы установить, какие из запусков необходимо выполнить.

Также в 2023 году базы данных, содержащие метаданные хранимых в архивах экземпляров спутниковых данных, были переведены с механизма хранения MyISAM на INNODB. Связано это было с тем, что хотя скорость добавления данных в монопольном режиме для первого из механизмов выше, в условиях большого количества пользовательских запросов к этим базам данных архивация замедляется из-за частого блокирования таблиц на запись. Второй из механизмов поддерживает блокировку на уровне записей в таблицах, что позволило существенно повысить скорость архивации данных. Также для основных по объему баз данных был развернут еще один вспомогательный сервер (slave), что позволило снять с него большую часть нагрузки по запросам данных.

Наряду с рядом других изменений вышеперечисленные меры позволили существенно ускорить архивацию данных и при необходимости заносить в архивы в сутки более 15Тб новых данных, содержащихся в сотнях тысяч файлов. Также был усовершенствован комплект утилит для быстрой диагностики как скорости передачи данных по сети на указанный том архива, так и накладных расходов на элементарные файловые операции, который активно использовался при анализе проблем с локальной сетью и системами хранения данных.
В рамках системы контроля функционирования программно-аппаратного комплекса ЦКП «ИКИ-Мониторинг» наряду с большим количеством различных инструментов реализовано формирование ежедневных сводных отчетов о работе различных подсистем. Такие отчеты рассылаются ответственным специалистам по электронной почте и позволяют руководителям быстро оценивать ситуацию с тем или иным направлением работ. Среди ежедневных отчетов наиболее востребованным является сводный отчет о поступлении в архивы различных типов данных из разных источников. При этом в отчете содержится не только информация за последние сутки, но и динамика поступления и архивации данных за последние несколько месяцев. Это позволяет автоматически детектировать ситуации с замедлением поступления или архивации тех или иных типов данных. В 2023 году в дополнении к этим отчетам был реализован специализированный служебный веб-интерфейс, позволяющий специалистам оперативно заносить информацию, описывающую причины неполадок, а руководителю – контролировать своевременное ее предоставление. Также в интерфейсе реализованы различные режимы для получения статистики по сбоям в поступлении данных, что позволяет анализировать как наиболее частые неполадки, так и их причины.

В 2023 году также была реализована детальная статистика по работе процессов занесения в архивы различных типов данных, которая рассылается специалистам как ежедневный отчет.  Для каждого из заносимых в архивы типов данных приводится следующая информация: количество поступивших на вход данных, количество новых занесенных в архив данных, количество замененных в архиве экземпляров данных, время, затраченное на архивацию данных, текущая очередь во входной директории, а также статистика ошибок за сутки. При этом в отчете содержится как сводная информация за последние сутки, так и история для каждого из процессов архивации данных за последние 10 суток. Используя эту информацию, можно легко оценить не только загруженность системы архивации, но и конкретные процессы, на которые тратится основное время. На основе ее, в частности, могут быть изменены приоритеты занесения в архивы тех или иных данных.