Общая архитектура системы
Основной задачей при создании системы стала разработка новых инструментов для исследователей, позволяющих проводить распределённую обработку и совместный анализ данных текущих и исторических миссий по изучению Марса. Главной особенностью создаваемых инструментов и решений является их глубокая интеграция с постоянно пополняемыми архивами данных. Это позволяет отказаться от традиционных подходов к работе с данными дистанционных исследований, требующих проведения исследователями большого количества процедур обработки данных на своих рабочих мощностях и перекачки больших объёмов данных для такой обработки. Новый подход, реализованный в созданной системе, даёт возможность обширной онлайн-обработки данных за счёт использования ресурсов системы, а также возможность работы с произвольными наборами данных строго по выбранным пространственным, временным и другим критериям. Кроме того, система ARES Mars обеспечивает возможность распределённой работы с данными миссий по изучению Марса посредством широко распространённых веб-браузеров, без использования дополнительного ПО для обработки данных.
Система включает в себя три основных компоненты:
- Блок ведения архивов;
- Блок обработки данных;
- Блок обеспечения работы с данными.
Общая схема архитектуры системы представлена на рисунке 4.2.2.1.
Рисунок 4.2.2.1. Общая схема архитектуры системы
Система ARES-Mars обеспечивает ведение постоянно пополняющихся оперативных и исторических архивов данных, прямой доступ к этим архивам, а также предоставляет средства для online-доступа, анализа и обработки имеющихся в архивах данных. Помимо этого, при создании системы ARES-Mars реализована программная платформа для создания и интеграции новых пользовательских инструментов для обработки и анализа данных.
Для обеспечения такой возможности при разработке системы ARES-Mars были решены следующие основные задачи:
- обеспечение возможности единообразной работы с архивами данных различных миссий по исследованию Марса общей емкостью не менее 400 ТБ в непосредственном доступе (online);
- обеспечение возможности автоматического пополнения архивов данных со скоростью не менее 100 Гб в сутки;
- обеспечение возможности работы с информацией, поступающей от действующих, перспективных и исторических миссий по исследованию Марса, в том числе Exomars и Mars Express;
- обеспечение возможности удаленного доступа к информации (выбора, получения и проведения анализа);
- обеспечение возможности расширения инструментария по анализу и обработке данных.
- Кроме того, при создании системы ARES-Mars к ней были предъявлены следующие требования, которые были успешно выполнены:
- создаваемые архивы данных должны быть совместимы (иметь инструменты взаимодействия) с действующими отечественными и зарубежными архивами данных миссий по исследованию Марса;
- Система ARES-Mars должна обеспечивать возможность одновременной работы с ним не менее 20 специалистов, ведущих научные разработки и вычисления;
- Разработка элементов системы должна проводиться с использованием ОС семейства UNIX (подсистемы обработки данных, подсистемы архивации данных и подсистемы представления данных);
Система ARES-Mars была создана преимущественно с использованием ПО с открытым исходным кодом, а также специализированных программных пакетов разработки ИКИ РАН.