Модернизация программной реализации технологии динамического блочного доступа

В 2022 году продолжались работы по совершенствованию программной реализации технологии динамического блочного доступа к данным. В частности, был поддержан механизм контекстной фильтрации списка предоставляемых под обработку блоков данных, который позволяет выбрать только минимально необходимый набор данных и тем самым снизить нагрузку на вычислительные ресурсы. Такой механизм актуален в тех случаях, когда в архиве содержатся частично дублирующие друг друга данные, или когда для получения требуемого результата достаточно обработать только подмножество имеющихся в архивах данных. При этом логика выбора минимального набора требуемых блоков данных зависит от конкретной задачи по их обработке. Для реализации этого механизма после получения полного списка блоков и соответствующих им метаданных может быть вызвана процедура из указанной в конфигурации задания библиотеки. Также в 2022 году были внесены изменения в программное обеспечение, предназначенное для протоколирования всех операций с данными и оперативное детектирования сбоев при их выполнении. В специализированную базу данных теперь заносится не только информация о результатах операций, но также и информация на каком из серверов распределенного кластера они выполнялись, что позволяет быстро локализовать сервер, на котором возникли ошибки.

В рамках рассматриваемой технологии после формирования списка требуемых блоков данных запросы на их получение поступают на выделенный сервер балансировки. На этом сервере располагается разработанный в ИКИ РАН сервис, позволяющий перенаправить эти запросы на один из серверов соответствующего центра данных распределенного архива. До недавнего времени каждому из этих серверов мог быть задан весовой коэффициент, соответствующий его производительности, в соответствии с которым запросы распределялись по имеющимся в том или ином центре серверам. На практике на используемых для этой цели серверах могут выполняться и другие задачи, требующие вычислительных ресурсов, что приводит к неравномерной загруженности серверов и, как следствие, к снижению скорости подготовки блоков данных. В обновленной реализации сервиса балансировки на периодической основе производится запрос информации о текущей загруженности каждого из серверов, что позволяет более равномерно распределить на них нагрузку и быстрее получить заданный набор блоков данных.