ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Integrated toolkit for organization of the problem-oriented distributed computing

The article was published in issue no. № 1, 2013 [ pp. 3-6 ]
Abstract:In this paper the approach to integrated use of tools for organization a distributed computing within the single environment for design, create and using problem-oriented software is represented. Problem-oriented software operates in the integrated cluster system. The characteristics of integrated cluster system are considered and the technological scheme of computing problems solving in this system is suggested. The integrable tools are listed: the non-procedural programming environment SyKruS for synthesis of parallel programs taking into account constraints on used resources of computer system and programming modules run-time, the toolkits DISCOMP and ORLANDO TOOLS for development of problem-oriented software in a homogeneous and heterogeneous distributed computing environments respectively, the toolkit DISCENT for cluster Grid development, the toolkit SIRIUS for modeling of problem-oriented software. The integration of tools is based on the cluster system model developed by the authors. The examples of problems solved with the use of above-listed tools are represented. The distinctive feature of represented approach is coordinated use of methodology of development parallel and distributed software packages, multiagent technology for the computing process management and integrated modeling (conceptual, simulation and seminatural) problem-oriented software.
Аннотация:В статье представлен подход к интегрированному использованию инструментальных средств организации рас-пределенных вычислений в рамках единой среды проектирования, создания и применения проблемно-ориенти¬ро-ваннных программных комплексов различного назначения, функционирующих в интегрированной кластерной системе. Рассмотрены характеристики интегрированной кластерной системы и предложена технологическая схема решения вычислительных задач в ней. Перечислены интегрируемые инструментальные средства: среда непроцедурного программирования СиКруС для синтеза параллельных программ с учетом ресурсных ограничений используемой вычислительной системы и продолжительности исполнения прикладных модулей, инструментальные комплексы ORLANDO TOOLS и DISCOMP для разработки пакетов прикладных программ соответственно в однородных и раз-нородных распределенных вычислительных средах, инструментальный комплекс DISCENT для создания кластерных Grid, инструментальный комплекс СИРИУС для моделирования проблемно-ориентированных комплексов. Ин-теграция инструментальных средств осуществляется на основе модели кластерной системы, разработанной авторами. Приведены примеры задач, решенных с помощью вышеперечисленных инструментальных средств. Отличительной особенностью представленного подхода является согласованное применение методологии разра-ботки параллельных и распределенных пакетов прикладных программ, мультиагентных технологий управления вы-числительным процессом и комплексного моделирования (концептуального, имитационного и полунатурного) соз-даваемых проблемно-ориентированных программных комплексов.
Authors: Oparin G.A. (oparin@icc.ru) - Institute of System Dynamics and Control Theory SB of the Russian Academy of Sciences, Irkutsk, Russia, Novopashin A.P. (apn@icc.ru) - Institute of System Dynamics and Control Theory SB of the Russian Academy of Sciences, Irkutsk, Russia, Ph.D, Feoktistov A.G. (agf@icc.ru) - Matrosov Institute for System Dynamics and Control Theory of Siberian Branch of Russian Academy of Sciences, Irkutsk, Russia
Keywords: organization and integration tools, problem oriented software, distributed computing
Page views: 11755
Print version
Full issue in PDF (5.29Mb)
Download the cover in PDF (1.21Мб)

Font size:       Font:

Современное развитие информационно-вычислительных и сетевых технологий, ПО и аппаратных средств позволяет организовывать сложные географически распределенные вычислительные системы для поддержки проведения массовых ресурсоемких фундаментальных и прикладных исследований. В частности, в научном сообществе ведутся активные работы по созданию и использованию Грид-систем различного назначения [1, 2], среди которых важное место отводится вычислительным Грид-системам.

В данной статье представлен опыт, накопленный в Институте динамики систем и теории управления СО РАН (ИДСТУ СО РАН) в области организации высокопроизводительных параллельных и распределенных вычислений.

Одной из разновидностей Грид-систем является интегрированная кластерная система – распределенная вычислительная среда, предназначенная для решения фундаментальных и прикладных вычислительных задач и характеризующаяся следующими особенностями:

-     в качестве узлов системы выступают вычислительные кластеры;

-     кластеры организуются на базе как выделенных, так и невыделенных вычислительных машин и, следовательно, существенно различаются по степени надежности своих вычислительных ресурсов;

-     на разных уровнях интеграции системы существуют различные категории пользователей, в том числе нуждающиеся в высокоуровневых средствах организации вычислительного процесса решения задачи;

-     вычислительные кластеры используются пользователями системы совместно с владельцами этих кластеров;

-     задание пользователя представляет собой спецификацию процесса решения задач, содержащую информацию о требуемых вычислительных ресурсах, исполняемых прикладных программах, входных/выходных данных, а также другие необходимые сведения;

-     множество заданий пользователей рассматривается с точки зрения теории очередей и представляется в виде совокупности потоков заданий с приоритетами;

-     поток заданий характеризуется динамичностью, стохастичностью, неоднородностью, отсутствием обратной связи, неординарностью, стационарностью;

-     свободных ресурсов системы недостаточно для одновременного обслуживания всех заданий, находящихся в очередях;

-     в рамках системы функционируют распределенные проблемно-ориентированные програм- мные комплексы, размещенные в ее узлах;

-     в общем случае в системе имеется программно-аппаратная вычислительная избыточность (программа может быть размещена и выполнена в разных узлах системы, а одни и те же вычисления могут производиться с помощью различных программ);

-     в системе нет единой политики админи- стрирования вычислительных кластеров, на кластерах применяются различные принципы и ме- ханизмы обработки потоков заданий разных типов.

В настоящее время в ИДСТУ СО РАН в рамках САТУРН-технологии [3] разработаны новые программные инструменты [4, 5] для создания интегрированных кластерных систем:

–      среда непроцедурного программирования СиКруС для синтеза параллельных программ на языке Fortran-DVM с учетом ресурсных ограничений используемой вычислительной системы и продолжительности исполнения прикладных модулей;

–      инструментальный комплекс ORLANDO для автоматического конструирования асинхронных параллельных программ в вычислительных кластерах;

–      инструментальный комплекс DISCOMP для организации распределенных пакетов прикладных программ в разнородных вычислительных средах;

–      инструментальный комплекс DISCENT для организации интегрированных кластерных сред;

–      графическая инструментальная среда СИ­РИУС для моделирования и анализа эффективности функционирования интегрированных кластерных сред;

–      мультиагентная среда децентрализованного планирования вычислений и распределения ресурсов, функционирующая на основе вероятностных моделей надежности интегрированной кластерной системы и экономических механизмов регулирования спроса и предложения ресурсов.

Перечисленные инструментальные средства обеспечивают поддержку всех научно-техничес­ких процессов, связанных с решением в интегрированной кластерной системе фундаментальных и прикладных задач на основе парадигм параллельного и распределенного программирования.

Технология интеграции инструментальных средств организации проблемно-ориентированных распределенных вычислений базируется на согласованном применении следующих компонентов:

-     методы автоматизации процессов концептуализации предметных областей решаемых задач, построения вычислительных моделей, проведения имитационного и полунатурного моделирования вычислительных систем, выполнения параллельных и распределенных вычислений, мониторинга работы вычислительных систем;

-     мультиагентные средства управления вычислительными процессами решения прикладных и фундаментальных исследовательских задач, планирования и распределения вычислительных ресурсов;

-     инструментальные программные средства создания и применения проблемно-ориентирован­ных программных комплексов различного назначения, в том числе параллельных и распределенных пакетов прикладных программ;

-     программно-аппаратные средства (вычислительные кластеры и системное программное обеспечение для их интеграции и управления), в рамках которых осуществляются создание и применение проблемно-ориентированных програм- мных комплексов.

Перечисленные компоненты объединяются в технологическую схему (см. рис.) решения прикладных и фундаментальных исследовательских задач с заданными параметрами уровня их обслуживания (временем, стоимостью и надежностью процесса решения задачи). Объединение компонентов осуществляется на основе оригинальной объектной модели [6], которая обеспечивает взаимосвязанное представление проблемно-ориенти­рованного, программно-аппаратного, имитационного и управляющего слоев знаний об интегрированной кластерной системе, а также всестороннее исследование необходимых свойств (эффективность, надежность и др.) проектируемых для этой системы прикладных программных комплексов различного назначения.

Подпись:  Использование в инструментальных средствах единой модели интегрированной кластерной системы позволяет обеспечить комплексирование по данным для всех проблемно-ориентированных программных комплексов, разрабатываемых с помощью этих средств. Это дает возможность использования в процессе создания нового программного комплекса фрагментов описания предметных областей, функциональных модулей, исходных данных и результатов вычислений, имеющихся в других комплексах. Вследствие этого сокращаются сроки разработки прикладного программного обеспечения и проведения вычислительных экспериментов.

В качестве примеров практического использования представленных в статье инструментальных средств можно привести ряд практически важных задач, решенных в интегрированной кластерной системе ИДСТУ СО РАН, в том числе

-     параллельное решение систем булевых уравнений общего вида;

-     декомпозиция алгоритма филогенетического классификатора CARMA;

-     имитационное и полунатурное моделирование алгоритмов планирования и распределения ресурсов в распределенных вычислительных средах;

-     моделирование процессов складской логистики;

-     комплексирование по данным разработанных пакетов моделирования складской логистики.

В заключение отметим, что в статье представлен подход к организации проблемно-ориентиро­ванных распределенных вычислений, обеспечивающий единую технологическую схему решения широкого спектра задач в интегрированной кластерной системе, а также комплексную инструментальную поддержку всех научно-технических процессов в ней.

Основное отличие представленного подхода от традиционно применяемых к организации разнородных распределенных вычислительных сред подходов в комплексном использовании методов и средств инженерии знаний, методов автоматического построения параллельных распределенных планов решения непроцедурных постановок задач на вычислительной модели предметной области в виде системы булевых уравнений, децентрализованной схемы управления решением поставленной задачи с использованием группы интеллектуальных агентов, концептуального, имитационного и полунатурного моделирования создаваемых проблемно-ориенти­рованных распределенных программных комплексов.

Литература

1.     Foster I., Kesselman C., Tuecke S., Intern. Journ. of High Performance Computing Applications, 2001, Vol. 15, no. 3. pp. 200–222.

2.     Baker M., Buyya R., Laforenza D., Software: Practice and Experience, 2002, Vol. 32, no. 15, pp. 1437–1466.

3.     Опарин Г.А. Сатурн – метасистема для построения пакетов прикладных программ. В кн.: Пакеты прикладных программ. Методы и разработки. Новосибирск: Наука, 1982. С. 130–160.

4.     Бычков И.В., Опарин Г.А., Новопашин А.П., Феоктистов А.Г., Корсуков А.С., Сидоров И.А. Высокопроизводительные вычислительные ресурсы ИДСТУ СО РАН: Текущее состояние, возможности и перспективы развития // Вычислительные технологии. 2010. Т. 15. № 3. С. 69–82.

5.     Бычков И.В., Опарин Г.А., Феоктистов А.Г., Корсу- ков А.С. Децентрализованное управление потоками заданий в интегрированной кластерной системе // Вестн. НГУ. Сер.: Информационные технологии. 2011. Т. 9. Вып. 2. С. 42–54.

6.     Опарин Г.А., Феоктистов А.Г. Модели и инструментальные средства организации распределенных вычислений // Параллельные вычисления и задачи управления: тр. IV Междунар. конф. М.: Изд-во ИПУ РАН, 2008. C. 1126–1135.


Permanent link:
http://swsys.ru/index.php?page=article&id=3370&lang=en
Print version
Full issue in PDF (5.29Mb)
Download the cover in PDF (1.21Мб)
The article was published in issue no. № 1, 2013 [ pp. 3-6 ]

Perhaps, you might be interested in the following articles of similar topics: