Программные продукты и системы

Статьи из выпуска № 4 за 2024 год.

Упорядочить результаты по: Дате публикации | Заголовку статьи | Авторам |

1. Высокопроизводительный сервис сбора и анализа файлов журналов сетевого и серверного оборудования в национальной исследовательской компьютерной сети [№4 за 2024 год]
Автор: Абрамов А.Г.
Просмотров: 5408
Построение бесперебойного и производительного решения для сбора, интеллектуальной обработки и анализа данных системных и сервисных журналов представляет собой содержательную и многоаспектную исследовательскую и прикладную задачу. Ее решение позволит обеспечить надежное функционирование научных телекоммуникационных сетей и сервисов на их основе. В настоящей статье приведен обзор разработанных и эксплуатируемых методик, технологий и инструментов работы с журналами с акцентом на программное обеспечение с открытым исходным кодом. Рассмотрены некоторые аспекты работы служб журналирования в операционных системах семейства Unix, основанных на протоколе syslog. Обозначены особенности построения и примеры типовых современных программных конвейеров обработки журналов и выполняемые ключевые функции, в том числе при задействовании методов и технологий машинного обучения. Приведено схематическое и детальное текстовое описание разработанного и внедренного в национальной исследовательской компьютерной сети России специализированного сервиса. Представленный сервис основан на наборе открытого программного обеспечения в составе широко применяемого в практике системного администрирования пакета сбора и обработки данных журналов Rsyslog, на высокопроизводительной колоночной СУБД ClickHouse и системе визуализации, статистики и аналитики данных Grafana.

2. Разработка программного комплекса многоканального распознавания и коррекции речевых сообщений на основе алгоритмов машинного обучения в структуре импортозамещения [№4 за 2024 год]
Авторы: Абу-Абед Ф.Н., Жиронкин С.А.
Просмотров: 7382
Предметом данного исследования является разработка программного комплекса многоканального распознавания и коррекции речевых сообщений на основе машинного обучения. Комплекс призван решать задачу повышения эффективности факторов производства как составляющую моделирования структуры импортозамещения в российской экономике. Актуальность работы заключается в отсутствии программных аналогов и разработок на отечественном рынке программных продуктов в условиях усиления технологических санкционных ограничений. Целью исследования является повышение эффективности внутренних коммуникаций российских компаний. В качестве методов исследования применяются системный анализ, машинное обучение, информационно-телекоммуникационное системное проектирование и объектно-ориентированное программирование. В настоящей статье приведены архитектура и основные компоненты программного комплекса, такие как бот для взаимодействия с пользователями, кэширование данных, долговременное хранение информации и сервис для распознавания и коррекции речевых сообщений с использованием методов машинного обучения. В разработанном авторами приложении решаются задачи развертывания и контейнеризации речевых сообщений с реализацией сервиса распознавания и расшифровки речевых сообщений. Предложенная система основана на кэшировании данных, распределяет нагрузку между независимыми сервисными компонентами с поддержкой контейнеризации, она адаптирована к масштабированию и работе на различных платформах и облачных средах. Интерфейс приложения дает пользователю возможность произвести необходимые настройки с целью автоматического распознавания, диаризации, коррекции и обобщения речевых сообщений. Научная новизна заключается в получении результатов, способствующих оптимизации внутренних коммуникаций с помощью алгоритмов машинного обучения для повышения точности и адаптивности корпоративных систем связи. Данные системы позволяют эффективно решать важную задачу моделирования структуры импортозамещения в условиях усиления внешних шоков и технологических ограничений.

3. Ожидания от производительности вычислительного кластера при выборе параллельной файловой системы [№4 за 2024 год]
Авторы: Аладышев О.С., Захарченко А.В., Огарышев В.Ф., Шабанов Б.М.
Просмотров: 6103
При создании высокопроизводительного вычислительного кластера одной из наиболее актуальных задач является обеспечение производительной внешней системы хранения данных под будущую рабочую нагрузку. В статье исследуются принципы работы параллельных файловых систем, которые могут определять их производительность для различных рабочих нагрузок, и предлагается метод определения пределов производительности внешних систем хранения данных. Основным преимуществом предлагаемого метода является поэтапность выявления пределов производительности. Сначала определяются пределы аппаратной части (инфраструктуры) на основе теоретических расчетов. Потом пределы уточняются с помощью тестов и/или показаний системы мониторинга аппаратной части системы хранения данных. Вместе с выбором файловой системы и конфигурированием аппаратной части формируются программные факторы, которые могут влиять на производительность файловой системы для требуемой рабочей нагрузки. С помощью различных предметных тестов или моделей пределы продолжают уточняться. В конечном итоге выявленные пределы проверяются в предварительно настроенной под требуемую рабочую нагрузку системе хранения данных. Предлагаемый подход к выбору параллельной файловой системы для высокопроизводительного вычислительного кластера и к настройке системы хранения данных для определенного спектра параллельных суперкомпьютерных приложений позволяет обойтись без применения сложных моделей и необходимости анализа больших объемов результатов тестирования. Кроме того, он помогает лучше понять характеристики создаваемой системы хранения данных. Авторский метод поэтапной оценки производительности параллельных файловых систем позволяет упростить и ускорить процесс разработки системы хранения данных с параллельной файловой системой. Метод так же хорошо может работать и c современными специализированными файловыми системами, динамически создаваемыми для суперкомпьютерного приложения.

4. Повышение вычислительной мощности персонального компьютера за счет интеграции с распределенной системой из смартфонов [№4 за 2024 год]
Авторы: Балабаев С.А., Лупин С.А., Телегин П.Н., Шабанов Б.М.
Просмотров: 7272
В статье рассмотрена возможность повышения производительности персонального компьютера за счет интеграции с ним распределенной системы из смартфонов. Приведен обзор основных аппаратных и программных особенностей мобильных устройств, проведена оценка влияния подобных узлов на производительность распределенной вычислительной системы. Было выявлено, что их основными отличиями от персональных компьютеров являются низкое качество охлаждения устройств и архитектура big.LITTLE. Эти особенности мобильных устройств не позволяют задействовать все ядра смартфона на полную мощность и должны быть учтены при их интеграции в единую вычислительную среду. Программное обеспечение для интеграции мобильных устройств с персональными компьютерами состоит из двух приложений – клиента и сервера, разработанных на языке программирования Java. Приложения позволяют загружать вычисляемую задачу на узлы, запускать ее, аккумулировать и отображать полученные с узлов результаты вычислений. Взаимодействие между устройствами происходит по сети. Вычисляемая задача представляет собой apk-приложение, содержащее Java-класс, методы которого могут быть вызваны из приложения, запущенного на клиенте. Используемый алгоритм балансировки нагрузки узлов позволяет интегрировать в единую среду смартфоны разных поколений, значительно отличающиеся по производительности. Показано, что для эффективного распределения нагрузки между узлами системы необходимо использовать значение их реальной производительности. В работе приводятся результаты решения задачи минимизации функции в распределенной среде, организованной при помощи разработанного программного обеспечения. Они подтверждают достижение поставленной цели. Полученные результаты могут быть полезны широкому кругу специалистов.

5. Управление пользовательскими заданиями в сети суперкомпьютерных центров с применением федеративной аутентификации [№4 за 2024 год]
Авторы: Баранов А.В., Кузнецов Е.Е.
Просмотров: 5652
Предметом представленного в статье исследования является управление пользовательскими заданиями в распределенной сети научных суперкомпьютерных центров (СКЦ) коллективного пользования. Сеть СКЦ объединяет высокопроизводительные вычислительные системы разной архитектуры, принадлежащие различным СКЦ. Каждый центр самостоятельно определяет политику безопасности и поддерживает собственную базу учетных записей пользователей, что осложняет управление пользовательскими заданиями, в частности, затрудняет оперативное перераспределение заданий между вычислительными системами разных СКЦ. Методология исследования базируется на совмещении двухуровневой иерархической системы управления заданиями и федеративного управления идентификацией, в частности, федеративной аутентификации. В работе предложен новый метод управления пользовательскими заданиями в распределенной сети СКЦ, основанный на федеративной аутентификации. Верхний уровень иерархии управления представлен глобальной очередью, из которой задания распределяются по вычислительным системам распределенной сети СКЦ. Локальные очереди этих вычислительных систем образуют нижний уровень иерархии управления заданиями. Аутентификация и авторизация для каждого задания должны производиться дважды: при постановке в глобальную очередь и при распределении в одну из локальных очередей. Предлагаемый метод учитывает, что за время нахождения в глобальной очереди задание с точки зрения информационной безопасности превращается из объекта в субъект, который заново должен быть авторизован в локальной очереди. Как показано в статье, применение федеративной аутентификации при авторизации пользователей и их заданий позволяет построить простую и безопасную схему управления заданиями в сети СКЦ. Практическую значимость исследования составляют представленный в статье порядок функционирования системы управления заданиями в распределенной сети СКЦ и анализ безопасности такой системы.

6. Программная реализация математической модели расчета технологических параметров электротермических реакторов [№4 за 2024 год]
Авторы: Быков А.А., Бобков В.И., Орехов В.А., Незамаев С.В.
Просмотров: 5977
В работе представлена математическая модель, описывающая возможный метод расчета тепломассовых процессов. На основе модели разработан итерационный алгоритм и создана информационная система, которая осуществляет моделирование расчета технологических параметров электротермических реакторов, используемых для переработки рудного фосфатного сырья. Особенность разработанной модели в том, что она учитывает взаимосвязь зонального представления происходящих в руднотермических печах процессов. А на базе параметров теплогидравлического режима можно получить решение задачи идентификации поступления сырья в зону реакции. В дальнейшем это даст возможность разработки системы автоматизации управления процессами в данной зоне с целью удаления примесей. Созданная математическая модель позволяет учитывать конфигурацию внутренней структуры исследуемых установок для понимания природы происходящих в них процессов и явлений. При поиске решения была также использована модель алгоритма автоматического построения сетки конечных элементов, предложен алгоритм реализации конечно-элементных уравнений с оптимизацией ширины матрицы и использованием свойств симметрии. Созданный программный комплекс позволяет выполнять автоматизированные расчеты режимов функционирования электротермических рудовосстановительных реакторов любых конструкций, в том числе и применяемых при выплавке фосфатного сырья. База данных информационной системы дает возможность пользователю выбрать модель рудовосстановительного реактора и произвести расчет тепломассообменных процессов, а также задать систему эффективных коэффициентов для расчета разработанной экспериментальной модели восстановительного реактора. При этом в программном комплексе можно выполнить не только комплексный расчет руднотермического реактора, но и отдельных его характеристик. Многодокументный интерфейс наглядно представляет результаты расчетов в виде полей изолиний и векторов скоростей тепломассовых процессов.

7. Диалоговый программный комплекс для формирования онтологии единого цифрового пространства научных знаний [№4 за 2024 год]
Авторы: Власова С.А., Калёнов Н.Е.
Просмотров: 6917
В статье рассматривается программный комплекс, формирующий онтологию Единого цифрового пространства научных знаний (ЕЦПНЗ). Онтология включает совокупность справочников, описывающих подпространства, классы объектов, атрибуты объектов и связи различных типов и видов. Каждый справочник атрибутов объектов содержит наименование атрибута, информацию о его формате и статусе, а также имя словаря значений и его тип. Справочники связей содержат необходимую информацию о связях пар объектов или значений атрибутов. Онтология ЕЦПНЗ включает именованные связи трех типов – универсальные, квазиуниверсальные и специфические. Конкретная связь любого типа может быть простой или составной. Представленный в статье программный комплекс реализует сервисы, связанные с формированием справочников подпространств, классов, атрибутов объектов и связей всех типов ЕЦПНЗ. Комплекс ориентирован на администраторов подпространств ЕЦПНЗ и позволяет в режиме диалога создавать структурные элементы ЕЦПНЗ. Эти элементы необходимы для формирования контента пространства с автоматическим определением списка атрибутов объектов, форматов их ввода и необходимых средств формально-логического контроля. При работе комплекса обеспечивается контроль вводимой информации, исключающий дублирование элементов или некорректный ввод данных, противоречащий декларированной классом «форматы» структуре. Программный комплекс состоит из двух модулей – формирования новых элементов и редактирования уже имеющихся. Модуль редактирования позволяет удалять элементы онтологии без нарушения ее целостности. В результате работы комплекса строится структура, являющаяся основой для унифицированных программ формирования контента ЕЦПНЗ.

8. Особенности функционального моделирования сложных иерархических систем при различных способах организации управления исследуемыми процессами с целью выбора рациональной структуры системы [№4 за 2024 год]
Авторы: Долгов Н.В., Ильин В.А.
Просмотров: 6379
В представленном исследовании выполнен общий анализ функционального моделирования сложных иерархически организованных систем. В таких системах отдельные процессы разных уровней иерархии взаимодействуют друг с другом непосредственно, кроме функции управления соответствующей иерархии при различных способах организации управления. В статье рассмотрены сложные системы двухуровневой иерархии управления при централизованном, децентрализованном и сетецентрическом способах управления системами нижнего уровня иерархии. Также проанализированы несколько вариантов организации построения абстрактных иерархических процессов, представленных в нотации технологии IDEF0, и управления этими процессами. Данные процессы являются функциональными моделями сложных систем при различных способах управления. В ходе интерпретации функциональных моделей сложных систем при различных способах управления сформированы матрицы связей функций моделируемых процессов. Предложены математические зависимости для определения эффективности процесса функциональных моделей сложных систем при различных способах управления. Выполнен анализ функциональных моделей сложных систем и выявлена наиболее эффективная из них. Также доказано, что возрастание числа процедурных функций функциональных моделей ведет к уменьшению эффективности процессов, а увеличение прямых и обратных функциональных связей функциональных моделей – к ее увеличению.

9. Совершенствование информационной технологии автоматизации мониторинга технической готовности кораблей военно-морского флота [№4 за 2024 год]
Авторы: Елецкий М.И., Зальмарсон А.Ф., Захарьев А.А.
Просмотров: 5984
Статья посвящена актуальной проблеме повышения уровня автоматизации, оперативности и качества решения функциональных задач мониторинга технической готовности кораблей за счет разработки компонентов информационной технологии. Для их реализации необходима математическая постановка задачи, основанная на методах логико-лингвистического моделирования. Потребность в совершенствовании информационной технологии автоматизации мониторинга технической готовности кораблей тесно связана с решением ряда теоретических и практических вопросов. Анализ существующей информационной технологии показал, что выделенные авторами этапы обработки информации по технической готовности кораблей являются весьма трудоемкими, а их качественное выполнение требует сохранения и анализа больших массивов информации. Однако реализованная в настоящее время в АСУ информационная технология представлена фрагментарно и несистемно. В то же время неавтоматизированная технология не обеспечивает полную и качественную реализацию всех выделенных в ходе исследований этапов обработки информации. Для решения данных проблем требуется разработка компонентов информационной технологии, обеспечивающих комплексную автоматизацию мониторинга технической готовности кораблей. Реализация указанных требований предусматривает, прежде всего, разработку формальной математической модели, адекватно и полно отображающей компоненты информационной технологии, семантические и прагматические свойства объектов мониторинга. Предложенный авторами подход на практике должен обеспечить создание из информационного ресурса качественного информационного продукта, удовлетворяющего требованиям оператора (пользователя).

10. Реализация темпоральной базы данных для интеллектуальных систем поддержки принятия решений реального времени на примере образовательного процесса вуза [№4 за 2024 год]
Авторы: Еремеев А.П., Панявин Н.А., Маренков М.А.
Просмотров: 7233
Целью данной работы является исследование и разработка темпоральной базы данных и на ее основе темпоральной базы знаний для современных интеллектуальных систем реального времени. В качестве предметной области, требующей интеллектуального анализа и обработки динамических (темпоральных) данных, рассматривается образовательный процесс вуза. Прототип предназначен для контроля успеваемости и помощи студентам вуза в проблемных ситуациях в процессе обучения. Для реализации темпоральной модели представления информации и на ее основе темпоральных баз данных и знаний в работе предлагается использование нереляционной (NoSQL) организации базы данных. Эта база данных более всего подходит для оперирования пространственными динамическими данными. Для их обработки классические реляционные модели и реляционные (SQL) базы данных плохо применимы. Предложена общая схема прототипа интеллектуальной системы поддержки принятия решений реального времени с темпоральной базой данных и знаний. Темпоральная база данных организована на основе графовой модели и дополнена системой поиска решений на основе интервальной логики Аллена и метрической логики. В качестве реальных данных для организации темпоральной базы данных в прототипе были использованы данные 2 000 студентов НИУ «МЭИ» по ряду профильных дисциплин, полученные из специализированных информационных систем университета за последние несколько лет. Программная реализация выполнена с применением языка программирования Python v.3.10, библиотеки для распределенных и параллельных вычислений Dask и нереляционной графовой СУБД Neo4j.

| 1 | 2 | Следующая → ►