Программные продукты и системы

Введение. Развитие технологий моделирования информационных процессов является одним из наиболее важных направлений для повышения качества программных продуктов. Его актуальность обусловлена стремительным ростом тенденции применения ИТ практически в каждой сфере жизни человека. При этом подходы разнятся в зависимости от сферы примене- ния: в системах производственного управления происходит моделирование процессов взаимодействия оператора и оборудования, в медицине моделируется поведение исследуемых парамет- ров, например, тремор руки. Следует выделить важность моделирования информационных процессов при обучении, в том числе методов взаимодействия с роботами и интерактивными досками, взаимодействия датчиков и микроконтроллеров, системы дистанционного управления, например, перчаткой управления.

Известно большое количество работ с использованием модуля интерактивного управления – умной перчатки. Самым популярным направлением применения является медицина. Перчатку можно задействовать как эффективный вариант для поддержки функции руки  у пациентов с хроническим инсультом, страдающих нарушениями моторики [1]; ПО анализирует пространственное перемещение руки для выявления характерных маркеров восстановления мелкой моторики. Также перчатку можно использовать как универсальный манипулятор при проведении высокоточных медицинских операций, как инструмент распознавания жестов для глухонемых пользователей [2, 3]. Данные разработки получают все большую популярность.

Известно изобретение сенсорной перчатки и способа генерации тактильного отклика на ее пальце при взаимодействии с инфракрасным сенсорным экраном [4], а также виртуальной перчатки со съемными модулями, зарегистрированной в качестве полезной модели и предназначенной для работы с интерактивными устройствами, компьютерной робототехникой, компьютером [5].

Среди развивающихся направлений можно выделить применение компонентов аналогичных систем для пространственного определения положения беспилотников. Для стабилизации положения БПЛА в пространстве используется датчик MPU6050, содержащий на борту трехосевой акселерометр и трехосевой гироскоп [6]. Только в данном случае конечным управляемым устройством является не курсор мыши, а приводы, осуществляющие пространственное выравнивание беспилотинка.

Метод реализации модуля управления

Моделирование информационных процессов с использованием подобного устройства предполагает не только программирование необходимых для интерактивного обучения функ- ций, но и учет других значимых факторов,  таких как форм-фактор: устройство должно по размерам соответствовать человеческой кисти, в противном случае микросхему не получится смонтировать внутри перчатки либо процесс использования станет неудобным. Для достижения этих условий были применены электронные компоненты, не отличающиеся высоким потреблением энергии.

Решить проблему интерактивного обучения позволит разработанная интерактивная перчатка, дистанционно управляющая цифровым оборудованием (рис. 1). Принцип работы интерактивной перчатки основан на определении пространственного положения устройства модулем MPU6050 (рис. 2), включающим в себя датчики акселерометра и гироскопа [7], с дальнейшим взаимодействием на основе получаемых данных.

Важно отметить совпадение осей гироскопа и акселерометра, что позволяет существенно снизить риски ошибок при осуществлении измерений. Вышеупомянутый модуль имеет различные настройки измерений и данных на выходе [8]. Приведем анализ этих настроек.

1) setGyroRange – параметр, отвечающий  за диапазон измерений гироскопа [9]. Пред- ставим некоторые из доступных значений: MPU6050_RANGE_250, MPU6050_RANGE_500, MPU6050_RANGE_1000, MPU6050_RANGE_2000. Изменение диапазона может пригодиться для более тонкой настройки под конечного пользо- вателя.

2) setAccelerometerRange – параметр, реализующий диапазон измерений акселерометра [10]. Представим некоторые из доступных прини- маемых значений: MPU6050_RANGE_2_G, MPU6050_RANGE_4_G, MPU6050_RANGE_8_G, MPU6050_RANGE_16_G. Изменение этого параметра дает возможность менять диапазон  измерений акселерометра. В рассматриваемом устройстве-перчатке применяется диапазон ±2g, так как на этапе тестирования он оказался наиболее стабильным при использовании совместно с внешними устройствами [11].

3) setFilterBandwidth – параметр, отвечающий за полосу пропускания фильтра низких ча- стот (Гц). Представим некоторые из доступных принимаемых значений [12]: MPU6050_BAND_5, MPU6050_BAND_21, MPU6050_BAND_94, MPU6050_BAND_260.

Полоса пропускания используется для регулировки уровня шума и может влиять на скорость реагирования на изменения показаний датчика. Применяемый цифровой фильтр низких частот Low-Pass Filter позволяет пропускать сигналы ниже заданного порога и подавлять более высокие [13], что приводит к снижению шума, но уменьшает скорость реагирования  на изменение величины измеряемого параметра [14]. В рассматриваемом случае – это скорость изменения положения. Повышение полосы пропускания приведет одновременно  к росту скорости реагирования и увеличению уровня шума [15]. В разрабатываемом проекте применяется значение MPU6050_BAND_5, что соответствует 5 Гц. При выборе баланса между снижением шума и скоростью реагирования приоритет был отдан первому.

Датчик MPU6050 подключен к плате ESP32-CAM через интерфейс I2C и использует 4 пина. Приведем соединяемые выводы:

ESP32-CAM – GND, 3.3V, IO15, IO14;

MPU6050 – GND, VCC, SCL, SDA.

Плата ESP32-CAM в данном случае выступает посредником между датчиками перчатки и программой приема [16]. Согласно документации она имеет небольшие размеры, интерфейс I2C, Wi-Fi, Bluetooth. Отобразим некоторые параметры:

-      Size – 27*40.5*4.5 (±0.2) мм;

-      SPI Flash – по умолчанию 32 Мбит;

-      RAM – 520КБ SRAM + 4 МБ PSRAM;

-      Bluetooth – Bluetooth 4.2 BR/EDR and BLE standards;

-      Wi-Fi – 802.11 b/g/n;

-      Support interface – UART, SPI, I2C, PWM.

Благодаря поддержке Wi-Fi и Bluetooth с заданными параметрами у устройства появляется возможность передавать данные о происходящих событиях с перчатки на программы-приемники без использования проводной передачи данных [17]. Применяемые элементы обусловливают список возможных событий (простая передача данных о пространственном положении либо факты нажатия встроенных механических кнопок).

Перчатка передает только факты нажатия кнопок, роль каждой из которых определена  в программе-приемнике, что позволяет установить пользовательское событие [2]. Например, при нажатии кнопки 1 происходит событие 3 на внешнем устройстве. Обмен данными о пространственном положении и иных событиях происходит через соединение Wi-Fi. Используемая в перчатке ESP32-CAM создает программную точку доступа (Soft Access Point, SoftAP), к которой задаются название, пароль, порт:

define ssid "Move Hands"

define password "123456789"

.softAP (ssid, password);

.setSleep (false);

Подключенные к SoftAP устройства получают данные через WebSockets. Первая версия была реализована на HTTP-запросах и имела скорость обмена около 50-70 сообщений в минуту. После перехода к технологии WS удалось достичь значения 20 сообщений в секунду, что полностью удовлетворяло потребности систе- мы. Приведем код запуска WS и обработчика событий с использованием порта 81:

WebSocketsServer webSocket = WebSocketsServer(81);

webSocket.begin();

webSocket.onEvent(webSocketEvent);

(;;) {

      webSocket.loop();

      vTaskDelay(10);

Перчатка ESP32-CAM дает возможность использовать одновременно два 32-разрядных ядра на частоте 240 МГц, поток обработки событий вынесен отдельно от основного. В связи с этим обычный метод Delay() заменен на vTaskDelay(10). Программный код задействует оба доступных ядра, увеличивая производительность перчатки.

В качестве приемника информации от перчатки управления рассмотрим программу Move Hands на Python3, представляющую собой собственное ПО, разработанное для перчатки. Интерфейс отображен на рисунке 3.

Разделы интерфейса графически представлены в виде шестеренок, которые вращаются при внесении изменений, тем самым подчеркивая их взаимосвязанную работу как единого целого.

Разрабатываемое ПО предназначено для получения данных от перчатки управления с последующим управлением курсором персонального компьютера. Происходит программная связка пространственного положения акселерометра-гироскопа MPU6050 с положением курсора на экране. События нажатия на кнопки перчатки установлены следующим образом: первая кнопка соответствует левой кнопке мыши, вторая кнопка устанавливает точку от-счета положения курсора в соответствии с последним принятым значением, третья кнопка соответствует правой кнопке мыши. Фактически потребитель получает возможность управления мышью, включая настройку точки отсчета. Настройка поведения курсора, помимо нажатия второй кнопки перчатки управления, возможна через раздел «Проверка параметров управления».

Изменение параметров сглаживания применяется при наличии шума, который может проявляться в виде трепетания курсора. Такая настройка помогает сглаживать движения  и устанавливать уровень отсечки незначащих движений для каждой из осей X и Y. Плавность перемещения курсора обеспечивается анимацией, которая также настраивается в разделе проверки управления. Настройки усиления используются для адаптации перемещения курсора по экрану, выступая аналогом чувствительности по осям. Коэффициент коррекции шума реализован через использование среднего значения в массиве. Для сохранения настроек используется соответствующая кнопка вверху графической шестеренки.

В разделе «Проверка параметров запуска» поле CPU_Count проверяет количество возможных потоков у процессора. Некоторые из функций могут работать в отдельном потоке, поэтому рекомендуется использовать как минимум двухпоточные процессоры. Точку доступа, к которой осуществлено подключение, подскажет Wi-Fi-SSID, уровень сигнала отобразит Wi-Fi-level. Если устройство не подключено ни к одной из точек доступа, это также будет отображено в соответствующих полях. Для удобства использования все показатели рассматриваемого раздела обновляются в режиме реального времени и имеют цветовую индика- цию, состоящую из трех состояний: зеленое – нормальное состояние, желтое – возможны проблемы, красное – критическое отклонение.

Раздел «Проверка подключений» позволяет проверять качество подключения. Отобразим функции каждого параметра: Active – индикатор активности соединения, Reconnections – количество переподключений, 0-points – количество ошибок позиционирования.

Таким образом, пользователь получает дополнительную информацию, которая может быть необходима при отладке.

Анализ результатов

Совместное использование перчатки и созданной программы позволяет предоставить обучающимся возможность интерактивного взаимодействия без применения интерактивных досок. Рассмотрим несколько вариантов практического применения.

Ноутбук + проектор + перчатка. В рассматриваемом примере обучающиеся не имеют технических средств для взаимодействия с демонстрируемым материалом. Возможности огра- ничены выводом информации на полотно проектора, любое взаимодействие доступно только  с устройства преподавателя, с которого запущен демонстрационный материал. Активиро- вав перчатку, преподаватель получает возмож- ность взаимодействовать с материалом из любой точки аудитории как лично, так и с привле- чением к управлению обучающихся (http:// www.swsys.ru/uploaded/image/2026-1/4.jpg).

Ноутбук + перчатка. Изображение выводится только на экран преподавателя. В этом случае разработанная система также имеет преимущества использования. Поскольку перчат- ка управления – отдельная точка доступа, каждый ученик может назвать ее, например, своим именем, и преподаватель получит возможность по очереди подключать учеников для удаленного взаимодействия. Такой подход эффективен для соблюдения дистанции между обучающимися (http://www.swsys.ru/uploaded/image/ 2026-1/5.jpg), исключается потребность в физическом контакте. Данный вариант реализуем не только в учебных заведениях, но и в местах, где есть необходимость ограничить прямое взаимодействие двух лиц.

Ноутбук + перчатка + интерактивная доска. Применение перчатки управления актуально даже в случае укомплектованности аудитории интерактивной доской. Преподаватель имеет возможность управления контентом прак- тически с любого места в аудитории, где будет связь между ноутбуком и точкой доступа перчатки.

Заключение

Отметим перспективы повышения качества работы перчатки. Разработанная применяемая ESP32-CAM поставляется с монтированной ан- тенной довольно небольших размеров. С одной стороны, это дает преимущество в компактности, а с другой – ограничивает дальность распространения сигнала, для повышения которого предусмотрен разъем для подключения внешней антенны. Вопрос о формах внеш- ней антенны и ее крепления остается в разработке.

Рассматривая перспективы развития подобных устройств, можно сделать вывод о повышении спроса на технологии интерактивного взаимодействия. Также наблюдается растущая тенденция на использование инновационных методов в обучении и промышленности. Данная разработка поможет превратить проектор в аналог интерактивной доски с применением IT-технологий. Потенциальная коммерциализация проекта может послужить импульсом для его развития.

Дальнейшим вектором совершенствования подобного модуля является его использование в условиях, когда возникают сложности с распространением радиоволн. Это внесет определенные изменения в структуру проекта, но расширит спектр ситуаций, в которых будет возможно применение действующей разработки.

Список литературы

1. Lim D.Y.-L., Lai H.-S., Yeow R.C.-H. A bidirectional fabric-based soft robotic glove for hand function assistance in patients with chronic stroke. J. of NeuroEngineering and Rehabilitation, 2023, vol. 20, art. 120. doi: 10.1186/s12984-023-01250-4.

2. Шагулыев Ш.А., Мередова О. Проект умной перчатки с искусственным интеллектом // Молодой ученый. 2024. № 36. С. 183–185.

3. Фазли Т.Г.К., Ермаченков Д.И., Петренко Е.О. Проектирование очувствленной системы управления схватом по схеме управляющей перчатки. Разработка конструкции // Интернет-журнал «Науковедение». 2017. Т. 9. № 2. URL: http://naukovedenie.ru/PDF/37TVN217.pdf (дата обращения: 10.06.2025).

4. Мёллер К., Опитц М., Костка А., Корнау Н. Сенсорная перчатка и способ генерации тактильного отклика на пальце сенсорной перчатки при взаимодействии пальца с инфракрасным сенсорным экраном: патент на изобретение № 2617922 С2. Рос. Федерация, 2017.

5. Максимкин А.В., Жемчугов П.В., Савельев Г., Ладохин Д.И., Дайюб Т., Телышев Д.В. Роботизированная перчатка для нервно-мышечной реабилитации: патент на полезную модель № 232954 U1. Рос. Федерация, 2025.

6. Савельев В.А., Семеницкий И.С. Система оценки положения беспилотного летательного аппарата // Современные проблемы машиноведения: сб. науч. тр. 2023. Ч. 1. С. 167–170.

7. Давлюд И.И. Использование микроэлектромеханических измерительных систем для стабилизации пространственного положения платформы // Робототехника и техническая кибернетика. 2022. Т. 10. № 2. С. 141–148. doi: 10.31776/RTCJ.10207.

8. Буслаев А.Б., Кошелева Н.Н., Белокопытов С.С. Устройство управления модулями MPU6050 по шине I2С на основе микроконтроллера // Вестн. ВГТУ. 2021. Т. 17. № 2. С. 65–69.

9. Антонов И.М., Баскаков С.А., Ногтев С.С. Многофункциональная система измерения параметров колебаний // Гагаринские чтения: сб. избранных науч. докладов по итогам XLVIII Междунар. молодежной науч. конф. 2022. С. 17–24.

10. Бурда А.И. Методы синхронизации объектов в смешанной реальности // Науч. и технич. творчество молодежи: матер. Всерос. науч.-технич. конф. с междунар. участием. 2024. С. 89–92. doi: 10.55648/NTTM-2024-1-89.

11. Глебов-Авилов М.Д., Полевода Ю.А. Учет ускорения свободного падения на оси гироакселерометра // Вопросы электромеханики. Тр. ВНИИЭМ. 2025. Т. 204. № 1. С. 42–46.

12. Розанов Г.Б., Смирнова С.В. Исследование применимости фильтра «простое скользящее среднее» для обработки сигналов микроэлектромеханического акселерометра для беспилотных летательных аппаратов // Вестн. НЦБЖД. 2024. № 2. С. 143–150.

13. Аксенов В.В. Инструментальные средства для экспериментального построения модели погрешностей МЭМС акселерометра // ИВД. 2020. № 11. С. 198–216.

14. Чунг Ч.Т., Меркурьев И.В., Сайпулаев Г.Р. Разработка комплексной математической модели для оценки уровня погрешностей в определении координат многосуставной кисти руки // Транспортное, горное и строительное машиностроение: наука и производство. 2024. № 26. С. 9–16.

15. Filippov V.V., Mitsuk S.V., Luzyanin S.E., Tigrov V.P. Technique of specific conductivity measurement of anisotropic semiconductor plates and films. Acta Physica Polonica A, 2020, vol. 138, no. 6, pp. 759–762. doi: 10.12693/
APhysPolA.138.759.

16. Стукалов С.Б., Костенков В.А., Гаврюшин Р.С. Автоматизация управления сектором видения бортовой системы визуализации // Актуальные проблемы и перспективы развития гражданской авиации: сб. тр. XI Междунар. науч.-практич. конф. 2022. С. 107–114.

17. Нагорных М.Э., Антонов А.А., Чернышев С.А. Программное обеспечение для дистанционного управления приложениями посредством жестов кистей рук // Междунар. журнал информационных технологий и энергоэффективности. 2021. Т. 6. № 1. С. 34–41.

References

1. Lim, D.Y.-L., Lai, H.-S., Yeow, R.C.-H. (2023) ‘A bidirectional fabric-based soft robotic glove for hand function assistance in patients with chronic stroke’, J. of NeuroEngineering and Rehabilitation, 20, art. 120. 2. Shagulyev, S.A., Meredova, O. (2024) ‘Smart glove project with artificial intelligence’, Molodoy Ucheny, (36),
pp. 183–185 (in Russ.).

3. Fazli, T.G.K., Ermachenkov, D.I., Petrenko, E.O. (2017) ‘Designing a sensitive grip control system according to the control glove scheme. Design development’, Naukovedenie, 9 (2), available at: http://naukovedenie.ru/PDF/37TVN217.pdf (accessed June 10, 2025) (in Russ.).

4. Meller, K., Opitz, M., Kostka, A., Kornau, N. (2017) Sensor Glove and Method of Generating Tactile Response to Sensor Glove Finger While Interacting Finger with Infrared Touch Screen, Pat. RF, № 2617922 С2.

5. Maksimkin, A.V., Zhemchugov, P.V., Savelyev, G., Ladokhin, D.I., Dayub, T., Telyshev, D.V. (2025) Robotic Glove for Neuromuscular Rehabilitation, Pat. RF, № 232954 U1.

6. Savelyev, V.A., Semenitsky, I.S. (2023) ‘A system for assessing the position of an unmanned aerial vehicle’, Proc. Sovremennye Problemy Mashinovedeniya, pt 1, pp. 167–170 (in Russ.).

7. Davlyud, I.I. (2022) ‘Use of microelectromechanical measuring systems to stabilize the spatial position of the platform’, Robotics and Tech. Cybernetics, 10(2), pp. 141–148 (in Russ.). doi: 10.31776/RTCJ.10207.

8. Buslaev, А.B., Kosheleva, N.N., Belokopytov, S.S. (2021) ‘MPU6050 module control unit on the I2C bus based on a microcontroller’, Bull. of VSTU, 17(2), pp. 65–69 (in Russ.).

9. Antonov, I.M., Baskakov, S.A., Nogtev, S.S. ‘Multifunctional system for measuring oscillation parameters’, Proc. XLVIII Int. Sci. Conf. Gagarin Sci., pp. 17–24 (in Russ.).

10. Burda, A.I. (2024) ‘Methods for synchronizing objects in mixed reality’, Proc. Russ. Sci. and Tech. Conf. Scientific and Tech. Creativiy of Youth - 2024, pp. 89–92 (in Russ.). doi: 10.55648/NTTM-2024-1-89.

11. Glebov-Avilov, M.D., Polevoda, Yu.A. (2025) ‘Free fall acceleration on the gyroaccelerometer axis’, Electromechanical Matters. VNIIEM Studies, 204(1), pp. 42–46 (in Russ.).

12. Rozanov, G.B., Smirnova, S.V. (2024) ‘A study of the applicability of the «simple moving average» filter for processing signals of a microelectromechanical accelerometer for unmanned aerial vehicles’, Vestn. NCBŽD, (2), pp. 143–150 (in Russ.).

13. Aksenov, V.V. (2020) ‘Instruments for experimental construction of a model of errors of a MEMS accelerometer’, Engineering J. of Don, (11), pp. 198–216 (in Russ.).

14. Chung, Ch.T., Merkuryev, I.V., Saipulaev, G.R. (2024) ‘Development of a complex mathematical model for assessing the level of errors in determining the coordinates of a multi–articular hand’, Transport, Mining and Construction Engineering: Sci. and Production, (26), pp. 9–16 (in Russ.).

15. Filippov, V.V., Mitsuk, S.V., Luzyanin, S.E., Tigrov, V.P. (2020) ‘Technique of specific conductivity measurement of anisotropic semiconductor plates and films’, Acta Physica Polonica A, 138(6), pp. 759–762. doi: 10.12693/APhysPolA.138.759.

16. Stukalov, S.B., Kostenkov, V.A., Gavryushin, R.S. (2022) ‘Automation control of the vision sector of the on-board imaging system’, Proc. XI Int. Sci. and Pract. Conf. Actual Problems and Prospects for the Development of Civil Aviatio, pp. 107–114 (in Russ.).

17. Nagornykh, M.E., Antonov, A.A., Chernyshev, S.A. (2021) ‘Software for remote control of applications through hand gestures’, Int. J. of Information Tech. and Energy Efficiency, 6(1), pp. 34–41(in Russ.).