ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Bookmark

Next issue

4
Publication date:
16 December 2020
-->

Design automation of adaptive user interfaces with elements of artificial intelligence

Date of submission article: 2019-08-16
UDC: 004.5; 004.8
The article was published in issue no. № 1, 2020 [ pp. 005-012 ]
Abstract:Design of the user interface is more, than distribution on the screen of controlling units of the program. The cognitive psychology explains how the person reads, thinks and remembers. It helps to design user interfaces in such a way that the software would work according to psychological opportunities and re-strictions of those people for which it is intended. In article describes the development technique of adaptive interfaces of application programs based on the professional quality assessment, psychophysiological features and an emotional status of users. Method using of artificial intelligence at software design allows considering features of the user au-dience. There are the characteristics based on which for users the adaptive interface will be selected. There are three groups of characteristics. The first group is the professional qualities during the work with the computer equipment, the second included psychophysiological features the third emotional statuses of the user. Each of characteristics has a three-point scale: the high, low and average level depending on the got points. The developed automated system, allows creating groups based on the user assessment, the adapted prototype of the application program interface is for each of which. For selection of an optimum proto-type of the interface in the application we use the indistinct expert system (ES) based on the produc-tional model of the knowledge representation. There is the example of the interface selection for the staff work of tax administration implementing data processing of individual and legal entities. There is a receiving two templates of the interface for experienced and not experienced users. As a result, users with different level of training and opportuni-ties can carry out more comfortably the professional activity, during the work with the application pro-gram.
Аннотация:Проектирование пользовательского интерфейса – это больше чем распределение на экране управляющих элементов программы. Когнитивная психология объясняет, как человек читает, думает, запоминает. Это помогает проектировать пользовательские интерфейсы таким образом, что-бы ПО работало соответственно психологическим возможностям и ограничениям тех людей, для которых оно предназначено. В статье описана методика разработки адаптивных интерфейсов прикладных программ на основе оценки профессиональных качеств, психофизиологических особенностей, а также эмоционального состояния пользователей. Использование методов искусственного интеллекта при проектировании ПО позволяет учитывать особенности пользовательской аудитории. Определены характеристики, на основе которых для пользователей будет подбираться адаптивный интерфейс. Выделены три группы характеристик. К первой группе отнесены профессиональные качества при работе с компьютерной техникой, во вторую вошли психофизиологические особенности, в третью – эмоциональные состояния пользователя. Каждая из характеристик оценивается по трехбалльной шкале: высокий, низкий и средний уровень в зависимости от полученных баллов. Разработанная автоматизированная система позволяет на основе оценки пользователей формировать группы, каждой из которых предоставляется адаптированный прототип интерфейса прикладной программы. Для подбора оптимального прототипа интерфейса в приложении используется нечеткая экспертная система на основе продукционной модели представления знаний. Приведен пример подбора интерфейса для работы сотрудников налоговой службы, реализующих обработку данных физических и юридических лиц. Показано получение двух шаблонов интерфейса для опытных и неопытных пользователей. В результате пользователи с разными уровнем подготовки и возможностями могут более комфортно осуществлять свою профессиональную деятельность при работе с прикладной программой.
Authors: Zubkova T.M. (bars87@mail.ru) - Orenburg State University, Orenburg, Russia, Ph.D, L.F. Tagirova (LG-77@mail.ru) - Orenburg State University (Associate Professor), Orenburg, Russia, Ph.D, V.K. Tagirov (vladtagir@mail.ru) - Volga State University of Telecommunication and Informatics (Orenburg branch) (Associate Professor), Orenburg, Russia, Ph.D
Keywords: adaptive interface, automated information system, artificial intelligence, fuzzy expert system, production model, knowledge base
Page views: 1759
PDF version article
Full issue in PDF (4.91Mb)

Font size:       Font:

В настоящее время интерфейс является визитной карточкой программного средства и от него часто зависит, будет ли оно иметь успех на рынке программных продуктов.

Пользовательский интерфейс является одной из самых важных частей программного средства – это то, что видит пользователь. Для него интерфейс и есть само ПО.

Интерфейс является ориентированным на человека, если отвечает его нуждам и учитывает его уровень. Чтобы создать такой интерфейс, необходимо иметь представление о том, как действуют люди и машины, определять те трудности, с которыми приходится сталки- ваться человеку, а это не всегда просто.

Круг потенциальных пользователей оказывает влияние на разработку программного средства. Интерфейс для начинающих пользователей требует простого дизайна, а для опытных он может быть более сложным.

Интерфейс содержит все, что помогает пользователю видеть, слышать, отмечать, трогать на экране компьютера, а также информацию, с которой он работает.

Адаптивный интерфейс представляет собой сложную систему динамического изменения структуры и внешнего вида интерфейса, основанную на информации о пользователе и встроенных механизмах адаптации.

Применение методов искусственного интеллекта при проектировании прикладных программ позволит максимально учитывать особенности подготовки пользователей к работе с программным средством.

Многие исследователи занимались различными подходами и анализом при проектиро- вании пользовательских интерфейсов (при- менение искусственного интеллекта [1–3], алгоритмизации [4, 5], оценка надежности, эффективности [6]), а также естественно-языковым интерфейсом в диалоговых системах [7], эмпирическими исследованиями и др. [8–10]. Однако на сегодняшний день нет примеров полноценной реализации адаптивных пользовательских интерфейсов. Существуют инструменты, помогающие внедрять адаптивные конструкции в программные интерфейсы. Подобные системы ограничиваются предоставлением различных вариантов элементов управления (кнопки, полосы прокрутки и т.п.).

Во многих работах при проектировании прототипа интерфейса не учитываются эмоциональное состояние пользователя, работающего с системой в данный момент [11, 12], а также его психофизиологические особенности. Некоторые авторы при прототипировании интерфейсов ограничивались оценкой навыков пользователя, его когнитивных особенностей и др. [13–15].

Таким образом, проектирование адаптивных интерфейсов является достаточно актуальной проблемой, которую многие исследователи пытаются решить по-разному. В частности, большое число авторов предлагают использовать элементы искусственного интеллекта при создании интерфейсов прикладных программ, которые позволят максимально учитывать особенности пользователей и адаптировать приложения для работы с ними.

Методика решения поставленной задачи

Проблема разработки адаптивных пользовательских интерфейсов актуальна при создании приложений в различных предметных областях (образование, экономика, производство и др.).

На первом этапе работы над данной проблемой были определены характеристики, на основе оценки которых для пользователей будет подбираться адаптивный интерфейс. В резуль- тате анализа работ по прототипированию ин- терфейсов и обзора мнений разработчиков в IT-сфере были выделены три группы характеристик.

К первой группе отнесены профессиональные качества при работе с компьютерной техникой (компьютерная грамотность, системный опыт, опыт работы с подобными программами, машинопись). Во вторую группу вошли психофизиологические особенности (мышление, память, концентрация внимания), а в третью – три эмоциональных состояния, в которых может находиться пользователь: адекватное, возбужденное, стрессовое.

Каждая характеристика оценивается по трехбалльной шкале: высокий уровень – 75–100 баллов, средний – 51–74 балла, низ- кий – 0–50 баллов. В результате определены пять типов пользователей: пользователь с компьютерной подготовкой (профессионал), опытный пользователь, уверенный пользователь, типовой, новичок.

Выделенные пять типов пользователей могут находиться в одном из трех эмоциональных состояний – адекватном, возбужденном и стрессовом. На пересечении типов пользователей и их эмоциональных состояний могут быть сформированы различные варианты прототипов интерфейсов пользователей автоматизированной информационной системы (АИС) [1].

Например, «Прототип 2» предназначен для опытных пользователей в адекватном состоянии либо для пользователей с компьютерной подготовкой (профессионалов), которые находятся в возбужденном состоянии. Он представляет собой графический интерфейс, в нем используются холодные цвета, сообщения об ошибках выделяются другим цветом. При необходимости пользователю доступен ввод данных с клавиатуры. Реализованы небольшие кнопки меню и обычный шрифт. Имеются специальные пиктограммы. Используются горячие клавиши.

«Прототип 5» представляет собой графический интерфейс, рассчитанный на неопытных пользователей. В нем используются яркие цвета, сообщения об ошибках выделяются другим цветом и крупным шрифтом. При необходимости внесения данных пользователю предоставляется право выбора параметров из ниспадающего списка, а не их ввод с клавиатуры. Используются крупные кнопки и крупный шрифт, а также звуковое оповещение для подсказки и общеизвестные пиктограммы. Горячие клавиши не используются.

Разработка АИС проектирования адаптивных пользовательских интерфейсов

Для решения проблемы адаптации пользовательских интерфейсов прикладных программ разработана АИС, которая позволяет на основе оценки характеристик пользователя и его эмоционального состояния предоставлять подходящий ему прототип интерфейса. В итоге пользователи с разными уровнем подготовки и возможностями смогут более комфортно осуществлять свою профессиональную деятельность при работе с прикладной программой. Рассмотрен пример подбора интерфейса для работы сотрудников налоговой службы, обрабатывающих данные физических и юридических лиц.

Пользователями разрабатываемой АИС являются разработчик, эксперт, а также налоговый инспектор, для которого будет подбираться интерфейс. Все они входят в систему с разными правами доступа.

Разработчик готовит БД оценочных материалов для дальнейшей оценки пользователей. Помимо этого, он имеет возможность работать с прототипами интерфейсов, редактировать либо удалять существующие, а также добавлять новые. Ему доступны и остальные пункты меню.

Эксперт формирует экспертную группу на основе взаимной оценки компетентности экспертов. Помимо этого, он реализует ранжирование характеристик пользователя и на основе полученных результатов разрабатывает базу правил экспертной системы. Эксперт имеет возможность корректировать правила, а также реализовывать трассировку базы правил.

Пользователь имеет возможность оценивать свои характеристики, просматривать результаты, а также непосредственно работать с адаптированным интерфейсом.

На начальном этапе работы АИС формируется база оценочных средств, по которым будут оцениваться профессиональные качества, психофизиологические характеристики и эмоциональное состояние пользователя. Результаты оценки сохраняются в БД АИС.

Для оценки профессиональных качеств пользователя в приложении используются такие методы, как анкетирование, тестирование на профпригодность, решение профессиональных задач и др., для оценки психофизиологических характеристик – психологическое тестирование, анкетирование и т.п. [2].

И, наконец, для оценки эмоционального состояния пользователя применялся восьмицветовой тест Люшера: испытуемому предлагается выбрать из представленных цветовых таблиц самый приятный для него в данный момент цвет [16].

Частью разрабатываемой АИС является нечеткая экспертная система на основе продукционной модели знаний. Экспертная система использовалась для принятия решения о том, какой прототип соответствует определенной группе пользователей, и для подбора наиболее подходящего.

На предварительном этапе работы экспертной системы была оценена компетентность экспертов и сформирована группа [17]. Затем реализовано ранжирование характеристик пользователя [18], на основе которых будет подбираться интерфейс. В результате определены доминирующие характеристики и разработана база правил продукционной модели нечеткой экспертной системы, детальная работа которой описана с помощью диаграммы деятельности языка UML на рисунке 1 [1].

Подбор оптимального прототипа интерфейса при работе экспертной системы происходит следующим образом. На вход поступают данные о результатах оценки характеристик пользователя, полученные в результате работы АИС. Данные пользователя сравниваются с правилами продукционной базы правил нечеткой экспертной системы. В результате фор- мируются группы пользователей и предо- ставляется тот прототип интерфейса, который соответствует конкретной группе. Для наглядного представления работы экспертной системы разработаны правила логического вывода (рис. 2).

На начальном этапе оцениваются профессиональные качества пользователя и его психофизиологические особенности. Результаты оценки этих качеств (факты) сравниваются с базой правил, после чего получается новый факт о том, что пользователь может быть отнесен к определенной категории. В приведенном примере на основе оценки качеств пользователя он был отнесен к уверенному пользователю. Затем полученный факт и полученные данные об эмоциональном состоянии пользователя сравниваются с базой правил. В результате срабатывания всех правил выдается заключение о том, какой прототип соответствует пользователю. В рассмотренном примере в результате работы логического вывода пользователю был подобран «Прототип 2».

Реализация АИС

Рассмотренная методика реализована в программном средстве «Автоматизированная ин- формационная система проектирования адаптивных пользовательских интерфейсов», предназначенном для работы специалиста отдела налогообложения физических и юридических лиц. В программном средстве имеются шесть пунктов меню: «Пользователь», «Эксперт», «Прототип», «Подбор оптимального прототипа», «Помощь», «Выход». При входе в систему каждому типу пользователя необходимо пройти авторизацию (рис. 3).

Пользователю при работе с программным средством на первом этапе необходимо пройти оценку характеристик, которые будут занесены в БД АИС (рис. 4). На рисунке 5 представлен пример оценки одной из характеристик – компьютерная грамотность.

Для работы эксперта c приложением необходимо выбрать соответствующий пункт меню, в котором будут доступны подпункты «Регистрация», «Экспертная оценка», «Работа с базой правил», «Трассировка». В ходе работы экспертной системы в пункте меню «Экспертная оценка» создается группа экспертов. Затем группа экспертов формирует базу правил нечеткой экспертной системы в пункте меню «Работа с базой правил». Помимо этого, имеется возможность анализа работы правил продукци- онной модели в пункте «Трассировка».

Следующий пункт меню АИС «Прототип» включает описание характеристик каждого из прототипов с возможностью редактирования. В данном пункте также можно удалить прототип либо добавить новый.

Одной из функций разработанного программного средства являет- ся подбор оптимального прототипа, доступный в соответствующем пункте меню [19]. Эту функцию инициирует пользователь. В данном пункте ин- формация о результатах оценки пользователей считывается из БД АИС и сравнивается с правилами экспертной системы. В результате пользователю будет предоставлен адаптированный под его возможности и особенности интерфейс. После этого пользователь приступает к непосредственной работе с приложением по обработке данных о налогообложении физических и юридических лиц.

На рисунке (см. http:// www.swsys.ru/uploaded/ image/2020-1/2020-1-dop/ 3.jpg) представлена работа по подбору ин- терфейса. Как видим, в результате сравнения загруженных данных пользователя с базой правил экспертной системы было определено, что для данного пользователя оптимальным является прототип интерфейса под номером 2 (см. http://www. swsys.ru/uploaded/image/ 2020-1/2020-1-dop/4.jpg).

Аналогичным образом можно подобрать интерфейс для другой группы пользователей в зависимости от параметров оценки их характеристик. На рисунке (см. http:// www.swsys.ru/uploaded/image/2020-1/2020-1- dop/5.jpg) представлен результат оценки пользователя, которому был подобран пятый прототип (см. http://www.swsys.ru/uploaded/image/ 2020-1/2020-1-dop/6.jpg).

Заключение

Разработанная АИС позволяет на основе оценки характеристик пользователя предоставлять ему подходящий прототип интерфейса. Частью программного средства является нечеткая экспертная система, ядро которой составляет продукционная модель представления знаний. В итоге пользователи с разными уровнем подготовки и возможностями могут более комфортно осуществлять свою профессио- нальную деятельность при работе с прикладной программой. Таким образом, применение программных средств с адаптивным интерфейсом является перспективным научно-техническим направлением, так как обеспечивает простое и удобное взаимодействие пользователей с программной системой. Адаптивный интерфейс позволит использовать все возможности системы при решении поставленных задач.

Литература

1.    Зубкова Т.М., Тагирова Л.Ф., Тагиров В.К. Прототипирование адаптивных пользовательских интерфейсов прикладных программ с использованием методов искусственного интеллекта // Науч.-технич. вестн. ИТМО. 2019. Т. 19. № 4. С. 680–688. DOI: 10.17586/2226-1494-2019-19-4-680-688.

2.    Zubkova T.M., Tagirova L.F. Intelligent user interface design of application programs. JPCS, 2019, vol. 1278, art. 012026. DOI: 10.1088/1742-6596/1278/1/012026.

3.    Попов Ф.А., Ануфриева Н.Ю. Интеллектуализация пользовательских интерфейсов информационных систем // Вестн. ТГУ. 2007. № 300. С. 130–133.

4.    Степанов М.Ф., Степанов А.М. Адаптивный пользовательский интерфейс системы автоматизированного анализа и синтеза алгоритмов управления // Программная инженерия. 2018. Т. 9. № 3. С. 109–122. DOI: 10.17587/prin.9.109-122.

5.    Liao H.Y., Chen K.Y., Liu D.R. Virtual friend recommendations in virtual worlds. Decision support systems, 2015, vol. 69, pp. 59–69. DOI: 10.1016/j.dss.2014.11.005.

6.    Фуртат Ю.О. О влиянии адаптивных пользовательских интерфейсов на надежность и эффективность функционирования автоматизированных систем // Науч.-технич. вестн. СПбГУ ИТМО. 2014. № 1. С. 71–76.

7.    Бессмертный И.А., Посевкин Р.В. Естественно-языковой пользовательский интерфейс диалоговой системы // Программные продукты и системы. 2016. № 3. С. 5–9. DOI: 10.15827/0236-235X.115.005-009.

8.    Sarker S., Ahuj M. Work-life conflict of globally distributed software development personnel: an empirical investigation using border theory. Inform. Syst. Research, 2018, vol. 29, no. 1, pp. 103–126.

9.    Семенюта Б.Е. Графический пользовательский интерфейс программы для ЭВМ: проблемы правового регулирования // Вестн. Арбитраж. суда Московск. обл. 2015. № 2. С. 42–58.

10. Araz O.M., Lant T., Fowler J.W., Jehn M. Simulation modeling for pandemic decision making: a case study with bi-criteria analysis on school closures. Decision Support Systems, 2013, vol. 55, no. 2, pp. 564–575.

11. Riaz A., Gregor S., Dewan S., Xu Q. The interplay between emotion, cognition and information recall from websites with relevant and irrelevant images: a neuro-is study. Decision Support Systems, 2018, vol. 111, pp. 113–123. DOI: 10.1016/j.dss.2018.05.004.

12. Zhou Z., Jin X.L., Fang Y., Vogel D. Toward a theory of perceived benefits, affective commitment, and continuance intention in social virtual worlds: cultural values (indulgence and individualism) matter. Europ. J. Inform. Syst., 2015, vol. 24, no. 3, pp. 247–261. DOI: 10.1057/ejis.2014.27.

13. Scott M., Boardman R.P., Reed P.A., Johnston S.J., Takeda K., Cox S.J., Austin T. A framework for user driven data management. Information Systems, 2014, vol. 42, pp. 36–58. DOI: 10.1016/j.is.2013.11.004.

14. Шишаев М.Г., Ломов П.А., Диковицкий В.В. Формализация задачи построения когнитивных пользовательских интерфейсов мультипредметных информационных ресурсов // Тр. КНЦ РАН. Информационные технологии. 2014. № 1. С. 90–97.

15. Lu J., Wu D., Mao M., Wang W., Zhang G. Recommender system application developments: a survey. Decision Support Systems, 2015, vol. 74, pp. 12–32. DOI: 10.1016/j.dss.2015.03.008.

16. Собчик Л.Н. Модифицированный восьмицветовой тест Люшера. СПб, 2001. 112 с.

17. Хабаров С.П. Интеллектуальные информационные системы. URL: http://www.habarov.spb.ru/ new_es/index.htm (дата обращения: 12.08.2019).

18. Джарратано Д., Райли Г. Экспертные системы: принципы разработки и программирование. М., 2007. 1152 с.

19. Семенов А.М., Тагирова Л.Ф., Тагиров В.К. Использование нечетких экспертных систем при разработке адаптивных человеко-машинных интерфейсов // Науч.-технич. вестн. Поволжья. 2019. № 7. C. 71–74.

References

  1. Zubkova T.M., Tagirova L.F., Tagirov V.K. Prototyping of adaptive users’ application programming interfaces by artificial intelligence methods. Sci. and Tech. J. ITMO. 2019, vol. 19, no. 4, pp. 680–688. DOI: 10.17586/2226-1494-2019-19-4-680-688 (in Russ.).
  2. Zubkova T.M., Tagirova L.F. Intelligent user interface design of application programs. JPCS. 2019, vol. 1278, art. 012026 (in Russ.). DOI: 10.1088/1742-6596/1278/1/012026.
  3. Popov F.A., Anufriyeva N.Yu. Intellectualization of user interfaces of information systems. Tomsk State Univ. J. 2007, no. 300, pp. 130–133 (in Russ.).
  4. Stepanov M.F., Stepanov A.M. Adaptive user interface for computer-aided control system design. Software Engineering. 2018, vol. 9, no. 3, pp. 109–122. DOI: 10.17587/prin.9.109-122 (in Russ.).
  5. Liao H.Y., Chen K.Y., Liu D.R. Virtual friend recommendations in virtual worlds. Decision Support Systems. 2015, vol. 69, pp. 59–69. DOI: 10.1016/j.dss.2014.11.005.
  6. Furtat Yu.O. On the influence of adaptive user interfaces on automated system functioning reliability and efficiency. Sci. and Tech. J. ITMO. 2014, no. 1, pp. 71–76 (in Russ.).
  7. Bessmertny I.A., Posevkin R.V. Natural language user interface of a dialogue system. Software & Systems. 2016, no. 3, pp. 5–9. DOI: 10.15827/0236-235X.115.005-009 (in Russ.).
  8. Sarker S., Ahuj M. Work-life conflict of globally distributed software development personnel: An empirical investigation using border theory. Inform. Syst. Research. 2018, vol. 29, no. 1, pp. 103–126.
  9. Semenyuta B.E. Graphic user interface of a computer program: Legal regulation problems. Moscow District Commercial Court Bull. 2015, no. 2, pp. 42–58 (in Russ.).
  10. Araz O.M., Lant T., Fowler J.W., Jehn M. Simulation modeling for pandemic decision making: a case study with bi-criteria analysis on school closures. Decision Support Systems. 2013, vol. 55, no. 2, pp. 564–575.
  11. Riaz A., Gregor S., Dewan S., Xu Q. The interplay between emotion, cognition and information recall from websites with relevant and irrelevant images: A neuro-is study. Decision Support Systems. 2018, vol. 111, pp. 113–123. DOI: 10.1016/j.dss.2018.05.004.
  12. Zhou Z., Jin X.L., Fang Y., Vogel D. Toward a theory of perceived benefits, affective commitment, and continuance intention in social virtual worlds: Cultural values (indulgence and individualism) matter. Europ. J. Inform. Syst. 2015, vol. 24, no. 3, pp. 247–261. DOI: 10.1057/ejis.2014.27.
  13. Scott M., Boardman R.P., Reed P.A., Johnston S.J., Takeda K., Cox S.J., Austin T. A framework for user driven data management. Information Systems. 2014, vol. 42, pp. 36–58. DOI: 10.1016/j.is.2013.11.004.
  14. Shishaev M.G., Lomov P.A., Dikovitsky V.V. Formalization of a problem of creating cognitive user interfaces of multisubject information resources. Proc. of the Kola Scientific Center RAS. Information Technologies. 2014, no. 1, pp. 90–97 (in Russ.).
  15. Lu J., Wu D., Mao M., Wang W., Zhang G. Recommender system application developments: a survey. Decision Support Systems. 2015, vol. 74, pp. 12–32. DOI: 10.1016/j.dss.2015.03.008.
  16. Sobchik L.N. The Modified Eight-Color Lyushera Test. St. Petersburg, 2001, 112 p.
  17. Khabarov S.P. Intelligent Information Systems. Available at: http://www.habarov.spb.ru/new_es/index.htm. (accessed August 12, 2019).
  18. Giarratano J., Riley G. Expert Systems: Principles and Programming. Boston Publ., Boston, PWS Publ., 1989, 602 p. (Russ. ed.: Moscow, Williams, 2007, 1152 p.).
  19. Semenov A.M., Tagirova L.F., Tagirov V.K. Use of indistinct expert systems when developing adaptive human machine interfaces. Sci. Tech. Volga Region Bull. 2019, no. 7, pp. 71–74 (in Russ.).

Permanent link:
http://www.swsys.ru/index.php?page=article&id=4670&lang=en
Print version
Full issue in PDF (4.91Mb)
The article was published in issue no. № 1, 2020 [ pp. 005-012 ]

Perhaps, you might be interested in the following articles of similar topics: