ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Methods of assessing the quality of university students’ education using a neuro-fuzzy approach

Date of submission article: 19.01.2016
UDC: 004.891
The article was published in issue no. № 4, 2016 [ pp. 189-193 ]
Abstract:Nowadays according to the Bologna process the system of education quality assessment are introduced for successful functioning of higher education institutions and enhancing their competitive in the international market. The accuracy of determining the university efficiency to a large extent depends on the correct choice of criteria to assess the factors that determine education quality. Education quality assessment is hampered by the fact that the value of this indicator depends on many factors, as well as the fact that during the pedagogical dimensions it is inevitable to work with non-numeric information. In order to achieve the objectives the authors have reviewed factors that have the greatest impact on student learning. Traditionally among these factors there are the following: the quality of interaction with a labor market during the formation of educational content, the quality of applicants and students, the quality of teaching technologies, teaching and logistical support of an educational process, the quality of teaching staff. The proposed methods of assessing the quality of students education is based on a two-level system. It is built on the basis of an adaptive neuro-fuzzy inference system (ANFIS) which is implemented in the Fuzzy Logic Toolbox package of MatLab and artificial neural networks. To evaluate each of the four groups of factors that influence the quality of a students’ learning process, there are four modules implemented using artificial neural networks. The number of inputs of each artificial neural network is caused by a number of factors included in an appropriate group. Factor group values go to the input of ANFIS, which is the second level of a quality assessment system for university students’ education. The output variable of ANFIS is a numerical evaluation of students’ learning quality. Two-level calculation simplifies data collection for artificial neural networks training and the expert assessments formation for training and formation of inputs of artificial neural networks and ANFIS. The proposed system of students education quality assessment provides a numerical estimate, which is an aggregate measure of an educational institution performance, showing learning process efficiency.
Аннотация:В настоящее время в соответствии с Болонским процессом для обеспечения успешного функционирования высших учебных заведений и повышения их конкурентоспособности на международном рынке внедряются системы оценки качества обучения. На точность определения эффективности работы вуза в большой степени влияет правильный выбор критериев оценки факторов. Оценка качества образования затрудняется тем, что значение этого показателя обусловлено множеством факторов, возможно, с неизвестным характером влияния, а также тем, что при проведении педагогических измерений необходимо работать с иформацией, имеющей нечисловой характер. Для решения поставленных задач был проведен обзор факторов, оказывающих наибольшее влияние на процесс обучения студентов. Традиционно среди них выделяют следующие: качество взаимодействия с рынком труда при формировании содержания образования, качество абитуриентов и студентов, технологий обучения, учебно-методи¬ческого и материально-технического обеспечения образовательного процесса, профессорско-преподавательского состава. Предложенная авторами работы методика оценки качества обучения студентов вуза основана на использовании двухуровневой системы, построенной на базе адаптивной системы нейро-нечеткого вывода ANFIS, реализованной в пакете Fuzzy Logic Toolbox системы MatLab и искусственных нейронных сетей. Для оценки четырех выделенных групп факторов используются четыре модуля, реализованные с помощью искусственных нейронных сетей. Число входов каждой из этих сетей обусловлено числом факторов, входящих в соответствующую группу. На входы искусственных нейронных сетей подаются значения показателей в виде величин в диапазоне от 0 до 1. На выходе каждой ИНС формируются значения оценки соответствующей группы факторов также в виде величин в диапазоне от 0 до 1. Полученные в итоге значения оценки групп факторов подаются на вход сети ANFIS, которая представляет собой второй уровень системы оценки качества обучения студентов вуза. А выходная переменная системы ANFIS представляет собой численную оценку качества обучения студентов вуза. Двухуровневое вычисление упрощает сбор данных для обучения искусственных нейронных сетей, а также процесс формирования экспертных оценок для обучения и формирования входов искусственных нейронных сетей и сети ANFIS. Предложенная система оценки качества обучения студентов вуза позволяет получить числовую оценку, представляющую собой суммарный показатель, характеризующий результаты деятельности образовательного учреждения и показывающий, насколько эффективно проходит процесс обучения.
Authors: A.R. Aydinyan (andstyle@mail.ru) - Don State Technical University (Associate Professor), Rostov-on-Don, Russia, Ph.D, O.L. Tsvetkova (olga_cvetkova@mail.ru) - Don State Technical University (Associate Professor), Rostov-on-Don, Russia, Ph.D
Keywords: expert assessments, adaptive neuro-fuzzy inference systems, artificial neural networks, quality of formation
Page views: 8339
PDF version article
Full issue in PDF (16.17Mb)
Download the cover in PDF (0.62Мб)

Font size:       Font:

При проведении педагогических исследований неизбежна работа с информацией, имеющей нечисловой, слабоформализуемый характер. Вследствие этого возникает необходимость построения методики количественного описания процессов и предметов, связанных с педагогикой [1, 2]. Особое значение имеет качество образования, под которым понимают некоторый суммарный показатель, отражающий результат деятельности образовательного учреждения, а также соответствие потребностям и ожиданиям общества (различных социальных групп) в формировании различных компетенций личности.

Оценка качества образования затрудняется тем, что значение этого показателя зависит от множества факторов, возможно, с неизвестным характером влияния. Также в данном случае имеет место специфичность «продукта» образования – выпускник учебного заведения, который должен рассматриваться как сложная система. Существуют различные методы и алгоритмы оценки качества обра- зования [2, 3], в данной статье предлагается методика оценки качества обучения студентов вуза на основе нейро-нечеткого подхода.

Предварительно необходимо определить факторы, оказывающие наибольшее влияние на процесс обучения студентов. Традиционно среди них выделяют следующие [4].

1.    Качество взаимодействия с рынком труда при формировании содержания образования:

-    уровень привлечения работодателей к формированию образовательных программ;

-    наличие системы целевой подготовки специалистов по заказам предприятий;

-    наличие соглашений с зарубежными университетами о совместной реализации образовательных программ;

-    процент иностранных студентов по отношению ко всем студентам;

-    уровень развития системы анализа и содействия трудоустройству выпускников.

2.    Качество абитуриентов и студентов:

-    уровень усвоения текущего учебного материала;

-    комплексная оценка остаточных знаний;

-    уровень умения решать прикладные задачи;

-    уровень итоговой аттестации.

3.    Качество технологий обучения, учебно-методического и материально-технического обеспечения образовательного процесса:

-    уровень системы непрерывного контроля успеваемости студентов в течение семестра и технологии рейтингования студентов;

-    уровень учебно-методического материала;

-    уровень книгообеспеченности учебного процесса;

-    уровень обеспеченности специализированными лабораториями;

-    уровень организации поддержки обучения студентов по индивидуальным планам.

4.    Качество профессорско-преподавательского состава:

-    уровень соответствия базового образования преподавателя с учетом стажа педагогической работы и специализации;

-    уровень квалификации преподавателя (научная степень, звание, должность);

-    уровень социально­психологических отношений преподавателя со студентами;

-    внедрение практики приглашения специалистов различных отраслей промышленности для проведения учебных занятий.

Построение нейро-нечеткой системы оценки качества обучения студентов вуза

Методику оценки качества обучения студентов вуза предлагается построить с использованием методов и средств искусственного интеллекта, реализованных в пакете Fuzzy Logic Toolbox системы MatLab в виде адаптивной системы нейро-нечеткого вывода ANFIS (Adaptive Neuro-Fuzzy Inference System) [5].

Гибридная система ANFIS представляет собой сочетание нейро-нечеткого метода вывода Сугено с возможностью обучения пятислойной искусственной нейронной сети (ИНС) прямого распространения с одним выходом и несколькими входами, которые представляют собой нечеткие лингвистические переменные.

В качестве входных переменных системы ANFIS используем оценки четырех групп факторов Vi (i=1, …, 4), которые, соответственно, определяют качество: V1 – взаимодействия с рынком труда при формировании содержания образования, V2 – абитуриентов и студентов, V3 – технологий обучения, учебно-методического и материально-технического обеспечения образовательного про- цесса, V4 – профессорско-преподавательского со- става.

Выходная переменная системы ANFIS представляет собой численную оценку качества обучения студентов вуза и определяется как функция y = f (V1, V2, V3, V4).

Слой 1 системы ANFIS для лингвистической оценки входных параметров использует терм-множества ={«удовлетворительное», «хорошее», «отличное»}.

Оценка «неудовлетворительное» не рассматривается, поскольку при выставлении оценки «неудовлетворительно» по любой из входных переменных выходная переменная также принимает значение «неудовлетворительно».

В символическом виде запишем: ={УД, XO, OT}.

Терм-множество выходной лингвистической переменной y составляет множество значений оце­нок качества обучения студентов вуза: Ty = {«удовлетворительное», «хорошее», «отличное»} или в символическом виде: Ty = {УД, XO, OT}.

Выходы узлов слоя 1 представляют собой значения функций принадлежности при конкретных значениях входных переменных.

Слой 2 является неадаптивным и определяет предпосылки нечетких продукционных правил. Каждый узел данного слоя соединен с теми узлами слоя 1, которые формируют предпосылки соответствующего правила.

Для решения рассматриваемой задачи сформулированы три нечетких продукционных правила: P = {p1, p2, p3}.

В соответствии с особенностями сети ANFIS необходимо, чтобы число правил сети соответствовало размерности терм-множества выходной переменной y.

Узлы выполняют нечеткую логическую операцию «И» (min). Выходами узлов данного слоя являются степени истинности (выполнения) предпосылок каждого из трех нечетких продукционных правил, вычисленные по формулам:

Слой 3 проводит нормализацию степеней выполнения каждого из нечетких продукционных правил (вычисление относительной степени выполнения правил) следующим образом:

, где h = 1, …, 3 – номер продукционного правила.

На слое 4 вычисляется вклад (заключение правил) каждого нечеткого продукционного правила в выход сети по формуле

,

где  – коэффициенты выходной функции (i = 0, ..., 4).

Слой 5 обобщает вклады всех правил:

Структура системы ANFIS для оценки качества обучения студентов вуза показана на рисунке 1.

Обучение сети ANFIS осуществлялось за 24 эпохи гибридным методом. При обучении подбираются вид функций принадлежности, вид выходной функции и их коэффициенты. В результате обучения нечеткой сети для трех правил в качестве функций принадлежности были приняты функции Гаусса, а в качестве выходной функции – линейная функция. В результате обучения также были получены функции принадлежности и их коэффициенты, часть которых представлена на рисунке 2.

Нейросетевые модули оценки групп факторов, влияющих на процесс обучения

Для оценки каждой из четырех групп факторов, оказывающих влияние на качество процесса обучения студентов, используются четыре модуля, реализованные с помощью ИНС, предназначенные для учета качества взаимодействия с рынком труда при формировании содержания образования (модуль № 1), качества абитуриентов и студентов (модуль № 2), техно- логий обучения, учебно-методического и материально-технического обеспечения образовательного процесса (модуль № 3), профессорско-преподавательского состава (модуль № 4).

В зависимости от имеющихся характеристик вуза или конкретного направления обучения будут формироваться входные сигналы этих модулей.

Для реализации модулей используются ИНС, показавшие высокую эффективность при решении различных задач [6–8]. Число входов каждой ИНС обусловлено числом факторов, входящих в соответствующую группу. На входы ИНС подаются значения показателей в виде величин в диапазоне от 0 до 1. На выходе каждой ИНС формируются значения оценки соответствующей группы факторов также в виде величин в диапазоне от 0 до 1.

При выборе структуры сети необходимо тщательно проанализировать закономерности обучающей выборки [9–11]. Все используемые ИНС являются сетями прямого распространения с одним скрытым слоем с количеством сигмоидальных нейронов 2v+1, где v – количество входов этой ИНС. Данное количество искусственных нейронов в скрытом слое связано с теоремой Колмогорова и позволяет с достаточной степенью точности аппроксимировать требуемую функцию при правильном обучении [9, 12]. Разработанная система оценки качества обучения студентов вуза изображена на рисунке 3.

Обучение осуществлялось методом оптимизации Левенберга–Маркара (TRAINLM) в течение 17 эпох. Ошибка обучения определялась с помощью среднеквадратического отклонения и составила менее 2×10–14.

Значения оценки групп факторов подаются на вход сети ANFIS, которая представляет собой второй уровень системы оценки качества обучения студентов вуза.

Двухуровневое вычисление упрощает сбор данных для обучения ИНС, а также процесс формирования экспертных оценок для обучения и форми- рования входов ИНС и сети ANFIS.

Для анализа оценок, полученных от экспертов, применяются различные методы математической статистики, которые могут комбинироваться в зависимости от типа задачи и необходимого результата.

Предложенная система оценки качества обучения студентов вуза позволяет получить числовую оценку, представляющую собой суммарный показатель, характеризующий результаты деятельности образовательного учреждения и показывающий, насколько эффективно проходит процесс обучения.

Литература

1.     Селиванов Е.И., Панюшкина Е.В. Краеугольные камни квалиметрии компетенций на соответствие требованиям федеральных государственных образо- вательных стандартов среднего профессионального образования // Фундаментальные и прикладные иссле- дования в современном мире. 2014. Т. 3. № 5. С. 87–91.

2.     Ворсина Е.В., Снигирева Т.А. Квалиметрия учебной компетентности студентов на основе анализа учебных текстов // Вестн. Костромского гос. ун-та им. Н.А. Некрасова. 2012. Т. 18. № 3. С. 124–127.

3.     Лисецкий Ю.М. Алгоритм сравнения методов комплексной количественной оценки качества сложных систем // Программные продукты и системы. 2012. № 4. С. 153–156.

4.     Бартасевич И.Г. Система критериев качества обучения студентов в высшем учебном заведении // Вестн. Астраханского гос. технич. ун-та. 2008. № 3. С. 217–220.

5.     Штовба С.Д. Проектирование нечетких систем средствами MatLab. М.: Горячая линия–Телеком, 2007. 288 с.

6.     Колесников А.А., Маршаков Д.В., Айдинян А.Р. Комплексное применение синергетического подхода и нейросетевых структур к проблеме синтеза интеллектуальной системы управления электроприводом // Вестн. Донского гос. технич. ун-та. 2014. Т. 14. № 4 (79). С. 60–71.

7.     Цветкова О.Л., Айдинян А.Р. Интеллектуальная система оценки информационной безопасности предприятия от внутренних угроз // Вестн. компьютерных и информационных технологий. 2014. № 8 (122). С. 48–53.

8.     Галушка В.В., Фатхи В.А. Формирование обучающей выборки при использовании искусственных нейронных сетей в задачах поиска ошибок баз данных // Инженер. вестн. Дона. 2013. № 2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1597/ (дата обращения: 20.08.2015).

9.     Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 c.

10.   Анохин М.Н., Березняк С.А., Бланко Л.М.Л. Организация пространственной группировки сигналов в ассоциативных процессах искусственных нейронных сетей // Инженер. вестн. Дона. 2014. Т. 28. № 1. URL: ivdon.ru/ru/magazine/archive/ n1y2014/2230/ (дата обращения: 20.08.2015).

11.   Вагин В.Н., Ганишев В.А. Кластеризация пользователей по голосу с помощью улучшенных самоорганизующихся растущих нейронных сетей. // Программные продукты и системы. 2015. № 3 (111). С. 136–142. URL: http://elibrary.ru/item. asp?id=24131141 (дата обращения: 22.12.2015).

12.   Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. 2012. № 4. С. 96–100.


Permanent link:
http://swsys.ru/index.php?page=article&id=4238&lang=&lang=&like=1&lang=en
PDF version article
Full issue in PDF (16.17Mb)
Download the cover in PDF (0.62Мб)
The article was published in issue no. № 4, 2016 [ pp. 189-193 ]

Perhaps, you might be interested in the following articles of similar topics: