На правах рекламы:
ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Авторитетность издания

ВАК - К1
RSCI, ядро РИНЦ

Добавить в закладки

Следующий номер на сайте

2
Ожидается:
16 Июня 2024

Автоматизированная система оценки качества электронных курсов

Automatic system for quality estimation of online courses
Статья опубликована в выпуске журнала № 1 за 2013 год. [ на стр. 159-162 ]
Аннотация:В статье приводится описание программного средства, обеспечивающего автоматизированное тестирование электронного курса начиная от указания ошибок и недоработок на скриншотах слайдов курса и заканчивая получением обобщенной количественной оценки качества и выдачей рекомендаций по его улучшению. Количественная оценка качества курса складывается из методической, включающей оценку качества текста, и технической составляющих. Автоматизация касается обеспечения доступа к каждому слайду курса в произвольном порядке, формирования промежуточного и итогового протоколов тестирования курса, получения исходных данных для подсчета показателей качества, на основе которых строится обобщенная оценка качества курса. Исходные данные включают общее количество слайдов, число иллюстраций, интерактивных элементов, симуляций, объем пула вопросов, разнообразие вопросов, число вопросов каждого типа, орфографических ошибок и коротких предложений, морфологический анализ текста, число нерасшифрованных в тексте аббревиатур и специальных терминов, не помещенных в глоссарий курса. Автоматизированная система содержит средства для пополнения глоссария.
Abstract:The article is devoted to the description of a system for automatic testing of online courses. The system estimates the quality of the online course, starting with the detection of mistakes on slides screenshots, and gives recommendations on how to improve it. The quantitative estimate of the quality embraces the methodological, inclusive text's quality, and technological components of the online course. The system provides direct access to each slide, collects the data for the quantitative estimate of the quality and generates both intermediate and final protocols for the course testing. The quality estimate is built on the following data: the total number of slides, the amount of illustrations, interactive elements and simulations, the number and variety of questions, as well as the number of questions of each type, the number of grammatical mistakes in the text, the number of short sentences, the morphological analysis of the text, the number of abbreviations that were not explained in the text, and the number of special terms absent in the course glossary. The system is also capable of adding required terms to the glossary.
Авторы: Лецкий Э.К. (letzky@mail.ru) - Московский государственный университет путей сообщения (профессор, зав. кафедрой), Москва, Россия, доктор технических наук, Костюковская Э.И. () - Московский государственный университет путей сообщения (ст. преподаватель), Москва, Пилюгин К.С. () - Московский государственный университет путей сообщения (вед. программист), Москва, Ольховой К.В. () - Московский государственный университет путей сообщения (программист), Москва
Ключевые слова: программное средство., система показателей, электронный курс, качество, дистанционное обучение
Keywords: system for automatic testing, exponent system, online course, quality, distance education
Количество просмотров: 10399
Версия для печати
Выпуск в формате PDF (5.29Мб)
Скачать обложку в формате PDF (1.21Мб)

Размер шрифта:       Шрифт:

Возрастающая популярность дистанционного обучения обусловила необходимость стандартизации подходов к созданию дистанционных (электронных) курсов. Важнейшая характеристика электронного курса (ЭК) – его качество, то есть совокупность свойств, способствующих приобретению полноценных знаний, умений, навыков. В настоящей статье описывается один из подходов к автоматизации тестирования и количественной оценке качества ЭК. Рассмотренный подход и созданные программные средства могут быть применены и на этапе разработки курса, и для оценки качества готового курса при решении вопроса об его использовании в образовательном процессе.

Методика оценки обобщенного показателя качества ЭК

ЭК представляет собой средство получения знаний в системах дистанционного обучения, использующее информационные технологии (ИТ) для доставки контента, организации общения с тьютором, а также для усиления эффекта понимания обучаемым материала и приобретения знаний, умений и навыков. Качество ЭК определяется как совокупность свойств, способствующих получению обучаемым знаний, умений и навыков.

Для оценки качества ЭК предлагается использовать две группы показателей:

1)    показатели методических свойств курса, в состав которых входят показатели качества текстовых материалов, качества системы контроля знаний обучаемого, показатели достаточности использования возможностей ИТ, показатели структуры курса, а также актуальности и правильности контента;

2)    показатели технических свойств курса, включающие показатель соответствия требованиям стандартов ГОСТ Р ИСО/МЭК 12119-20 00 и ГОСТ Р ИСО 9127-94, показатели доступности каждого слайда, показатель контрастности фона и текста.

Значение каждого из перечисленных показателей зависит от характеристик ЭК.

Качество текстовых материалов определяется следующими характеристиками:

–      читабельность: вычисляется на основе таких данных, как доля сложных слов, состоящих более чем из 4 слогов,  доля коротких предложений (менее 13 слов);

–      грамотность: оценивается на основе данных о доле грамматических и орфографических ошибок в единице объема текста;

–      понятность: определяется доля предложений с неоднозначным пониманием (оценивается экспертом), доля несогласованных предложений, количество сокращений, синонимов специальных терминов (по отношению к общему числу специальных терминов) и число специальных терминов, не внесенных в глоссарий.

Качество системы контроля знаний обучаемого определяется следующими характеристиками ЭК: размер пула вопросов, показатели разнообразия вопросов и соотношения типов вопросов.

Показатели достаточности использования возможностей ИТ – это доля слайдов с иллюстрациями, анимацией, видеосюжетами и слайдов с интерактивной графикой (от общего числа слайдов с графическими материалами), доля интерактивных симуляций, симуляций и видеосюжетов со звуковым сопровождением.

Структурные показатели определяются наличием вводного раздела, глоссария, поиска по глоссарию, промежуточного тестирования (после каждого раздела курса), а также долей разделов курса, не содержащих демонстрационных примеров, и разделов, не содержащих интерактивные симуляции, от общего числа разделов, целью изучения которых является привитие умений (навыков).

Значение обобщенного количественного показателя методических свойств ЭК определяется как взвешенная сумма значений показателей отдельных элементов множества методических свойств, а показатель каждого методического свойства – как взвешенная сумма характеристик ЭК.

Обобщенная количественная оценка качества ЭК определяется как взвешенная сумма показателей методических и технических свойств: Θ = =γМ×yМ +γТ ×yТ, где Θ – оценка качества курса; yМ – обобщенный показатель методических свойств; yТ – обобщенный показатель технических свойств; γМ, γТ – весовые коэффициенты методической и технической составляющих (γТ +γМ=1).

Результат расчетов зависит от значений множества весовых коэффициентов. Значения этих коэффициентов находятся экспертным путем. При этом значения весовых коэффициентов для каждого показателя нормируются так, что их сумма всегда равна единице. При условии, что значения исходных характеристик ЭК изменяются в диапазоне от нуля до единицы, нормирование весовых коэффициентов приводит к тому, что показатель качества ЭК также изменяется в диапазоне от нуля до единицы. Этот факт позволяет установить пороговое значение показателя качества при выработке решения о приемке курса.

Описание программной системы автоматизированной оценки качества ЭК

В учебно-научном центре «МИИТ-Эксперт» (г. Москва) разработана автоматизированная система оценки качества ЭК (АСКДК).

АСКДК позволяет получить в автоматическом режиме характеристики ЭК, используемые как исходные данные для подсчета отдельных показателей, а также для определения обобщенной количественной оценки качества ЭК. На рисунке 1 представлена схема работы системы АСКДК, на которой указана последовательность этапов процедуры тестирования курса. Тестирование осуществляет тестировщик средствами АСКДК.

Назначение АСКДК. Программная система предназначена для автоматизации процесса тестирования ЭК по следующим направлениям:

–      определение среды разработки (IBM Know­ledge Producer, IBM Content Producer, WebSoft CourseLab);

–      расчет исходных характеристик;

–      расчет обобщенного показателя качества.

В состав АСКДК входят подсистемы

–      определения среды разработки ЭК (ПАРСДК), включающая программу AppCH построения дерева курса и программу CourseParser, идентифицирующую версию стандарта SCORM;

–      определения показателей качества текста ЭК (ЛИНГДК), в состав которой входит программа WordTextAnalize для выявления не включенных в глоссарий специальных терминов и нерасшифрованных аббревиатур, встречающихся в курсе;

–      подсчета обобщенной количественной оценки качества ЭК (ТЕСТДК).

Подсистема ПАРСДК выполняет следующие функции:

–      определяет среду разработки ЭК на основе анализа имен файлов и папок, которые создаются в фоновом режиме при разработке ЭК; программа CourseParser определяет среду разработки курса на основе анализа стандарта SCORM [1];

–      подключает модуль анализа ЭК, соответствущий данной среде разработки ЭК;

–      строит дерево ЭК;

–      обеспечивает возможность загрузки выбранного слайда в дереве ЭК с целью выявления экспертом недоработок, ошибок, а также проверки работоспособности имеющихся на слайде ссылок;

–      позволяет отмечать ошибки и вносить замечания на скриншоте выбранного слайда;

–      сохраняет полученные данные о слайде в XML-файле;

–      обеспечивает формирование промежуточного протокола тестирования ЭК в виде совокупности скриншотов слайдов, требующих исправления.

Подсистема ЛИНГДК подсчитывает и выводит на экран статистику документа: число страниц в документе или его фрагменте, число параграфов, абзацев, общее количество предложений в тексте или его фрагменте, количество коротких простых предложений, состоящих не более чем из 13 слов, общее число слов во фрагменте текста, число нерасшифрованных аббревиатур, число специальных терминов, помещенных в глоссарий, и терминов, имеющихся в тексте курса, но отсутствующих в глоссарии, число грамматических ошибок, а также морфологические характеристики текста (число слогов в словах и число слов, в которых более четырех слогов).

Подпись:  
Рис. 2. Пример расчета обобщенной количественной оценки качества ЭК
В программе WordTextAnalize вычисляется частота вхождения каждого слова и составляется список, в котором слова расположены в порядке убывания их частоты. Слова, принятые за специальные термины, выделяются желтым цветом. Тестировщик может наблюдать этот список на экране и выбрать специальные термины из выделенных слов. Все выбранные слова на следующем шаге работы программы пропускаются через глоссарий курса. Результатом работы программы являются списки терминов, не нашедших свое отражение в глоссарии курса, и аббревиатур, не расшифрованных в тексте курса.

Подсистема ТЕСТДК автоматически опре- деляет долю вопросов различного типа, долю слайдов с иллюстрациями, с интерактивной графикой, с анимацией и видеофрагментами, с симуляциями, а также наличие глоссария и поиска по глоссарию.

На основе указанных характеристик рассчитываются следующие показатели качества текста ЭК: доля коротких предложений (менее 13 слов), нерасшифрованных аббревиатур (от общего числа слов в тексте), специальных терминов, обнаруженных в курсе и отсутствующих в глоссарии (от общего числа специальных терминов в ЭК), читабельность текста по Флешу [2], отношение числа грамматических ошибок к числу слов в тексте.

На основе указанных составляющих подсистема ТЕСТДК автоматически подсчитывает обобщенные показатели качества текста и качества ЭК. Формулы для расчета указанных показателей приведены во внутриотраслевой методике количественной оценки качества электронных образовательных ресурсов, утвержденной РЖД.

Средства для работы АСКДК. При работе программной системы используется IBM PC-сов­местимое устройство с установленной операционной системой Windows XP-7. Запуск системы и остальных программ, входящих в ее состав, осуществляется из файла VitC.exe.

На рисунке 2 показан результат работы системы АСКДК при тестировании ЭК «Архитектура высокопроизводительных вычислительных систем».

Результатом работы системы АСКДК является итоговый протокол тестирования курса в форматах RVF, DOC, PDF, XML. В протоколе указываются дата тестирования, название курса, количественные значения обобщенной оценки качества и ее составляющих, а также решение тестировщика о приемке курса, если тестированию подвергается готовый курс. Если тестирование осуществляется на этапе разработки курса, в протоколе указываются рекомендации по его улучшению. Для этого разработана специальная форма заключения экспертизы курса (рис. 3).

Применение АСКДК позволяет в значительной степени исключить субъективизм в оценке качества ЭК.

Отметим наличие показателей качества ЭК, оценивание которых осуществляется вне рассмотренной процедуры тестирования. Это показатели актуальности и правильности контента и соответствия государственным стандартам, устанавливающим требования к программным системам образовательного назначения. Проверка соответствия требованиям государственных стандартов осуществляется при сертификации ЭК в государственных органах добровольной сертификации.

В заключение следует отметить, что разработанная программная система упрощает работу тестировщика ЭК и позволяет получить обобщенную количественную оценку качества курса, основанную на учете широкого спектра его характеристик.

Литература

1.     Щинов В. Стандарты в электронном обучении // Технологии e-learning. 2006. № 12. URL: http://websoft-elearning.blogspot.ru/2006/11/1_21.html (дата обращения: 21.12.2012).

2.     Библиотека ресурсов интернет-индустрии I2R.ru URL: http://www.i2r.ru/static/676/out_22565.shtml (дата обращения: 21.12.2012).


Постоянный адрес статьи:
http://swsys.ru/index.php?page=article&id=3406&lang=&lang=&like=1
Версия для печати
Выпуск в формате PDF (5.29Мб)
Скачать обложку в формате PDF (1.21Мб)
Статья опубликована в выпуске журнала № 1 за 2013 год. [ на стр. 159-162 ]

Возможно, Вас заинтересуют следующие статьи схожих тематик: