Software & Systems

Оценка инновационности образовательных проектов является одной из актуальнейших задач. В отечественном образовании сегодня нет общего устоявшегося подхода к определению уровня инноваций, что обусловливает необходимость создания соответствующей методологии проведения такой оценки. Данная работа посвящена разработке методологии с использованием согласования иерархий по Т. Саати [1].

Общая схема предлагаемого подхода состоит из трех этапов: на первом этапе определяется иерархия критериев из трех уровней, где последний содержит листовые (то есть не имеющие потомков, в терминах графов) элементы; на втором проводится экспертиза с целью получения веса каждого элемента иерархии на каждом уровне; на третьем оценивается каждый элемент.

Понятие инновационного образовательного проекта можно определить как комплекс взаимосвязанных мероприятий, обеспечивающих в течение заданного периода времени создание и распространение нового вида продукции или технологии с целью получения новых образовательных эффектов [2].

Для этого показатели инновационности образовательного проекта были сгруппированы в соответствии с двумя категориями – общие критерии, которые применимы к любым проектам [3], и специализированные, связанные с получением образовательных и иных эффектов [4]. Каждая категория распадается на несколько наиболее значимых показателей (рис. 1).

Третий уровень иерархии (рис. 2) содержит листовые (неделимые) показатели, измеряемые в однотипной десятибалльной шкале, к которой были приведены как количественные (численность кандидатов наук, уровень стоимости проекта и пр.), так и качественные (значимость научной идеи, масштаб проекта и т.д.) шкалы исходных показателей.

Характеристики на каждом уровне сравнивались по десятибалльной шкале превосходства, предложенной Саати, где десять баллов – максимальное превосходство одного элемента над другим, а один балл – относительная эквивалентность. Каждая матрица сравнения отдельно оценивалась четырьмя независимыми экспертами, в качестве результатов бралось обычное арифметическое среднее (табл. 1).

Таблица 1

Пример матрицы сравнения элементов иерархии второго уровня

Оценки использовались для получения собственных векторов каждой матрицы, называемых векторами приоритетов. Каждый вектор приоритетов нормирован на единицу и рассматривается как вес отдельного элемента в иерархии (табл. 2).

Таблица 2

Пример вектора приоритетов

Таким образом, окончательная оценка проекта складывается из суммы произведения оценок элементов иерархии  на одном уровне и их весов

: ,                                                          (1)

где i – элемент иерархии, j – уровень.

По каждой матрице сравнения были вычислены оценки их согласованности, чтобы определить качество экспертных оценок построенной иерархии критериев. За исключением отдельных элементов (образовательные и научные эффекты), согласованность укладывается в нормативные 10 % по Саати. Таким образом, пересмотр суждений необязателен.

Таблица 3

Согласованность критериев на разных уровнях иерархии

Таким образом, применение данной методики позволяет эффективно оценивать произвольные образовательные проекты с точки зрения инновационности, полученные результаты использовать в различных отборах наилучших проектов, при финансовой и сущностной экспертизе грантов, федеральных целевых программ. На основе методики разработано веб-ориентированное приложение ИСОИОП (информационная система оценки инновационности образовательных проектов) с помощью CMS Drupal. Данное приложение поз- воляет создавать новые системы показателей, согласовывать их по методу Саати и оценивать образовательные проекты по заданным критериям. Подана заявка на регистрацию данной системы в Роспатенте.

В реализации предусмотрено разделение ролей на эксперта, вводящего оценки матриц сравнения и оценки параметров проекта, и администратора, который создает новых пользователей, заводит новые проекты в систему и создает иерархию показателей. Оценки экспертов после ввода учитываются и взвешиваются автоматически (рис. 3).

Данное веб-приложение может использоваться для получения независимых оценок удаленных экспертов в работе соответствующих департаментов Министерства образования при принятии решения о выделении средств на целевые образовательные программы.

Литература

1.     Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. 278 с.

2.     Ильин В.В. Основы инновационной деятельности в вузе. URL: http://journal.sakhgu.ru/work.php?id=6 (дата обращения: 20.02.2011).

3.     Королева Е.В., Ермолаева Т.К. Комплексный подход к формированию системы аналитических показателей инновационной деятельности предприятия. URL: http://finanal.ru/011/ kompleksnyi-podkhod-k-formirovaniyu-sistemy-analiticheskikh-po kazatelei-innovatsionnoi-deyatelno?page=0,2 (дата обращения: 25.02.2011).

4.     Киреев В.С. Система показателей для оценки инновационности образовательных проектов // XIV междунар. телекоммун. конф. студентов и молодых ученых «Молодежь и наука»: тез. докл. М.: НИЯУ МИФИ, 2011. Ч. 2. С. 107–108.