Software & Systems

Достижение основной цели Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России» на 2007–2012 гг. (далее – Программа) – развитие научно-тех­нологического потенциала Российской Федерации – осуществляется путем скоординированного выполнения комплекса мероприятий, взаимоувязанных по срокам, ресурсам, исполнителям и результатам [1]. Данные мероприятия сгруппированы в блоки в соответствии со стадиями инновационного цикла «Генерация знаний» – «Разработка технологий» – «Коммерциализация технологий».

В рамках Программы выполняются научно-исследовательские (НИР), опытно-конструктор­ские (ОКР) и опытно-технологические работы (ОТР) по приоритетным направлениям развития науки, технологий и техники в Российской Федерации и соответствующим критическим техноло­гиям [2]. Получение качественных результатов реализации Программы обеспечивается за счет отбора наиболее перспективных проектов для государственного финансирования, выявления исполнителей, предлагающих лучшие условия исполнения контрактов, эффективной проверки качества результатов, полученных при исполнении государственных контрактов. Эти процедуры осуществляются с использованием современ- ной системы экспертизы, являющейся неотъемлемой составляющей механизма реализации Программы.

В настоящее время в Государственной дирекции ЦНТП (далее – Дирекция), осуществляющей оперативное управление реализацией Программы, создана и эксплуатируется современная многофункциональная автоматизированная информационная система (далее – Система экспертизы), обеспечивающая реализацию составляющих бизнес-процесса Дирекции, в том числе проведение независимой экспертизы на всех стадиях реализации Программы, а также решение различных аналитических и информационных задач.

Одной из основных подсистем Системы экспертизы наряду с подсистемой экспертизы конкурсных заявок является подсистема экспертизы качества полученных результатов при выполнении как отдельных этапов, так и проектов в целом. Экспертиза организуется сотрудниками Дирекции и проводится независимыми экспертами с использованием web-интерфейса Системы экспертизы в режиме удаленного доступа. При этом функционал системы обеспечивает:

-    доступ к представленным исполнителями проектов электронным копиям отчетных документов, размещаемым в файловом хранилище специально выделенного сервера;

-    формирование и выдачу независимыми экспертами экспертных заключений;

-    получение и анализ сотрудниками Дирекции экспертных заключений, их хранение и предоставление заинтересованным (и уполномоченным) лицам государственного заказчика Программы.

Поскольку для оценки качества полученных результатов, представленных исполнителями проектов в отчетных документах в электронном виде, применяется экспертный метод, предполагается привлечение независимых экспертов, являющихся высококвалифицированными специалистами в области тематики проектов, из различных, том числе самых отдаленных, регионов России. Для унификации процесса экспертизы проектов, имеющих многообразную тематическую направленность, используются специально разработанные экспертные анкеты, содержащие вопросы по различным аспектам выполнения проекта. Например, о качестве оформления предусмотренных отчетных материалов, соответствии полученных результатов требованиям государственного контракта, о перспективах дальнейшего использования результатов (для НИР) и коммерциализации результатов (для ОКР (ОТР)), о достижении значений целевых индикаторов и показателей и ряд других.

Проекты, выполняемые в рамках мероприятий Программы, существенно отличаются объемом, характером и уровнем сложности работ. Это обусловило индивидуальный подход к разработке экспертных анкет для каждого мероприятия. Кроме того, определенные особенности накладывает и поэтапное выполнение проектов (наличие промежуточных и итоговых этапов), что также было учтено при разработке экспертных анкет.

Анализ работы Дирекции по организации независимой экспертизы качества полученных результатов показал, что возможности обеспечивающей реализацию указанного функционала подсистемы Системы экспертизы не в полной мере позволяют оперативно контролировать ход, результаты выполнения работ и экспертизы отчетных документов значительного числа одновременно исполняемых государственных контрактов, а также проводить статистический анализ данных, содержащихся в экспертных заключениях.

Для расширения функционала Системы экспертизы было разработано специальное программное обеспечение (СПО), аппаратная реализация которого может способствовать и повышению качества экспертизы результатов, полученных при выполнении проектов в рамках мероприятий Программы.

Это ПО реализовано в виде web-приложения. Такой выбор был обусловлен преимущественно требованиями совместимости, поскольку находящаяся в эксплуатации Система экспертизы Дирекции Программы также построена по типам web-приложений. В качестве web-сервера использовался Apache, основной язык разработки – php 5.0, предусматривалась возможность использования Ajax. Web-сервер функционирует под операционной системой FreeBSD.

Сервером реляционной БД был выбран MySQL – совместимый на уровне представления и хранения данных с БД Дирекции Программы и имеющий достаточно высокую производительность и функциональность при работе с большими массивами данных. В качестве программной платформы для построения прототипа СПО использовалась ComplexCMS – разработка компании «Комплексные системы» (г. Тверь), предназначенная для создания web-приложений. Для реализации графических возможностей, позволяющих выполнить требования к визуализации результатов работы СПО, выбрана графическая библиотека pChart.

Подобный подход к созданию СПО позволил добиться совместимости по типу используемой СУБД с целью последующего перехода полностью на СУБД Дирекции, а также обеспечить разработку приложения в открытых кодах с возможностью масштабирования в дальнейшем.

Для хранения и обработки данных разработана структура БД (рис. 1), максимально приближенная к структуре БД Дирекции Программы и пригодная для дальнейшей интеграции в выбранную информационную систему.

Разработанное СПО позволяет выполнять следующие основные функции:

-    проведение расчетов для обеспечения оперативного контроля хода исполнения государственных контрактов и визуализация их результатов;

-    оценка и визуализация результатов оценки качества экспертизы результатов выполнения проектов, а также качества работы экспертов;

-    визуализация результатов экспертизы проектов по ряду задаваемых показателей.

Для оперативного контроля хода исполнения государственных контрактов применяется методика контроля значений, выбранных экспертами как заранее подготовленные ответы на вопросы при качественной оценке по ключевым показателям, характеризующим успешность выполнения проекта (этапа проекта).

Реализованный в СПО механизм поиска позволяет выбрать контракт или группу контрактов по заданным критериям. Для отобранного контракта осуществляются выбор соответствующих экспертных заключений и их упорядочение по этапам контракта. С целью нормировки при визуализации значения ответов на ключевые вопросы экспертной анкеты переводятся из порядковой шкалы к интервальной в диапазоне от 0 до 1. Для каждого этапа исполнения контракта графически (рис. 2) отображаются значения (в виде ломаной линии 1) ответов эксперта на ключевые вопросы анкеты, определенные заранее. При наличии нескольких экспертных заключений, соответствующих одному этапу выполнения контракта, рассчитывается и отображается среднее значение ответов в интервальной шкале. Ломаной линией 2 отображаются средние значения ответов экспертов на ключевые вопросы, усредненные по всем экспертным заключениям заданного мероприятия Программы. Таким образом, сравнивая эти линии, можно достаточно легко выявить отклонения и проследить динамику изменения значений ответов на ключевые вопросы, характеризующие качество выполнения выбранного проекта по отношению к средним значениям ответов на соответствующие вопросы при оценке всех проектов заданного мероприятия Программы.

Так, например, на рисунке 2 видно, что на четвертом этапе выполнения контракта значения ответов на ключевые вопросы экспертного заключения превышают среднестатистические результаты в классе. Однако на следующем, пятом, этапе значение ответа на один из ключевых вопросов (об оценке соответствия содержания проведенных работ требованиям государственного контракта) резко падает. На заключительном этапе выполнения работ значения ответов эксперта на ключевые вопросы, предусмотренные для оценки качества выполнения проекта, вновь выравниваются и незначительно превосходят средние значения ответов в классе заключений.

При анализе качества выполнения экспертизы выбранное экспертное заключение сравнивается с теми экспертными заключениями, для которых ответ о рекомендации по приемке работ совпадает со значением ответа на вопрос выбранного заключения (принятые без замечаний сравниваются с принятыми без замечаний и т.п.). Сравнение экспертных заключений основано на сравнении значений ответов на ключевые вопросы анкеты. Для сравнения двух экспертных заключений выполняются следующие действия:

-    значения ответов на выбранные ключевые вопросы приводятся к интервальной шкале [0,1];

-    выделяются классы экспертных заключений и оцениваются их обобщенные статистические характеристики, с помощью которых формализуется понятие обобщенного расстояния между экспертными заключениями;

-    вычисляется обобщенное расстояние от выбранного экспертного заключения до среднего элемента соответствующего ему класса.

ПО позволяет с помощью процедуры поиска выбрать необходимое экспертное заключение и представить результаты анализа в виде графика, на котором отображаются значения ответов на ключевые вопросы выбранного заключения по сравнению со средними значениями в классе (рис. 3). Линия 1 отображает значения ответов выбранного заключения. Линия 3 отображает средние значения ответов в классе заключений. Между линиями 2 и 4 затонирована область среднеквадратичного отклонения ответов на вопросы от средних значений, которая характеризует типовые заключения в классе заключений. Близость расположения линии 1 (в пределах затонированной области) к линии 3 характеризует типичность экспертного заключения. В зависимости от того, насколько велико отклонение значений ответов в выбранном заключении от средних в классе по сравнению со всей выборкой, можно сделать вывод о степени правдоподобности заключения. Кроме статистических оценок, также проверяется логическая непротиворечивость ответов на входящие в экспертные заключения вопросы. Проверка основана на анализе ответов на имеющиеся сильно коррелированные вопросы анкеты путем проверки логических выражений. Наличие логических противоречий также может отображаться на графике.

Так, например, на рисунке 3 приведена визуализация результатов оценки качества экспертизы проекта, которая свидетельствует о том, что результаты выполнения экспертизы можно считать правдоподобными. Несмотря на завышенную оценку инвестиционной привлекательности полученных результатов по сравнению со средними показателями в классе (что достаточно характерно для результатов проблемно-ориентированных и поисковых исследований), остальные значения ответов на ключевые вопросы находятся в пределах стандартного отклонения от средних значений.

Подход, применяемый к оценке качества работы экспертов, является развитием подхода к оценке качества экспертных заключений. Отличия заключаются в следующем: в рамках выбранного типа экспертной анкеты (шаблона экспертного заключения) определяются все экспертные заключения каждого эксперта, которые затем разбиваются на классы по признаку данных им итоговых рекомендаций.

После этого из представленного списка выбираются требуемый эксперт и тип анкеты, соответствующий мероприятию Программы. После проведения расчетов отображаются графики (рис. 4), показывающие, как соотносятся общие статистические значения ответов на вопросы и ответы выбранного эксперта в классе выбранных заключений. Линия 4 характеризует усредненные значения для заключений выбранного эксперта, линия 2 отображает усредненные значения для всего класса заключений. Между 1-й и 3-й линиями определена область заданного среднеквадратичного отклонения значений ответов на вопросы от средних значений и характеризует типовые заключения в классе. Чем ближе линия 4 к линии 2, находясь в области заданного среднеквадратичного отклонения, тем более правдоподобна со статистической точки зрения работа эксперта.

Под графиком может отображаться сводная таблица всех заключений, выполненных экспертом. Для каждого заключения отображаются его класс правдоподобия и значение величины отклонения от аналогичных заключений в классе.

Из приведенного на рисунке 4 примера видно, что отклонение значений ответов эксперта на вопросы по двум ключевым показателям проекта достаточно велико. При крайне низком предполагаемом уровне новизны полученных результатов (вопрос № 9) экспертом предлагается принять результаты этапа без замечаний и продолжить выполнение работы. Таким образом, график дает возможность легко определить, что данное экспертное заключение является логически противоречивым, и, следовательно, необходимо выявить причину, по которой экспертом, возможно, была допущена ошибка.

Визуализация результатов экспертизы про- ектов может осуществляться по различным выборкам исходя из выбранных пользователем критериев, что позволяет с требуемой степенью детализации анализировать результаты экспертизы проектов.

Итоги реализации мероприятий Программы зависят в конечном итоге от качества выполнения проектов, которое не в последнюю очередь определяется фактом получения запланированных результатов. Поэтому для качественной оценки степени реализации мероприятия Программы целесообразно взять интегральную оценку качества выполнения проектов по результатам проведенной экспертизы отчетных документов.

Основным показателем, характеризующим качество выполнения проекта, в рамках информации, содержащейся в экспертных заключениях, является ответ на вопрос о целесообразности приемки работ, выполненных как по отдельному этапу, так и по контракту в целом. Этот ответ в случае его положительного варианта может свидетельствовать о достижении заданных для проекта значений целевых индикаторов и показателей, получении запланированного количества и качестве результатов и т.д. На основании этого для визуализации итогов реализации мероприятий Программы применяется следующая методика:

-    производится разделение контрактов выбранного типа экспертной анкеты (шаблона заключения) на отдельные мероприятия программы;

-    в виде гистограммы отображается распределение контрактов в зависимости от значения итогового показателя.

После выбора типа экспертной анкеты (как правило, по группе однотипных мероприятий Программы) отображаются график, показывающий количественное соотношение трех классов ответов (рекомендаций) экспертов в экспертных заключениях (принять, принять с доработками, отклонить) для разных мероприятий, и сводная таблица, содержащая информацию о количестве элементов в классах заключений для каждого мероприятия Программы (рис. 5).

С помощью разработанного СПО (на основе вычисления статистических характеристик по всей БД экспертных заключений) возможно получение обобщенных экспресс-оценок для проведения последующего анализа. Гибкий механизм поиска и выбора элементов БД (экспертных заключений, экспертов, типов экспертных анкет, мероприятий Программы и др.) позволяет по заданным критериям получать агрегированные сведения о выполненных (выполняемых) проектах на основе оценок, данных экспертами (рис. 6). Например, сколько проектов выполнено с результатами, превышающими мировой уровень или соответствующими ему, сколько проектов обладает значимым потенциалом коммерциализации результатов, сколько проектов имеют результаты, подлежащие охране как созданная интеллектуальная собственность, и т.д.

На рисунке 6 представлена диаграмма распределения совокупности экспертных заключений (в которых результаты выполнения работ по контрактам рекомендованы к принятию без замечаний) по итогам оценки экспертами степени важности результатов, полученных в ходе выполнения проектов. В данном случае, как видно из рисунка, большинство (41 %) экспертных заключений характеризуют результаты выполненных работ как способствующие получению эффекта, имеющего значение для отдельной отрасли экономики.

На основании изложенного можно сделать следующие выводы.

Разработанное СПО обеспечивает статистическую обработку (в соответствии с разработанными на этапе проведения исследований научно-методическими подходами и методиками) массива данных, полученных от экспертов по результатам проведения экспертизы экспертных заключений, и позволяет осуществлять оперативный контроль хода исполнения государственных контрактов, оценку качества экспертных заключений и оценку качества работы экспертов.

Кроме этого, разработанное СПО дает возможность получать статистические данные для качественного анализа реализации мероприятий Программы на основе агрегирования экспертных оценок результатов выполнения проектов по различным показателям. Предполагается, что применение разработанного СПО в рамках Системы экспертизы Дирекции Программы может способствовать поддержке принятия своевременных и обоснованных управленческих решений при отклонении хода исполнения контрактов от установленного нормативными документами, а также повышению качества экспертизы результатов, полученных при выполнении проектов в рамках мероприятий Программы, за счет повышения качества работы экспертов.

В дальнейшем на базе разработанных научно-методических подходов предполагается развитие данного СПО по ряду направлений, включающих, например, рейтингование экспертов по различным признакам для их более обоснованного привлечения к проведению экспертизы, а также для обеспечения возможности решения различных задач аналитического характера.

Литература

1.   Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007–2012 годы // Федеральная целевая программа: Постановл. Прав-ства РФ № 613: утвержд. 17.10.2006 г. URL: http://www.fcpir.ru/ (дата обращения: 19.05.2010).

2.   Перечень критических технологий Российской Федерации: утвержд. Президентом РФ В.В. Путиным 21.05.2006 г. Пр-842. URL: http://mon.gov.ru/dok/ukaz/nti/4407/ (дата обраще­ния: 29.05.2010).

3.    Дубина И.Н. Математические основы эмпирических социально-экономических исследований. Барнаул: Изд-во Алт. ун-та, 2006.