ISSN 0236-235X (P)
ISSN 2311-2735 (E)

Journal influence

Higher Attestation Commission (VAK) - К1 quartile
Russian Science Citation Index (RSCI)

Bookmark

Next issue

2
Publication date:
16 June 2024

Algorithm comparison of methods of complex quantitative quality evaluation of the complex systems

The article was published in issue no. № 4, 2012 [ pp. 153-156 ]
Abstract:This work considers the application of various methods of complex quantitative quality evaluation of compound systems to compare and choose the best version of the alternative. As well as the availability of uncertainly in the choice of a method which makes it difficult to obtain an objective assessment of the quality of complex systems, which affects on the validity of the decisions taken in their selection. Offer a solution to this problem, which allows the uncertainly in the choice of a method, removing the inconsistency between the results of different methods of solutions. The algorithm, the essence of which is to define a rational method of the possible combination of methods. An algorithm that minimizes the risk of wrong decisions due to the irrational choice of the method of the possible set of methods for quantitative evaluation of quality systems. Experimental results on real complex systems, confirming the effectiveness of the developed algorithm for comparing the methods package, introducing metrics and expertise in the comparison, evaluation and selection of complex systems are given.
Аннотация:Описывается применение различных методов комплексной количественной оценки качества сложных систем для сравнения и выбора наилучшего варианта из альтернативных. Рассматривается наличие неопределенности в выборе метода, существенно затрудняющей получение объективной оценки качества сложных систем, что влияет на обоснованность решений, принимаемых при их выборе. Предлагается решение данной проблемы, которое позволяет разрешить неопределенность в выборе метода, сняв противоречивость между результатами решений различными методами. Приводится алгоритм, суть которого состоит в определении рационального метода из возможной совокупности методов. Применение данного алгоритма минимизирует риск получения неверного решения вследствие выбора нерационального метода из возможной совокупности методов количественной оценки качества сложных систем. Кроме того, в статье приведены результаты экспериментов на реальных сложных системах, подтверждающие эффективность применения разработанного алгоритма для сравнения методов сверток, введения метрик и экспертных оценок при сравнении, оценке и выборе сложных систем.
Authors: Yu.M. Lisetskiy (Iurii.Lisetskyi@snt.ua) - S&T Ukraine Company (Director General), Kiev, Ph.D
Keywords: the ratio of regulations, risk minimization, efficient method, comparison and selection, complex system, algorithm
Page views: 10842
Print version
Full issue in PDF (9.63Mb)
Download the cover in PDF (1.26Мб)

Font size:       Font:

При решении задачи оценки, сравнения и выбора сложных систем (далее систем) в большинстве случаев используются методы, основанные на свертках, введении метрик и экспертных оценках [1–3]. Как показывают проведенная классификация и анализ [4], области применения этих методов пересекаются, то есть несколько методов могут использоваться для решения одной и той же задачи, что обусловливает неопределенность в выборе метода.

Наличие такой неопределенности существенно затрудняет получение объективной оценки качества систем. Это влияет на обоснованность решений, принимаемых при их выборе.

Для устранения данной проблемы необходимо разрешить неопределенность в выборе метода из всей возможной совокупности, сняв противоречия между результатами решений разными методами. Для сравнения оценок, получаемых различными методами комплексной количественной оценки качества систем, был разработан специальный алгоритм.

Описание алгоритма

Исходными данными для алгоритма стали варианты реализации реальной сложной системы, представленные в виде матрицы системы-характе­ристики. Было выполнено пропорциональное нормирование характеристик. Затем с помощью различных методов количественной оценки, в том числе и метода итерационного выбора систем (МИВС), разработанного автором [5], получены различные результаты упорядочения систем. В качестве показателя, отражающего расхождение оценок, полученных различными методами, предложено использовать отношение числа неодинаковых упорядочений к общему числу упорядочений.

Результатом попарного сравнения является матрица расхождений результатов упорядочения альтернативных вариантов систем различными методами, по которой рассчитывается среднее расхождение результатов между методами. Рациональным считается метод, который в среднем имеет меньшее количество изменений упорядочения вариантов системы.

Блок-схема алгоритма, реализующего данное сравнение, представлена на рисунке.

В состав схемы алгоритма входят двенадцать блоков.

Блок 1 – ввод и корректировка описаний исследуемых систем, представленных в виде вектора характеристик Xi= (x1=x2, …, xn).

Блок 2 – приведение характеристик исследуемых систем {K} к единой размерности с помощью пропорционального нормирования:

0 для

 для       (1)

1 для

Блок 3 – инициализация начала цикла по просмотру методов комплексной количественной оценки качества систем.

Блок 4 – реализация методов оценки качества вариантов систем путем выбора i-го метода из совокупности, представленной в таблице. Результатом работы является матрица оценок Ao:

   

M1

M2

Mj

Mm

S1

K11

K12

K1j

K1m

S2

K21

K22

K2j

K2m

Si

Ki1

Ki2

Kij

Kim

Sk

Kk1

Kk2

Kkj

Kkm

Блок 5 – проверка, все ли методы использованы; в случае реализации всех методов разрешается переход к блоку 7.

Блок 6 – переход к следующему методу в случае получения оценки качества систем не всеми методами.

Блоки 7 и 10 – выделение очередной пары методов для сравнения результатов оценки систем.

Блок 8 – сравнение результатов упорядочения каждой пары методов и вычисление расхождения их результатов по оценке качества систем как отношение числа неодинаковых упорядочений к общему числу упорядочений, занесение результата сравнения в матрицу расхождений Ar:

   

M1

M2

Mj

Mm

M1

0

R12

R1j

R1m

M2

R21

0

R2j

R2m

Mi

Ri1

Ri2

0

Rm

Mm

Rm1

Rm2

Rmj

0

Блок 9 – проверка, все ли пары методов использованы; в случае попарного сравнения результатов упорядочения всех методов переход к блоку 11.

Блок 11 – расчет среднего расхождения оценок по результатам оценок каждым из методов:

                                                         (2)

Блок 12 – преобразование результатов расчета расхождений в удобный для восприятия вид. Минимальное расхождение результатов упорядочения между методами соответствует минимальному среднему риску принятия нерационального решения.

Экспериментальные результаты

Для проведения экспериментов настоящий алгоритм был программно реализован на языке С++. С помощью данной программной реализации проводились практические исследования, сравнения результатов решения задачи упорядочения различными методами комплексной количественной оценки качества систем, в том числе и МИВС. Всего было проведено 480 вычислительных экспериментов для различных по содержанию и формальным свойствам исходных данных. По результатам каждого эксперимента определялось количество рациональных решений – n, где n£N, каждым из i методов. Затем рассчитывалась оценка вероятности нахождения рационального решения i-м методом:

                                                                  (3)

где N – количество экспериментов.

По результатам всех вычислительных экспериментов определялся метод, показавший максимальную оценку вероятности нахождения рационального решения. Сравнивая результаты решения задачи упорядочения этим методом с результатами, полученными с помощью МИВС, находилась оценка вероятности уменьшения риска выбора нерационального варианта:

                                            (4)

где maxPi – максимальная оценка вероятности нахождения  рационального решения i-м методом; PМИВС – оценка вероятности нахождения рационального решения МИВС.

Обобщенные результаты всех экспериментов, представляющие собой средний риск принятия нерационального решения по каждому из методов, приведены в таблице.

Метод

Эксперименты

Ранг

1

2

3

4

5

6

Средневзвешенное арифметическое

0213

0201

0275

0131

0134

0168

4

Средневзвешенное геометрическое

0207

0198

0244

0134

0135

0167

2

Средневзвешенное гармоническое

0241

0269

0297

0136

0143

0169

7

Средневзвешенное квадратическое

0263

0250

0258

0139

0138

0171

9

Средневзвешенное степенное

0298

0288

0277

0142

0140

0172

10

L1-норма

0215

0187

0254

0339

0146

0174

6

Евклидово расстояние

0756

0734

0728

0528

0855

0833

12

Ln-норма

0211

0190

0263

0146

0136

0276

3

Супремум-норма

0213

0201

0393

0154

0161

0177

5

Ранжирование

0248

0271

0242

0131

0174

0278

8

Непосредственная оценка

0305

0275

0418

0250

0219

0288

11

МИВС

0203

0190

0240

0129

0133

0167

1

Анализ результатов, приведенных в таблице, позволяет сделать вывод, что в 96 % случаев оценка, полученная с помощью МИВС, является наилучшей:

                                         (5)

В итоге вероятность выбора нерационального решения снижается в среднем на 29 %:

,      (6)

что экспериментально подтверждает положение о минимизации риска принятия нерационального решения при выборе сложных систем с помощью МИВС.

Представленный алгоритм сравнения методов комплексной количественной оценки качества систем, суть которого в определении рационального метода из их возможной совокупности, достаточно легко реализуется программно.

Сложность выбора рационального метода обусловлена тем, что для любой реальной системы такой метод, как правило, неизвестен. О рациональности какого-либо метода для анализа исследуемой системы можно говорить лишь с той или иной степенью достоверности.

Предложенный способ сравнения методов минимизирует риск получения неверного решения вследствие выбора нерационального метода количественной оценки качества систем из группы методов. Это особенно актуально в задачах оценки, сравнения и выбора сложных систем. Пакет прикладных программ успешно прошел опытную апробацию. Реализованные в нем функциональные возможности использовались для решения задач сравнения и выбора при построении корпоративных интегрированных информационных систем различной степени сложности.

На основании проведенных вычислительных экспериментов следует сделать вывод о том, что разработанный пакет программ может использоваться для эффективного решения широкого круга прикладных задач, где необходимо применять математический аппарат, основанный на методах сверток, введении метрик и экспертных оценках.

Литература

1.     Шор Я.Б. Методы комплексной оценки качества продукции. М.: Знание, 1971. 54 с.

2.     Калниболотский Ю.М., Сундучков К.С., Солодовник А.И. Автоматизированное проектирование электронных схем. К.: Техника, 1987. 301 с.

3.     Бешелев С.Д., Гурвич Ф.Г. Математико-статисти­ческие методы экспертных оценок. М.: Статистика, 1980. 263 с.

4.     Лисецкий Ю.М. Метод комплексной экспертной оценки для проектирования сложных технических систем // Математические машины и системы. 2006. № 2. С. 141–146.

5.     Лисецкий Ю.М. Выбор сложных систем по критерию минимума среднего риска // Управляющие системы и машины. 2007. № 3. С. 22–25.


Permanent link:
http://swsys.ru/index.php?page=article&id=3331&lang=&lang=&like=1&lang=en
Print version
Full issue in PDF (9.63Mb)
Download the cover in PDF (1.26Мб)
The article was published in issue no. № 4, 2012 [ pp. 153-156 ]

Perhaps, you might be interested in the following articles of similar topics: