НАУКА и ОБРАЗОВАНИЕ

УДК 519.81

Россия, МГТУ им. Н.Э. Баумана

spirid@bmstu.ru

Введение. Системы обработки информации (СОИ),  построенные на базе ЛВС, применяют  практически во всех областях человеческой деятельности.  В процессе  промышленной эксплуатации СОИ, из-за  бурного развития  средств вычислительной техники,  обслуживающему персоналу постоянно приходится решать целый ряд проблем, касающихся  определения  пути  дальнейшего развития аппаратных и программных средств, а также организационной структуры системы, с учетом  удовлетворения постоянно растущих потребностей  ее пользователей. Несмотря на то, что математические  методы  выбора эффективных архитектурных решений  СОИ,  ее компонент , постоянно совершенствуются  и развиваются, отсутствие полного набора требуемых исходных данных или их  частичная неопределенность, часто просто не позволяют  в полной мере  эффективно использовать эти методы.

Использование метода экспертного анализа позволяет обойти эти преграды за счет  применения интуиции, логического мышления и практического опыта экспертов. Поэтому  метод экспертного анализа находит применение в практической деятельности.  Лицо принимающее решение (ЛПР), часто использует этот метод, в различных его вариациях,  для  проведения сравнительного анализа альтернативных вариантов и выбора среди  них наилучшего варианта развития СОИ.

Однако использование метода экспертного анализа для выбора наилучшего  варианта развития СОИ  не всегда  позволяет получить приемлемое решение, поскольку возможны существенные разногласия  между отдельными экспертами рабочей группы.  В связи с этим  проблема увеличения  согласованности  мнений экспертов рабочей группы,  при проведении экспертного анализа,  является весьма актуальной

Постановка задачи. Необходимо разработать подход к организации экспертного анализа, позволяющий ЛПР увеличить степень согласованности мнений  экспертов рабочей группы, при сравнении альтернативных вариантов  развития СОИ, с целью получения от них адекватной информации  по ранжированию этих вариантов.

Решение задачи.  На  основе анализа работ [1-8] предложен комплексный подход  к  организации  экспертного анализа  для выбора варианта развития СОИ.

Подход включает:

1.рекомендации по формированию компетентной рабочей группы экспертов;

2 правила использования экспертами стандартизированной ранговой системы;

3  рекомендации по организации и проведению экспертного опроса;

4. правила обработки  результатов экспертного опроса;

5. рекомендации по проведению целенаправленной корректировке  результатов работы экспертов рабочей группы для  увеличения  уровня  согласованности их мнений.

Основу предложенного подхода составляют следующие принципы:

- уровень компетентности эксперта зависит от целого ряда факторов, отражающих как профессиональные, так и личные его качества;

- уровень  компетентности рабочей группы экспертов  зависит от уровней компетентности отдельных экспертов, входящих в ее состав;

- уровень согласованности мнений экспертов рабочей группы  зависит от  уровня  компетентности экспертов этой группы.

Сформированная рабочая группа экспертов является компетентной и способной корректно решать поставленные перед ней задачи, если уровень ее компетентности  () отвечает следующему условию [1] 

                                                                            (1)

Согласно  [1-3]  можно считать, что  чем больше  уровень компетентности  экспертов рабочей группы, тем меньше  уровень несогласованности их мнений, при условии,  что эксперты принадлежат к одной научной школе.   

Уровень компетентности (M) рабочей группы экспертов вычисляется  согласно [7] по следующей формуле: 

                                                                               (2)

Где  -  уровень компетентности j-го эксперта;

- количество экспертов в составе рабочей группы.

Для оценки уровня компетентности  () каждого  j-го эксперта  () предлагается использовать выражение (3),  которое  учитывает и оценивает  уровень профессиональной  подготовленности эксперта, информированность  его в сфере научных публикаций, способность творчески работать в коллективе, а также личные качества.

                                                                                                (3)

В выражение (3) включены  пять обобщенных показателей , учитываемых при оценке уровня  компетентности- эксперта, при этом  ().

  - учитывает профессиональную подготовленность,  наличие ученых степеней и званий, а также стаж и опыт работы;

 - учитывает уровень информированности  в сфере научных публикаций, а также аргументированность при принятии решений;

 - учитывает,  на основе самооценки,  стремление  к профессиональному росту, умение работать в коллективе, а также дисциплинированность и организованность;

 - учитывает личные  качества эксперта, данные ему  коллегами экспертами;

 -  учитывает уровень согласованности действий  эксперта с членами  формируемой рабочей группы при проведении тестовой оценки.

Коэффициент  предлагается определять на основании данных, приведенных в табл.1

Таблица 1

Определение уровня профессиональной подготовленности  экспертов.

Для определения значения коэффициента предлагается использовать данные, которые приведенные в [9]:

     - регулярное отслеживание научных публикаций по профессии;

 - не всегда регулярное отслеживание научных публикаций по профессии;

 - нерегулярное отслеживание научных публикаций по профессии.

На основе анализа работ [7, 9-10] выделены  пять основных личных качеств экспертов:

1) стремление к профессиональному росту и постоянному повышению квалификации,  как в  своей области, так и в смежных областях;

2) способность оперативно оценивать ситуацию и принимать эффективные решения;

3) способность своевременно реализовывать принятые решения;

4) умение создавать в рабочем коллективе нормальный психологический климат;

5)  дисциплинированность и организованность.

Для оценки личных качеств экспертов, с учетом рекомендаций построения шкал [11], предлагается использовать вербально-числовую  шкалу, приведенную в табл.2.

Таблица 2

Вербально-числовая  шкала оценки личных качеств эксперта

Коэффициенты   и , которые  соответственно отражают личные качества экспертов на основе самооценки и оценки коллег, вычисляются  с использованием данных, приведенных в табл.2, по следующим формулам

                                                                                      (4)

                                                                                 (5)

где  - коэффициент, отражающий самооценку j-го эксперта  по наличию и проявлению у него i-го личного качества

 - коэффициент, данный l-ым экспертом о наличии  и проявлении  i-го личного качества у  j-го эксперта 

 - количество экспертов, участвующих в оценке личных качеств j-го эксперта 

Для оценки значения коэффициента  согласно [5] предлагается использовать следующее выражение: 

                                                                                (6)

где  - ранг, присвоенный j-ым экспертом  выделенному варианту в процессе проведения тестового опроса  экспертов при формировании  рабочей группы.

 - средний ранг выделенного варианта,  полученный в результате проведения тестового опроса всех экспертов формируемой  рабочей группы.

После проведения тестового опроса экспертов предлагается использовать следующую процедуру аттестации экспертов[5].  Если ранг, присвоенный j-ым экспертом  выделенному варианту в процессе проведения тестового опроса, не оказывается крайним (наибольшим или наименьшим) в полученном ряду ранговых оценок, то уровень квалификации этого эксперта следует считать соответствующим уровню группы. В противном случае ранг, данный тестовому варианту, этим экспертом, следует  считать противоречащим мнению группы и необходимо далее провести оценку на предмет возможности включения (или не включения)  этого эксперта в состав рабочей группы.  Если  в результате сравнения ранга (),  присвоенного j-ым экспертом  выделенному варианту,  с рангом (), который соответствует среднему  арифметическому значению рангов, присвоенных этому варианту всеми экспертами группы,  выражение (7)  справедливо, то -го  эксперта включают в состав кандидатов рабочей группы, иначе его не включают.

                                                                                            (7)

Где -  среднее квадратичное отклонение индивидуальных  рангов оценок выбранного варианта  экспертами тестируемой  группы.

Значение коэффициента при уровне значимости  согласно [5] выбирают из табл 3  в зависимости от количества экспертов (m),  прошедших тестовое испытание.

Таблица 3

Значения коэффициента от числа экспертов

Далее всех экспертов, прошедших тестовое испытание, ранжируют  по убыванию  уровня их компетентности, который отражает коэффициент , вычисляемый по выражению (3).  После этого формируют состав экспертной группы,  последовательно выбирают экспертов из ранжированного ряда экспертов, начиная с эксперта, у которого уровень компетентности имеет наибольшее значение, т. е.    . При этом количество экспертов в составе рабочей группы,  согласно [12,13 ]   рекомендуется брать не меньше числа сравниваемых вариантов, но не более 10.

После формирования  окончательного состава экспертов рабочей группы  следует провести оценку уровня ее компетентности, используя условие (1). Если  условие (1) выполняется, то рабочую. группа следует признать  работоспособной, и она должна приступить к выполнению своих обязанностей,  если условие (1) не выполняется, то следует провести  повторное формирование  группы.

Для  проведения сравнения и ранжирования  вариантов, предложенных экспертам,  каждому эксперту рекомендуется использовать  процедуру, включающую два этапа:

- на первом этапе, используя парное сравнение вариантов,  провести  упорядочивание этих вариантов по степени их важности;

- на втором этапе, используя стандартизированную ранговую систему, присвоить каждому варианту соответствующий ранг.

 На первом этапе для проведения парного сравнения вариантов  каждый эксперт  должен составить квадратную матрицу размером  ,  равным числу сравниваемых  вариантов.  Диагональные элементы этой матрицы равны нулю. Элемент  этой матрицы показывает  взаимное отношение вариантов  друг к другу  у  эксперта:

если    , то  вариант   предпочтительнее варианта ;

если    , то  вариант   предпочтительнее варианта ;

если    , то  варианты    и  равноценны.

При заполнении матрицы  должно строго  выполняться   условие  .

 На основе парного сравнения вариантов, эксперт вычисляет  коэффициент важности каждого варианта  по формуле

                                              (8)

После этого эксперт  должен произвести упорядочивание вариантов по неубыванию коэффициента их важности, считая вариант k – наилучшим, если для него  выполняется следующее условие  

Если у j-го эксперта, например,  имеет место следующее соотношение коэффициентов важности вариантов:   и т.д., то расположение вариантов по степени их предпочтения у - го  эксперта имеет следующий  вид:    и т. д.  При этом варианты  (), имеющие  одинаковый коэффициент важности у j-го эксперта, называются  связанными.   

На втором этапе  эксперт   присваивает  ранги  сравниваемым вариантам,  согласно значениям коэффициентов важности  этих вариантов.  Тогда, в нашем случае,  варианту  (k) присваивается ранг равный единице (первое место),  варианту ()  ранг  равный двум, варианту  () ранг равный трем.  Численное значение  ранга   связанных вариантов  представляет собой  среднее значение  суммы мест этих вариантов в ранговой системе. Поэтому вариантам  () эксперт присваивает  ранг, равный  четыре с половиной. Окончательно j-ый эксперт  присваивает сравниваемым вариантам в нашем случае  следующие ранги.    и т. д.

После  ранжирования вариантов, которые были предложены экспертам  для сравнения,  эксперты  заполняют  таблицу, подобную  табл.4, в которой  должны быть представлены  результаты опроса  всех  экспертов.

Таблица 4

Результаты ранжирования вариантов экспертами рабочей группы

  В табл.4 и далее  используются  следующие обозначения:

m –  количество экспертов в  составе  рабочей  группе;  

n  -  количество вариантов  подлежащих ранжированию экспертами;

 - сумма рангов, присвоенных  всем вариантам - ым экспертом ;

- ранг  i – го  варианта, данный  ему  j- ым экспертом  (i  = 1, n),  (j= 1, m); 

   - суммарный  средний ранг  сравниваемых вариантов; 

 -  суммарный ранг  i – го  варианта, данный  ему  всеми  экспертом  (i  = 1, n); 

 - квадрат отклонения суммарного среднего ранга  i – го  варианта от суммарного среднего ранга вариантов;

- сумма квадратов отклонений суммарных рангов каждого из вариантов от суммарного среднего ранга вариантов.

В [14]  на основе проведенных исследований установлено, что  ранги вариантов, полученные  на основе суммирования рангов, данных им  отдельными экспертов, или  их усреднения с помощью среднего арифметического, среднего геометрического, среднего  гармонического  или медианного значений  достаточно близки между собой и дают практически один и тот же результат  при ранжировании сравниваемых вариантов.  В связи с этим  для  определения суммарного ранга варианта  предлагается использовать  простое суммирование рангов этого  вариантов, которые дали ему эксперты.

Поэтому  далее,  согласно  [15],   имеем:

                                                                                              (9)

                                                                                    (10)

                                                                                                                (11)

                                                                   (12)

Для оценки уровня  согласованности мнений  экспертов рабочей группы, используем коэффициент конкордации W.,  т.е. коэффициент  ранговой корреляции экспертов этой группы, который  обычно рассчитывается по формуле, предложенной Кендаллом.  При этом  W  определяется  как отношение фактически полученной величины Sк ее максимальному значению    для одной и той же  группы экспертов и числа сравниваемых  вариантов [15].  

                                        (13 )

где                                                                                     (14 )

 -  коэффициент, учитывающий наличие связанных вариантов у  j- го  эксперта

 -   число групп одинаковых рангов вариантов у  j-го эксперта

к -  номер группы одинаковых  рангов  вариантов  у  j-го эксперта  ( к = 1,)

 -   число одинаковых рангов вариантов  в  к-ой  группе  у   j - го  эксперта

При отсутствии связанных вариантов у всех экспертов рабочей группы, выражение (13) упрощается и принимает следующий вид:

                                                    (15)

Оценку значимости коэффициента конкордации  проводим по критерию .Согласно [15]  величина    имеет   распределение с   степенями свободы.

Расчетное значение критерия  определяем  по следующему выражению [15 ]:   

                                                                                             (16 )

Табличное значение  критерия      определяем из [16]  при уровне значимости   и числе степеней свободы  .  

Если  ,  т.е. расчетное значение больше табличного, то с вероятностью 95% можно утверждать, что мнения  экспертов рабочей группы являются вполне согласованными,  если  , то мнения экспертов не являются согласованными.

Для качественной оценки степени согласованности  мнений экспертов также можно использовать вербально-числовые шкалы,  предложенные Марголиным и Харрингтоном, которые приведены соответственно в табл. 5 и табл. 6.

Таблица 5

Оценка степени согласованности мнений экспертов по шкале Марголина

Таблица 6

Оценка степени согласованности мнений экспертов по шкале Харрингтона

Если уровень согласованности мнений экспертов рабочей группы, вычисленный с помощью коэффициента конкордации,  удовлетворяет критерию, т.е.  , или степень согласованности мнений экспертов не ниже высокой, лицо принимающее решение может считать, что  ранжирование вариантов, выполненное экспертами рабочей группы, проведено корректно и может быть использовано для принятия окончательного решения..

Если  ранжирование вариантов соответствует согласованному мнению экспертов, и суммарные ранги вариантов, полученные от всех экспертов, можно представить в  следующем виде:  , то вариант  ( k)  является наилучшим поскольку для него выполняется  условие

                               (17)

Поэтому для ЛПР  расположение вариантов по степени их предпочтения  имеет  следующий  вид:  

Однако, если уровень (или степень)  согласованности мнений экспертов рабочей группы не удовлетворяет ЛПР, то следует провести  целенаправленную корректировку  результатов работы экспертной  группы, направленную  на  увеличение согласованности мнений  экспертов.

Для  проведения целенаправленной корректировки, результатов работы экспертов  рабочей  группы,  предлагается подход, включающий три этапа:

- на первом этапе  для каждой пары экспертов следует провести  сравнение результатов ранжирования  предложенных им вариантов и вычислить коэффициент ранговой корреляции Спирмена ()  , т. е. коэффициент согласованности их мнений.

                                                                      (18)

при этом              и       

Где  i- номер оцениваемого варианта

 - число вариантов, подлежащих сравнению

, - ранги,  данные i-ому варианту  соответственно -ым и  -ым  экспертами

 и  - показатели повторяемости рангов для  сравниваемых экспертами вариантов 

,  - число  повторений  каждого ранга соответственно  у  -го и -го  экспертов

  - число рангов, которые  повторяются соответственно  у  -го и -го  экспертов

Если у экспертов повторяющиеся ранги отсутствуют, то выражение (18) упрощается и принимает вид:

                                                                                (19)

- на втором этапе для каждого эксперта  следует  вычислить суммарный коэффициент  согласованности  его мнения   ()   со всеми  экспертами рабочей группы:

                                                                                                        (20)

- на третьем этапе следует определить эксперта (), который имеет наименьший коэффициент согласованности мнений  ( ) с остальными экспертами рабочей группы, и исключить  результаты  его работы  из  результатов работы экспертной группы.

                                                                                                         (21)

Далее, последовательно используя выражения  (9) – (16) ,  следует снова оценить уровень согласованности мнений экспертов рабочей группы.

Как правило, одного - двух циклов целенаправленной корректировки результатов работы экспертов рабочей группы, при соблюдении предложенных рекомендаций по формированию рабочей группы и организации экспертного опроса,  вполне  достаточно для  получения  согласованного мнения экспертов.      

Пример.

Рассмотрим пример, который носит иллюстративный характер  и служит лишь для демонстрации использования предложенного подхода для ранжирования  альтернативных вариантов развития  СОИ.

 ЛПР для сравнения пяти вариантов развития  СОИ, на основе предложенного в работе подхода, сформировал рабочую группу в количестве 6 экспертов. Уровни компетентности экспертов соответственно равны:

  ,    ,    ,     ,       ,     .

Уровень компетентности рабочей группы экспертов, вычисленный по выражению (2),  равен   . Поскольку   () , то согласно условию  (3),  рабочая группа экспертов является компетентной и работоспособной.  Эксперты заполнили  выданные им бланки.  После этого результаты ранжирования вариантов развития СОИ, выполненные экспертами,  были  сведены в табл.7 (столбцы  2-7)

Таблица 7

Результаты ранжирования вариантов развития СОИ экспертами рабочей группы

Расчеты, проведенные с помощью формул  (9–12) приведены в табл 7  (столбцы 8 -10).

Поскольку у экспертов отсутствуют связанные варианты, то  расчет коэффициента конкордации проводим  по формуле  (15):

Оценку значимости коэффициента конкордации  проводим по критерию , при уровне значимости   и числе степеней свободы  ,  по  формуле (16) 

Используя  [16]  определяем табличное значение критерия  ,  получаем

Поскольку ,  т.е. расчетное значение меньше табличного, то с вероятностью 95% можно утверждать, что мнения  экспертов не являются согласованными.

Однако,  подход к сформированному составу экспертов рабочей группы  следует признать успешным,  поскольку  при  уровне значимости   и числе степеней свободы  ,  получаем  . В этом случае , т.е. расчетное значение больше табличного, поэтому с вероятностью 90% можно утверждать, что мнения  экспертов являются согласованными.  Однако ЛПР этот результат не устраивает, и  он желает получить более согласованное решение.

Поэтому далее,  для  получения более согласованного мнения экспертов, используем процедуру целенаправленной корректировки, результатов работы экспертов  рабочей  группы.

Для каждой пары экспертов по формуле (19) вычисляем коэффициент ранговой корреляции Спирмена , т.е. коэффициент согласованности их мнений.  Полученные результаты  заносим в табл 8.

Таблица 8

Значения  коэффициента ранговой корреляции Спирмена

Вычисляем по формуле (20)   суммарный коэффициент согласованности  мнений каждого  j-го эксперта с остальными  экспертами рабочей группы. Полученные результаты  заносим в табл 8, последний столбец.

Согласно условию (21),  выбираем  в табл 8,  в последнем столбце, строку, которой соответствует минимальное значение  суммарного коэффициента согласованности  мнений эксперта,  в данном случае строку (6),  Далее  эксперта   (Э6), у которого значение   минимальное  среди всех экспертов, исключаем из состава рабочей группы.

После этого, результаты ранжирования вариантов развития СОИ экспертами рабочей группы, без учета  результатов эксперта Э6,  заносим  в табл 9.(столбцы 1-6)

Таблица 9

Результаты ранжирования вариантов развития СОИ  экспертами рабочей группы

Расчеты, проведенные с помощью формул  (9–12) приведены в табл 9  (столбцы 7 - 9).

Поскольку у экспертов отсутствуют связанные варианты, то  расчет коэффициента конкордации проводим по формуле  (15):

Оценку значимости коэффициента конкордации  проводим по критерию , при уровне значимости   и числе степеней свободы  ,  по  формуле (16) 

Используя  [16]  определяем табличное значение критерия  ,  получаем

Поскольку ,  т.е. расчетное значение больше табличного, то с вероятностью 95% можно утверждать, что мнения  экспертов являются согласованными. Также имеем, что для , согласно  табл. 5 и табл. 6, согласованность мнений экспертов рабочей группы является высокой.

После обработки результатов экспертного опроса имеем, что  согласно выражению (17 и результатов, приведенных в табл.9. (столбец 7), рабочая группа экспертов считает, что  вариант В1 является наилучшим вариантом развития  СОИ,  а ранжирование вариантов развития СОИ, в порядке их предпочтительности,  имеет следующий вид:

Выводы.

1. Определен набор качеств экспертов, которые следует учитывать при оценке уровня их компетентности,  и даны рекомендации по формированию квалифицированного  состава экспертов рабочей группы

2. Предложен комплексный подход  к организации проведения экспертного анализа для   корректного сравнения альтернативных вариантов развития СОИ  и  увеличения согласованности  мнений экспертов рабочей группы.

3. Рассмотрен пример, иллюстрирующий возможность  эффективного  практического использования  предложенного подхода.

Список литературы

1. Афоничкин А.И., Михаленко Д.Г. Управленческие решения в экономических системах.  СПб.: Питер,  2009.  480 с.

2. Гапоненко Т.В. Управленческие решения. Ростов н/Д.: Феникс, 2008.  284 с.

3. Горбашко Е.А. Управление качеством. СПб.: Питер,  2008.  384 с.

4. Жуков Б.М., Ткачева Е.Н. Исследование систем управления. М.: Дашков и К, 2011.  208 с.

5. Зерный Ю.В., Полываный А.Г., Якушин А.А. Управление качеством в приборостроении.  М.: Новый центр, 2011.  479 с.

6. Кошелев О.С., Леушин И.О., Федоров О.В. Управление проектами. М.: КНОРУС, 2011.  254 с.

7. Лукичева Л.И., Егорычев Д.Н. Управленческие решения. М.: Омега-Л, 2009.  383 с.

8..Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. М.: КНОРУС, 2011.  568 с.

9.  Михненко П. Секреты эффективных бизнес-решений. М.: NTPress, 2007.  288 с.

10. Крылов А.В. О проблемах организации экспертизы // Проблемы полиграфии и издательского дела. 2006. № 4. С. 117-122.

11. Токарев Б.Е. Маркетинговые исследования.  М.: ИНФРА-М, 2011. 512 с.

12. Марголин Е. Методика обработки данных экспертного опроса // Полиграфия. 2006. № 5. С. 14-16.

13. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия  решений. М.: Знание, 1985.  32 с.

14. Куренков Н.И., Трофименко Е.М. Об одном подходе к группированию мнений экспертов в задачах принятия решений //  10-ая  научно-практическая конференция «Современные информационные технологии в управлении и образовании»: сб. научных трудов. Ч. 2. М.:  Проспект,  2010. С. 80-86. 

15. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок.  М.: Статистика, 1974. 160 с.

16. Теория статистики / под. ред. Г.Л. Громыко. М.: ИНФРА-М, 2009. 476 с.