НАУКА и ОБРАЗОВАНИЕ

УДК 519.81

Россия, МГТУ им. Н.Э. Баумана

chernen@bmstu.ru

Введение. Бурное развитие науки и техники привело к тому, что за  последнее время во все отрасли народного хозяйства  стали широко внедряться автоматизированные системы обработки информации и управления, построенные на базе ЛВС. Возрастающая сложность управления современным производством привела к тому, что лицо принимающее решение (ЛПР)  стало достаточно часто формировать экспертные рабочие группы из числа высококвалифицированных специалистов для оказания ему помощи при подготовке и принятии управленческих решений. Экспертные группы помогают ЛПР оперативно  принимать корректные, технически совершенные и экономически эффективные решения для разрешения возникшей проблемной ситуации, например, выбора варианта ликвидации узкого места сети, выбора варианта приобретения набора требуемого оборудования, выбора варианта модернизации/реорганизации сети и т.д.

Однако всем хорошо известно, что  проблема подбора экспертов была и остается одной из наиболее сложных в теории и практике экспертных исследований. Поэтому не случайно этой проблеме уделяется должное внимание и посвящено большое количество работ. Отметим только некоторые, наиболее важные из этих работ [1-15]. В них  подробно рассматриваются  отдельные важные вопросы подбора экспертов, но к сожалению отсутствует общий методический подход, касающийся выбора состава экспертной группы. 

Постановка задачи.  Необходимо провести сравнительный анализ существующих подходов к выбору количественного и качественного состава экспертов рабочей группы и выработать общий концептуальный подход к выбору экспертов.

Решение задачи.

Детальный анализ целого ряда работ [1, 6 – 9, 11 - 13]  показал, что выбор состава экспертной группы следует рассматривать как многоэтапный процесс. Поэтому в данной работе при выборе состава экспертов рабочей группы предлагается выделить следующие пять основных этапов:

Этап 1. Определение предметной области и цели экспертного исследования.

Этап 2. Выбор количества экспертов в составе рабочей группы

Этап 3. Формирование списка возможных кандидатов в эксперты

Этап 4  Формирование предварительного списка экспертов рабочей  группы и оценка уровня их компетентности

Этап 5  Формирование окончательного списка экспертов рабочей группы и оценка уровня ее компетентности

Рассмотрим эти этапы и задачи, решаемые на них, более подробно.

Этап 1. Определение предметной области и цели экспертного исследования.

Предметную область и цель экспертного исследования обычно определяет ЛПР. Возможны различные цели экспертного исследования.

1. Выбрать один, наиболее приемлемый, вариант из набора предложенных исходных альтернативных вариантов, например вариант модернизации сети.

2. Провести ранжирование предложенных исходных альтернативных вариантов по степени их предпочтения, например для дальнейшего развития бизнеса и получения наибольшей прибыли..

3. Провести ранжирование и группировку вариантов по степени их важности.

4. Сформировать набор исходных факторов, провести  их ранжирование, выбрать среди них наиболее значимые факторы, оказывающие существенное влияние на  итоговый показатель, например, на производительность сети или на  ее надежность, либо на трудоемкость и длительность ремонта оборудования сети и т. д.

5 Провести выбор значимых  параметров, характеризующих работу сервисных служб, обслуживающих компьютерное оборудование  и т.д.

На этом этапе ЛПР четко определяет количество исходных факторов (или вариантов) и задачу  их экспертного исследования. Количество факторов, подлежащих анализу и ранжированию, согласно принципу  Гештальта, рекомендуется брать не более 9-10. Дальнейшее увеличение числа факторов, как правило, ведет  к сложности их ранжирования с учетом обеспечения согласованной оценки экспертов.

Этап 2.  Выбор количества экспертов в составе рабочей группы

Существуют различные подходы к выбору количества экспертов (m) в составе рабочей группе:

1) количество экспертов согласно [10] должно быть не меньше числа факторов (n) или вариантов, которые подлежат ранжированию  ( m ≥ n  )  

2) количество экспертов в [9, 13] рекомендуется определять по следующей формуле

где   - ошибка результата  экспертного  анализа   

Так при допустимой ошибке экспертного анализа в 5 %  ()  в состав рабочей группы должно входить  не менее 6 экспертов.

3) количество экспертов согласно принципу Гештальта должно быть  в пределах 10 человек. При большом числе экспертов, во-первых, достаточно сложно согласовать их мнения, если эксперты принадлежат к различным научным школам и направлениям, а во-вторых, возникают определенные сложности организации экспертного опроса..

4) на основании результатов практической деятельности количество экспертов в [6] рекомендуется брать не менее 7 и не более 20 человек, а  в [5] не менее 10 и не более 30, поскольку слишком малое их число  приводит к недостоверности групповой оценки, а слишком большое – к  сложности организации экспертного опроса.

5) количество экспертов в [13] рекомендуется определять по следующей формуле

где   - количество экспертов в предварительно сформированной группе

   -  компетентность i-го эксперта, которая оценивается  в баллах, например, рекомендуется от 1 до 5 баллов.

 -  максимально возможная компетентность i-го эксперта, например,  5 баллов

Тогда, например, если в качестве исходных данных имеем =10  и все эксперты одного наивысшего уровня квалификации   и    ,   то получаем 

В [15]  для определения количества экспертов в составе рабочей группы предложено использовать теорию вероятности и элементы математической статистики. Это достаточно трудоемкий, но в то же время корректный подход.

Поэтому в настоящей работе для расчета количества экспертов рабочей группы предлагается использовать упрощенный, модифицированный вариант этого подхода. За основу подхода берем аналогию между выборочными наблюдениями (выборками), имеющими место в статистических исследованиях, и оценками (баллами или рангами), которые дают эксперты определенному фактору при проведении экспертного анализа.

Из курса статистики [16] известно, что средняя ошибка выборки () – это среднее квадратическое отклонение всех возможных значений выборочной средней от своего математического ожидания. Тогда  () – это дисперсия  возможных значений выборочной средней. В курсе  математической статистики показано, что величина () в   раз меньше  дисперсии () в генеральной совокупности, где .  -  объем выборки. Следует иметь в виду, что все это справедливо в условиях нормально распределенной генеральной совокупности.

Поэтому при большом объеме выборки справедливо следующее выражение:

                                                                                      (1)

При малом объеме выборки, когда  ,  выражение (1), согласно теории математической статистики, заменяется  на выражение (2)

                                                                                      (2)

После преобразований выражений  (1) и (2) и замены объема выборки () на количество экспертов () в рабочей группе соответственно имеем

    если количество экспертов                                                 (3)

  если количество экспертов                                            (4)

Рекомендуемые численные значения количества экспертов в составе рабочей группы, полученные из выражений (3) и (4) для  ряда типовых значений отношения  () , используемого на практике, приведены в табл.1

Таблица1

Рекомендуемый количественный состав экспертов рабочей группы

Поскольку наиболее широко в практической деятельности  при проведении расчетов используется следующее выражение  () ,   то получаем, что наиболее приемлемое  количество экспертов  в составе  группы должно быть  в пределах  11 – 21 человека.  в зависимости от допустимой величины  .  При этом следует иметь в виду, что поскольку выбор количества экспертов зависит от уровня важности принимаемого решения, то когда требуется получить более достоверные результаты работы экспертной группы или, наоборот, эти требования несколько снижены, то соответственно количество экспертов в составе рабочей группы может быть как больше 21 человека, так и меньше 11, как показано в табл.1

 Полученные теоретически и рекомендуемые к использованию граничные значения для определения количественного состава экспертов рабочей группы практически совпадают  с теми результатами, которые получены на основе практической деятельности и приведены в целом ряде ранее указанных работ.

Таким образом, можно считать, что  предложенный подход к оценке граничных значений состава экспертов рабочей группы является достаточно корректным.

Этап 3. Формирование списка возможных кандидатов в состав экспертной группы

Формирование этого базового списка экспертов возможно различными способами проведения творческих совещаний [5].  Рекомендуется использовать классический метод коллективного блокнота, когда  ЛПР и его ближайшее окружение  создает  полные базовые списки экспертов по всем основным направлениям производственной деятельности организации. Кстати, этот метод наиболее часто используется на практике.

Этап 4  Формирование предварительного списка экспертов группы и оценка

уровня их компетентности

Предварительный список экспертов формируется на основе базового списка с учетом возможностей экспертов принять участие в работе группы в определенный период времени. Затем оценивается уровень компетентности экспертов, входящих в состав этого предварительного списка. Рекомендуется использовать более полную оценку уровня компетентности экспертов по сравнению с той, которая приведена в работах [6,7,9,11]. 

Поэтому для оценки уровня компетентности  () каждого  i-го эксперта предлагается использовать следующее выражение:

                                                                                           (5)

В выражение (5) включены следующие пять обобщенных показателей, которые учитывают и оценивают, как профессиональную деятельность эксперта, так и его личные качества.

 - коэффициент, отражающий уровень профессиональной подготовки и информированности i-го эксперта;

 -  коэффициент,  отражающий уровень базовой аргументации i-го эксперта при принятии им решения;

 -   коэффициент, отражающий личные качества i-го эксперта, и вычисляемый на основе самооценки;

  -  коэффициент, отражающий личные  качества i-го эксперта, и  вычисляемый коллегами экспертами;

 -  коэффициент, отражающий уровень согласованности действий i-го эксперта с членами рабочей группы при проведении тестовой оценки уровня важности указанного фактора или варианта при заданном их наборе.    

Коэффициент  предлагается определять на основании данных приведенных в табл.2

Таблица 2

Определение уровня профессиональной подготовки и информированности  экспертов.

Для определения значения коэффициента  используются данные, которые приведены в табл.3 и взяты из [11]:

Таблица 3

Определение степени аргументированности экспертов

Эксперт получает табл.2 без цифр и отмечает в ней символом (*) степень влияния каждого источника на его мнение.  После наложения на эту таблицу эталонной таблицы с цифрами подсчитывается сумма баллов по всем  источникам, отмеченным экспертом, Получается оценка, которая соответствует коэффициенту  .

На основе анализа работ [1, 6, 7, 9, 11] выделены следующие пять основных личных качеств экспертов

1).Стремление к профессиональному росту и постоянному повышению квалификации  как в  своей области, так и в смежных областях.

2).Способность оперативно оценивать ситуацию и принимать эффективные решения

3).Способность своевременно реализовывать принятые решения

4).Умение создавать в рабочем коллективе нормальный психологический климат

5). Дисциплинированность и организованность

Для оценки личных качеств экспертов предлагается использовать вербально-цифровую шкалу, приведенную в табл.4.

Таблица 4

Вербально-цифровая шкала оценки личных качеств эксперта

Коэффициенты   и , которые  соответственно отражают личные качества экспертов на основе самооценки и оценки коллег,  вычисляются  с использованием данных, приведенных в табл.4, по следующим формулам

                                                                                 (6)

                                                                           (7)

где  - коэффициент, отражающий самооценку i-го эксперта  по наличию и проявлению у него j-го личного качества

 - коэффициент, данный l-ым экспертом о наличии  и проявлении  j-го личного качества у  i-го эксперта 

 - количество экспертов, участвующих в оценке личных качеств i-го эксперта 

Для оценки значения коэффициента  предлагается использовать следующее выражение   

                                                                                (8)

где  - ранг, присвоенный i-ым экспертом  выделенному фактору в процессе проведения тестового опроса

 - средний ранг выделенного фактора,  полученный в результате проведения тестового опроса всеми экспертами  рабочей группы.

В [6] после проведения тестового опроса экспертов предложена следующая процедура  аттестации экспертов. Если ранг,, присвоенный i-ым экспертом  выделенному фактору в процессе проведения тестового опроса, не оказывается крайним (наибольшим или наименьшим) в полученном ряду оценок, то квалификационный уровень этого эксперта следует считать соответствующим уровню группы. В противном случае оценку данную этим экспертом следует  считать противоречащей мнению группы и необходимо далее провести оценку на предмет возможности включения (или не включения)  этого эксперта в состав рабочей группы.  Если     то эксперта включают в состав рабочей группы, иначе не включают.

Где -  среднее арифметическое значение оценки факторов всеми экспертами

-  среднее квадратичное отклонение индивидуальных оценок в группе

Значение коэффициента при   выбирают согласно [6] из табл 5  в зависимости от количества экспертов (m)  в рабочей группе

Таблица 5

Значения коэффициента

Этап 5  Формирование окончательного списка экспертов рабочей группы и оценка уровня ее компетентности

Всех экспертов, прошедших аттестацию, ранжируют согласно уровню их компетентности, который отражает коэффициент , вычисляемый по выражению (5). Далее, используя табл.1 выбирают требуемое количество экспертов в составе рабочей группы. Экспертов последовательно выбирают из ранжированного ряда, начиная с наибольшего уровня компетентности.

Коэффициент представительности или компетентности (M) экспертной  группы  вычисляется  согласно [9] по следующей формуле: 

                                                                            (9)

Где  -  коэффициент компетентности i-го эксперта вычисляется по выражению (3)

- количество экспертов в составе рабочей группы.

Сформированная рабочая группа экспертов является компетентной и способной корректно решать поставленные перед ней задачи, если уровень ее компетентности   отвечает следующему условию [11] 

                                                                          (10)

При формировании рабочих групп экспертов рекомендуется учитывать следующие правила:

1) для принятия экспертами согласованных решений желательно, чтобы эксперты в полной мере обладали следующими качествами:

- профессиональная подготовка и информированность;

- умение создавать в рабочем коллективе нормальный психологический климат;

- дисциплинированность и организованность

2) для принятия экспертами технически грамотных решений желательно,  чтобы эксперты в полной мере обладали такими качествами, как информированность о проблемной ситуации, активное использование теоретического анализа при принятии аргументированного решения;

3) для принятия экспертами экономически эффективных решений  желательно, чтобы они могли оперативно оценивать ситуацию и принимать в условиях дефицита времени эффективные решения.   Приведенные рекомендации по организации экспертных групп направлены на принятие экспертами согласованных, технически совершенных и экономически эффективных решений. 

Выводы

1. На основе  проведенного анализа целого ряда работ по принятию управленческих решений  предложено рассматривать процесс выбора количественного и качественного состава экспертов рабочей группы как многоэтапный процесс.

2. На основе анализа работ по принятию управленческих решений выявлены подходы к оценке граничных значений (верхнего и нижнего) количественного состава экспертов рабочей группы.

3. Предложено простое аналитическое выражение для оценки количественного состава экспертов рабочей группы  Корректность этого выражения подтверждается результатами практической деятельности.

4. Определен набор качеств экспертов, которые следует учитывать при оценке уровня их компетентности.

5  Предложена вербально-цифровая шкала и аналитические выражения  для оценки уровня компетентности экспертов.

Литература

1. Афоничкин А.И. Управленческие решения в экономических системах/ А.И Афоничкин,  Д.Г. Михаленко.  – СПб.: Питер. 2009. – 480 с.

2 Бешелев С.Д., Математико-статистические методы экспертных оценок / С.Д, Бешелев, Ф.Г. Гурвич.  – М.: Статистика. 1974. – 160 с.

3. Гапоненко Т.В.Управленческие решения..- Ростов н/Д.:Феникс.2008.–284 с.

4. Горбашко Е.А. Управление качеством. – Спб.: Питер. 2008. – 384 с.

5. Жуков Б.М. Исследование систем управления./ Б.М. Жуков, Е.Н.Ткачева.- М.: Дашков и К, 2011.- 208 с.

6. Зерный Ю.В.Управление качеством в приборостроении./ Ю.В. Зерный, А.Г.Полываный, А.А.Якушин.- М.: Новый центр,2011.- 479 с.

7. Кошелев О.С. Управление проектами./ О.С. Кошелев, И.О. Леушин, О.В.Федоров  – М.: КНОРУС, 2011.- 254 с.

8. Крылов А.В. О проблемах организации экспертизы. // Проблемы полиграфии и издательского дела. – 2006. - №4. – С.117- 122.

9. Лукичева Л.И., Егорычев Д.Н. Управленческие решения – М.: Омега- Л. 2009 – 383 с.

10. Марголин Е. Методика обработки данных экспертного опроса. // Полиграфия . – 2006. -  №5 -  С. 14 – 16.

11. Михненко П. Секреты  эффективных  бизнес-решений. – М. NTPress. -2007. – 288 с.

12..Орлов А.И. Организационно-экономическое моделирование. Теория принятия решений. – М.: КНОРУС. 2011. – 568 с.

13. Петров А.Ю. Интегральная методика оценки коммерческого потенциала инвестиционного продукта. – М.: Московский печатник, 2010.-23 с.

14.Сышикова Е.Н. Теория и методы повышения эффективности систем управления на предприятии. – Воронеж. ГОУВПО  ВГТУ. 2010. - 206 с.

15.Шевченко С.А., Самарин Ю.Н. Выбор комплекта допечатного оборудования, отвечающего заданным условиям. // Проблемы полиграфии и издательского дела. – 2006. - №4. – С.3 -12.

16. Теория статистики./ под. ред. Громыко Г.Л. – М.: ИНФРА-М, 2009.- 476 с.