Эффективность использования методов экспертных оценок определяется

Методы экспертных оценок

Зачастую необходимо выбрать среди множества альтернатив, при этом каждая обладает различными преимуществами. И как же выбрать лучшую, имея мнение десятков, а то и сотен экспертов?

Как вычисление рейтинга компьютерной игры, основанного на оценках критиками графики, геймплея и сюжета, так и коллективный выбор приоритетной задачи перед появлением заказчика, относится к методам экспертных оценок.

Краткий ликбез

В случаях чрезвычайной сложности проблемы, ее новизны, недостаточности имеющейся информации, невозможности математической формализации процесса решения приходится обращаться к рекомендациям компетентных специалистов, прекрасно знающих проблему, — к экспертам. Их решение задачи, аргументация, формирование количественных оценок, обработка последних формальными методами получили название метода экспертных оценок.

Говоря о согласованности мнений экспертов, стоит упомянуть, что ранжирование не подразумевает (или не всегда подразумевает) расстояние. То есть у одного эксперта A>B>C означает, что A>>B>C, а у другого A>B>>C. И всякие корреляции и расчеты средних оценок тут не помогут. Как вариант, считать индекс согласованности. Что-то типо количества противоречивых замкнутых цепочек мнений экспертов (Первый считает, что A лучше Б, второй, что Б лучше С, а третий, что С лучше А) к количеству всех подобных цепочек.

Рейтинги обычно базируются на некоторой вероятностной модели, поэтому нужно тщательно учитывать область их возможного применения.

Заключение

Статья и не претендует на полный многоэтапный разбор методов и алгоритмов оценки, лишь поверхностное их описание. Посему, если вы знаете применимые в данном случае (не описанные мной) методы и алгоритмы — с удовольствием добавлю их в статью. Или любую полезную тематическую литературу.

Засим откланиваюсь. Всех с праздником, раминь. А для тех, кто зашел посмотреть на девушек — вот вам

Источник

Экспертная оценка

Экспертная оценка необходима для ведения практически любой деятельности. Человек с профильным образованием и опытом в области исследования, считается экспертом. Его знания и навыки помогают принять объективное решение относительно положения продвигаемых товаров или услуг. Экспертные оценки используются, когда требуется консультация стороннего специалиста, чтобы взглянуть на положение дел под другим углом.

Что такое экспертная оценка

Это заключение, которое дает человек или группа лиц, наделенные экспертностью. Специалисты выступают источниками информации, помогая владельцам компаний скорректировать бизнес-процессы, чтобы устранить недостатки и проблемы.

Виды экспертных оценок

Виды различаются числом людей, участвующих в проверке. Их количество обычно отличается, исходя из принципов формирования экспертной группы.

Индивидуальные

Такие оценки основываются на мнении одного или нескольких экспертов, работающих отдельно друг от друга. Принимаемые таким образом решения могут быть характерны и для коллективной экспертизы, но в этом случае вердикт основывается на заключении лидера мнения.

Коллективные

Итоговая оценка группы представляет собой объединенное мнение нескольких экспертов. Она формируется в результате предварительного согласования внутри коллектива.

Требования к экспертной группе

От оценки экспертной группы зависит не только положение определенного продукта, но и бизнес компании. Поэтому отбор специалистов — сложная, многогранная задача, успешный результат которой определяет эффективность используемых методов и решений. Эксперт должен обладать:

компетентностью в необходимой сфере;

знаниями в смежных областях, напрямую не относящимся к исследуемому вопросу;

опытом практической работы, академическими и научными достижениями;

объективностью при формировании оценки;

способностью нестандартно мыслить в тех случаях, когда это требуется.

Методы экспертных оценок

Экспертное оценивание базируется на нескольких методах. Среди наиболее популярных можно выделить:

Ассоциативный. Заключается в изучении объекта, имеющего схожие свойства.

Парные сравнения. Сопоставляет альтернативы одного решения с целью изучения наиболее предпочтительных вариантов развития событий.

Фокальные объекты. Метод основывается на перенесении свойств и признаков случайно выбранных аналогов на объект исследования.

Средняя точка. В процессе оценивания выделяют два пути решения проблемы: наиболее и наименее предпочтительный. Между ними находится «средняя точка» — альтернатива, учитывающая особенности первого и второго варианта.

Выбор конкретного метода зависит от назначения экспертной оценки и выбирается после общения с заказчиком.

Достоинства метода экспертных оценок

Экспертное оценивание дает массу преимуществ для бизнеса, позволяя владельцам компаний улучшать положение фирмы на рынке. К основным достоинствам такого метода можно отнести:

возможность посмотреть на ситуацию более широко, чтобы увидеть потенциальное решение;

получение исчерпывающей информации по заявленной проблеме;

надежность предлагаемых оценок и решений;

получение рекомендаций от специалистов со знаниями и опытом в определенной сфере.

Этапы экспертного оценивания

Все виды экспертных оценок проходят несколько стадий до конечной точки исследования, когда предоставляется ценная информация по изучаемой проблеме. Она достигается с помощью следующих шагов.

Постановка цели исследования

Перед началом любой работы важно задать основную цель, которая определяет ход действия всего проекта. Вместо нее может присутствовать проблема, которую необходимо решить. В любом случае заказчик обязан сформулировать правильный вопрос для экспертной комиссии, сообщить о деталях изучаемого предмета и выразить свои пожелания относительно хода экспертизы.

Выбор формы исследования, определение бюджета проекта

Среди основных форм проведения исследований можно выделить две разновидности: очную и заочную. Очный метод считается более достоверным, так как позволяет эксперту наглядно оценить происходящее и провести ряд тестов непосредственно на месте. В то же время заочный метод обходится дешевле и успешно применяется во многих сферах бизнеса. Особенно хорошо такой способ используется для онлайн-продаж.

Также формы исследования предполагают различия в итерациях. Они делятся на итерационные (предполагающие несколько повторений процедуры экспертной оценки) и одношаговые, выполняющие только один раз.

После выбора подходящего метода и определения деталей исследования заказчику необходимо определиться с бюджетом. Затраты на процесс оценивания включают в себя экспертные услуги, аренду помещения и приобретение дополнительного оборудования.

Подготовка информационных материалов

Экспертная группа перед окончательным вердиктом проверяет возможность использования альтернативных вариантов и рассматривает изучаемый объект с разных сторон. Чтобы этот процесс прошел быстрее и качественнее, необходимо подготовить информационные материалы, содержащие описание проблемы, статистику, справки, анкеты. Чем разнообразнее предоставляемые сведения, тем больше у экспертов материала для аналитики.

Подбор экспертов

Эксперты должны быть не только компетентные и опытные. Важно, чтобы они не были заинтересованы в результатах исследования. Необъективное заключение негативно скажется на развитии бизнеса. Для этой цели может использоваться специальный метод, по которому один эксперт рекомендует другого, пока не подберется собранный по независимым рекомендациям коллектив.

Собранной группе или привлеченному специалисту следует уметь не только излагать текущие тенденции, но и делать прогнозы на основании полученных результатов.

Проведение экспертизы

Экспертиза не может строиться исключительно на оценке имеющихся материалов. Цель работы специалистов состоит в построении собственных гипотез, которые должны подтверждаться практической экспертизой. Для этого заказчик устанавливает четкий срок принятия окончательного решения по исследуемому вопросу. Наличие регламента поможет сохранять темп и не затягивать процедуру.

Анализ результатов

На этом этапе обрабатываются сведения, полученные в результате экспертизы. После анализа наиболее удачные решения внедряются в работу компании, способствуя оптимизации внутренних бизнес-процессов.

Подходы к экспертным оценкам

Экспертное оценивание помогает установить степень актуальности и сложности представленных проблем, выявить факторы, влияющие на ситуацию, выбрать альтернативы. Обширный спектр задач определяет существующие подходы к экспертным оценкам:

прогнозирующие — предназначены для оценки возможных вариантов развития событий, выявления принципов предпочтительного распределения ресурсов и перспектив развития изучаемого объекта;

интуитивные — предполагают мобилизацию знаний и опыта экспертов в тех случаях, когда не достает исходных данных для оценки состояния объекта.

Подходы применяются как с коллективом, так и при формировании индивидуальной оценки одного эксперта.

Экспертные ошибки

В заключениях иногда встречаются ошибки. Зачастую они происходят не из-за отсутствия необходимых компетенций у эксперта, а по причине возникающих заблуждений. Это может не зависеть от проверяющего субъекта, или быть субъективным фактором, обусловленным особенностями мышления эксперта. Выделяют две разновидности экспертных ошибок.

Систематические

Это ошибки, которые повторяются у одного и того же специалиста из раза в раз. В результате значение показателей отклоняется через преувеличение или преуменьшение реальной картины, складывающейся в бизнесе. Чтобы систематические ошибки не так сильно влияли на бизнес-процессы, следует использовать поправочные коэффициенты.

Случайные

Это тот тип ошибок, который случается у экспертов в любых сферах. Они могут изменяться от одной оценки к другой, поэтому для избегания этих ошибок стоит проводить дополнительную проверку.

Повторная экспертная оценка

Повторная экспертиза поможет найти ошибки и предотвратить неприятные последствия внедрения в бизнес-процессы неверных решений. Те же вопросы могут исследоваться на протяжении того же срока, но для этого приглашаются уже другие эксперты. Это подтвердит достоверность и объективность полученных результатов.

Применимость метода экспертных оценок

Оценки от экспертов находят свое применение в любой сфере бизнеса на разных этапах проверок. Такие исследования могут проводиться при выходе компании на рынок, в случае застоев и кризисов, при необходимости расширения и поиска новых рынков сбытов. Чаще всего к таким методам прибегают, если при выборе конкретного пути нельзя оперировать точными расчетами.

Заключение

Экспертная оценка помогает собственнику бизнеса объективно взглянуть на происходящие процессы и скорректировать некоторые области. Если вовремя выявить проблему и оперативно решить ее, можно избежать ощутимых потерь в бизнесе.

Источник

Организация и эффективность использования экспертных оценок

Существуют различные определения термина «эксперт». Чаще всего под ним подразумевается высококвалифицирован­ный специалист. В настоящее время известны факты формиро­вания банков данных о специалистах в различных областях, од­нако систематическая оценка качества их деятельности практи­чески отсутствует. Очевидно, наряду с характеристикой экспер­та (его профессиональных знаний и опыта) должна накапли­ваться информация об эффективности его работы.

1. Определение целей.

При принятии важных решений необходимо четко пред­ставлять цели, к достижению которых стремится ЛПР. Для сложных ситуаций разработан и используется метод формиро­вания «дерева целей», позволяющий оценить степень ее дости­жения. Большое значение имеет определение приоритетности целей и механизмов их осуществления. Все эти вопросы могут быть предметом оценки экспертов.

2. Экспертный прогноз.

Особую роль при принятии решений играют проблемы, свя­занные с оценкой развития анализируемых ситуаций, ожидае­мых результатов альтернативных вариантов решений. Традици­онные методы прогнозирования не всегда могут быть примене­ны. Экспертная информация в подобных ситуациях весьма по­лезна, так как содержит не только количественные, но и качест­венные оценки.

3. Сценарии ожидаемого развития ситуации.

Они играют важную роль при принятии управленческих ре­шений. Наиболее распространенным для экспертного оценива­ния альтернативных вариантов сценария является метод «мозговой атаки» в сочетании со специальными методами ис­пользования аналитической информации.

4. Генерирование альтернативных вариантов.

Подобные процедуры могут предусматривать проведение экспертиз с использованием методов типа «мозговой атаки», а также создание в сложных случаях автоматизированных систем генерирования альтернативных вариантов.

5. Определение рейтингов.

В последнее время они весьма популярны, позволяют опре­делить сравнительную надежность банков, страховых компаний, качество различного вида услуг, сравнительную влиятельность политиков и т.д.

6. Оценочные системы.

Оценочная система формируется при индивидуальных и коллективных сравнительных оценках объектов экспертизы для определения степени достижения цели. Большое внимание при этом уделяется оценке сравнительной важности критериев.

7. Принятие коллективных решений.

Особенности коллективной экспертизы состоят в следую­щем:

1. Более полное представление о ситуации. Опыт проведе­ния экспертиз показывает, что отдельные эксперты нередко представляют достаточно детально различные аспекты анали­зируемой ситуации. Объединение и сопоставление экспертных заключений позволяет получить более полную картину объекта экспертизы.

2. Выявление заведомо неконкурентных вариантов. Сопос­тавление различных точек зрения способствует выявлению аль­тернативных вариантов, использование которых нецелесооб­разно.

3. Выявление верных «еретических» суждений. Правильные решения порой могут предложить высококлассные специалисты, глубоко разбирающиеся в узкой профессиональной области. Мнение таких экспертов может существенно отличаться от мне­ния большинства, но именно оно может оказаться верным.

4. Получение объективных оценок. Мнения отдельных экс­пертов содержат оттенок субъективизма. Поэтому обсуждение экспертных заключений (предусматриваемое рядом экспертных процедур) повышает их объективность. Этому же способствуют процедуры выработки коллективных экспертных суждений и оценок на основании индивидуальных суждений и оценок.

5. Получение оценок повышенной надежности. Экспертные заключения, получаемые в результате коллективных экспертиз, во многих случаях оказываются более взвешенными, устойчи­выми при поступлении дополнительной информации, обосно­ванными и надежными.

Существуют некоторые свойства коллективных решений, которые необходимо учитывать при обработке экспертной ин­формации и выработке экспертных заключений по определению предпочтительности альтернативных вариантов. В их составе такие свойства:

В литературе эти свойства, сформулированные строго ма­тематически, называются условиями Эрроу. Практика показы­вает, что одновременное их выполнение для результирующей коллективной оценки невозможно (так называемый парадокс Эрроу).

Важное значение в экспертных оценках имеют методы ор­ганизации и проведения экспертиз. Рассмотрим некоторые из них.

Экспертиза по методу суда характеризуется некоторой ана­логией с судебным процессом. Состав экспертов делится на две группы. Одна объявляется сторонниками рассматриваемой альтернативы и выступает в качестве защиты. Другая объявля­ется ее противниками и пытается выявить отрицательные сто­роны. Существует и третья сторона, которая регулирует ход экспертизы и выносит окончательное решение.

Метод «мозговой атаки» характеризуется открытым выска­зыванием мнений специалистов (на специальном заседании) по решению конкретной задачи. При этом должны соблюдаться два условия: во-первых, запрещается критика чужих суждений; во-вторых, предлагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или воз­можности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. При этом выяв­ляются рациональные моменты в каждом из высказанных пред­ложений и на основе их обобщения формулируется решение. Достоинством данного метода является возможность принятия решения за сравнительно короткий срок.

В рамках использования данного метода может применять­ся принцип Парето. А именно, после регистрации идей, исходя из соотношения 20:80, отбирается из всей совокупности каждым из присутствующих 20% идей, с их точки зрения наиболее за­служивающих внимания. Данный выбор также фиксируется. Далее в качестве основных идей по решению проблемы отби­раются те из них, которые набрали большее количество очков (чаще отбирались присутствующими). Например, по решению проблемы было высказано 40 идей. Согласно принципу Парето из них следует отобрать 8 (20%), принципиально способствую­щих решению задачи. Каждый специалист делает такой выбор, производя соответствующие отметки. В конечном счете выявля­ется 8 идей, чаще всех попадавших в выборку. Они и берутся за основу для углубленной проработки и решения проблемы. В методе «мозговой атаки» существенная роль принадлежит руко­водителю, проводящему экспертизу. Он знает о конечной цели экспертизы, направляя дискуссию в соответствующее русло. Однако если руководитель стремится выделить лишь перспек­тивные с его точки зрения идеи, результат экспертизы оказыва­ется менее значительным.

Метод Дельфы. Разработанный Хелмером и Делки, он яв­ляется одним из основных в проведении экспертиз и имеет раз­личные модификации. Сегодня этот метод представляет собой по существу группу методов, объединенных общими требова­ниями к организации экспертных процедур и форме получения экспертных оценок. В нем предусматривается создание усло­вий, обеспечивающих наиболее продуктивную работу эксперт­ной комиссии, что достигается анонимностью процедуры, с од­ной стороны, и возможностью пополнить информацию о пред­мете экспертизы, с другой.

Экспертизы по методу Дельфы проводятся в 4 тура. На пер­вом туре экспертам сообщается цель экспертизы и формулиру­ются вопросы, ответы на которые составляют основное содер­жание экспертизы. Во втором туре им предъявляются усреднен­ная оценка экспертной комиссии и обоснования экспертов, вы­сказавших «крайние» точки зрения. Третий и четвертый туры не отличаются от второго. Характерной особенностью метода Дельфы является уменьшающийся от тура к туру разброс оце­нок экспертов, их возрастающая согласованность. Однако иногда наблюдается поляризация различных точек зрения, что мо­жет объясняться наличием среди экспертов представителей различных научных школ, специалистов различных профилей.

Метод прогнозного графа. Качество прогнозов зависит от корректно организованной экспертизы и обработки ее резуль­татов. Известным методом экспертиз сложных систем, исполь­зуемых при прогнозировании, является метод прогнозного гра­фа. Он включает несколько этапов. Центральное место в нем занимает формирование прогнозного графа. На первом туре составляется предварительный список промежуточных целей, необходимых для достижения конечной. Эксперты указывают специалистов, способных оценить возможность реализации ка­ждой из указанных ими промежуточных и конечной целей. На втором туре анализу подвергается уже не конечная, а промежу­точные цели, сформированные экспертами в первом туре. Экс­перты второго тура имеют право корректировать цели, сформу­лированные в первом туре. Последующие туры экспертизы ана­логичны второму. Процедура заканчивается при достижении того уровня целей, при котором не требуется проведения до­полнительных исследований и разработок.

При высокой степени полезности оценки экспертов не все­гда бывают точны. В принципе, оценить точность суждений экс­перта возможно при тестовом характере оцениваемого показа­теля (когда заранее известно его значение). Этим приемом пользуются, например, при подборе состава экспертов для формирования комиссий.

Основными причинами, снижающими точность экспертных оценок, являются:

1. Использование некомпетентных экспертов из-за:

2. Недостаточная подготовленность экспертизы. Имеют ме­сто некачественная формулировка целей экспертизы, низкий организационный уровень ее подготовки и проведения, отсутст­вие необходимой квалификации рабочей группы, проводящей экспертизу.

3. Несовершенство используемых технологий.

4. Недостатки используемых методов обработки экспертной информации. При анализе результатов экспертизы следует об­ращать внимание на степень согласованности экспертных оце­нок, получаемых при ее проведении. Согласованность мнений комиссии может отражать тот факт, что к проведению эксперти­зы отнеслись формально, не придавая особого значения ее ре­зультатам, либо что эксперты при вынесении заключений и оце­нок проявили высокую степень конформизма. С другой стороны, несогласованность экспертных суждений может означать разное понимание экспертами цели экспертизы, а также участие в ра­боте комиссии экспертов с противоположными интересами.

К типичным ошибкам экспертных оценок относятся также:

Проблемы совершенствования и развития экспертных тех­нологий связаны с проработкой следующих направлений.

1. Формирование экспертной комиссии. При этом необхо­димо предусмотреть возможность эффективного взаимодейст­вия экспертов с целью получения полной и адекватной оценки объекта экспертизы. В ее составе должны быть высокие про­фессионалы, имеющие опыт эффективной работы эксперта и хорошо знакомые с объектом экспертиз. Информационный об­мен между экспертами необходим, прежде всего, в экспертных процедурах, целью которых является выработка альтернативных вариантов решений в сложных ситуациях. Так, в основе экс­пертных процедур метода «мозговой атаки» лежит активный об­мен информацией с обязательным приведением аргументации как в поддержку высказанной идеи, так и против нее. Без эф­фективной организации такого обмена информацией уровень подготовленности управленческих решений значительно снижа­ется.

3. Получение достоверной экспертной информации. К числу основных проблем в этой части относятся: представимость экспертной информации, однозначность измерений, адекватность, что весьма важно для определения корректных преобразований экспертной информации.

4. Определение результирующих экспертных оценок.

5. Многокритериальные оценки.

6. Корректная обработка и анализ результатов экспертиз.

7. Компьютерные системы поддержки. Автоматизирован­ные системы включают технологическое сопровождение, необ­ходимое автоматическое и информационное обеспечение про­цесса экспертного оценивания для организации и проведении экспертиз специфического характера.

В управленческой практике последнего времени среди со­временных информационных технологий известна система под­держки принятия решений (СППР). Существуют разные точки зрения относительно определения данной системы. Ее характе­ризуют как:

Основными принципами эффективного использования дан­ной системы являются:

СППР представляют собой реализацию управленческих технологий, основанных на широком использовании возможностей современных ЭВМ. Системы должны располагать достаточно мощными базами данных для обеспечения информацион­ной поддержки как при индивидуальном, так и коллективном принятии решений, а также в нестандартных ситуациях. В них предполагается использование опыта и знаний высококвалифи­цированных специалистов, чтобы обеспечить более высокое качество разрабатываемых решений, то есть предусмотрена активная роль человека.

Исходной посылкой обеспечения эффективности решений является четкое определение их целевой направленности.

Источник

Научная электронная библиотека

Громова Н. М., Громова Н. И.,

2.2 Методы экспертных оценок

Задачи прогнозирова­ния, решаемые с помощью методов экспертных оценок, включают два формально не связанных между собой элемента: определение возмож­ных вариантов развития объекта прогнозирования и их оценку. Анализ экспертных методов показывает целесообразность применения «мозговых атак» для определения возможных вариантов развития. Их использование позволяет получить продуктивные результаты за короткий период времени и вовлечь всех экспертов в активный творческий процесс.

Методы «мозговых атак» можно классифицировать по признаку наличия или отсутствия обратной связи между руководителем и участниками «мозговой атаки» в процессе решения некоторой проб­лемной ситуации. Наличие обратной связи позволяет концентриро­вать внимание участников только на вариантах, полезных по тем или иным критериям для решения проблемной ситуации. Однако, ис­кусственно вводя ограничения, мы лишаемся возможности увидеть все многообразие подходов, и тем самым появляется вероятность пропустить оригинальные мысли, имеющие потенциальную, но не осознаваемую в настоящий момент ценность. Отсутствие обратной связи, т.е. максимальная стимуляция высказываний, предполагает проведение сложной и большой по объему работы на этапе их оценки. Создавшаяся ситуация потребовала разработать метод «мозговой атаки», способный качественно и достаточно быстро проводить оцен­ку вариантов, не ограничивая при этом их числа.

Сущность этого метода состоит в актуализации творческого потенциала специалистов при «мозговой атаке» проблемной ситуации, реализующей вначале генерацию идей и последующее деструирование (разрушение, критику) этих идей с формулированием контридей. Работа с методом «мозговой атаки» предполагает реализацию сле­дующих шести этапов.

Активная деятельность ведущего предполагается только в на­чале «мозговой атаки». После того как участники достаточно воз­будились, процесс выдвижения новых идей идет спонтанно. Ведущий в этом процессе играет пассивную роль, регламентируя участников согласно правилам проведения атаки. Следует помнить, что, чем разнообразнее и больше количество высказываний, тем шире и глуб­же охватывается рассматриваемый вопрос и тем больше вероятность появления ценных высказываний. Учитывая изложенное обстоятельство, ведущий при проведении атаки должен руководствоваться следующими правилами:

— сосредоточивать внимание участников на проблемной ситуации, задавая рамки специфическими её требованиями и терминологической строгостью высказываемых идей;

— не объявлять ложной, не осуждать и не прекращать исследова­ние ни одной идеи, т.е. рассматривать любую идею независимо от её кажущейся уместности или осуществимости;

— приветствовать усовершенствование или комбинацию идей, пре­доставляя слово в первую очередь тому, кто хочет высказаться в связи с предыдущим выступлением;

— оказывать поддержку и поощрение участникам, столь необходи­мые для того, чтобы освободить их от скованности;

— создавать непринужденность обстановки, способствуя, таким образом, активизации участников атаки.

Продолжительность мозго­вого штурма рекомендуется не менее 20 минут и не более 1 часа в зависимости от активности участников. Целесообразно вести запись высказываемых идей.

1. Составляется перечень всех критических замечаний, полученных на этапе деструирования. При необходимости критические замечания уточняются, отбрасываются дублирующие.

3. Оценивается каждое критическое замечание и контридея:

а) вычеркивается из таблицы, если опровергается хотя бы одним показателем практической применимости;

б) не вычеркивается, если оно не опровергается ни одним показателем.

4. Составляется окончательный список идей; переносятся в список только те идеи, которые не опровергнуты критическими замечаниями и остались в таблице, а также контридеи.

Метод коллективной генерации идей апробирован на практике и позволяет находить групповое решение при определении возможных вариантов развития объекта прогнозирования, исключая путь комп­ромиссов, когда единое мнение нельзя считать результатом беспри­страстного анализа проблемы.

Метод «Дельфи» построен на следующем принципе: в неточных науках мнения экспертов и субъективные суждения в силу необходимости должны заменить точные законы причинности, отражаемые естественными науками.

Метод «Дельфи» позволяет обобщать мнения отдельных экспер­тов в согласованное групповое мнение. Ему присущи все недостат­ки прогнозов, построенных на основе экспертных оценок. Однако проводимые корпорацией РЭНД работы по совершенствованию этой системы значительно повысили гибкость, быстроту и точность про­гнозирования.

Метод «Дельфи» характеризуется тремя особенностями, которые отличают его от обычных методов группового взаимодействия экс­пертов. К таким особенностям относятся: а) анонимность экспер­тов; б) использование результатов предыдущего тура опроса; в) статистическая характеристика группового ответа.

Анонимность заключается в том, что в ходе проведения про­цедуры экспертной оценки прогнозируемого явления, объекта участ­ники экспертной группы неизвестны друг другу. При этом взаимо­действие членов группы при заполнении анкет, полностью устраня­ется. В результате такой постановки автор ответа может изменить свое мнение без публичного объявления об этом.

Использование результатов предыдущего тура опроса заключа­ется в следующем: поскольку групповое взаимодействие осуществля­ется непосредственно с помощью ответа на анкету, специалист или организация, проводящие исследования по методу «Дельфи», извле­кает из анкет только ту информацию, которая относится к данной проблеме. Специалист-прогнозист учитывает мнение экспертов «за» и «против» по каждой точке зрения. Основной результат функциони­рования этой системы состоит в том, чтобы предотвратить принятие группой своих собственных целей и задач. Эта система дает возмож­ность группе специалистов концентрировать свои усилия на перво­начальных задачах, а не предполагать каждый раз что-то новое.

Метод «Дельфи» осуществим и эффективен при получении преиму­ществ от участия группы в подготовке прогноза; в то же время этот метод сводит до минимума или устраняет большинство труднос­тей, связанных с работой комиссии, хотя он может потребовать больше времени, чем комиссия с личным общением членов, особенно если опрос производится по почте.

В развитии метода «Дельфи» применяется перекрестная коррекция. Будущее событие представляется как огромное множество свя­занных и переходящих друг в друга путей развития.

При введении перекрестной корреляции значения каждого собы­тия за счет введенных определенных связей будут изменяться либо в положительную, либо в отрицательную сторону, корректируя тем самым вероятности рассматриваемых событий. С целью будущего со­ответствия модели реальным условиям в модель могут быть введены элементы случайности.

Сущность методов экспертных оценок для разра­ботки прогнозов состоит в определении согласованности мнений экспертов по перспективным направлениям развития объекта прог­нозирования, сформулированным ранее отдельными специалистами, а также в оценке аспектов развития объекта, которая не может быть определена другими методами (например, аналитическим расчетом, экспериментом и т.д.).

Содержание методов экспертных оценок заключает­ся в следующем

I. Создание групп. Для организации проведения экспертных оценок создаются рабочие группы, в функции которых входят проведение опроса, обработка материалов и анализ результатов коллективной экспертной оценки. Рабочая группа назначает экспертов, которые дают ответы на поставленные вопросы, касающиеся перспектив раз­вития данной отрасли. Количество экспертов, привлекаемых для раз­работки прогноза, может колебаться от 10 до 150 человек, в зави­симости от сложности объекта.

II. Формулирование глобальной цели системы. Перед тем, как организовать опрос экспертов, не­обходимо уточнить основные направления развития объекта, а также составить матрицу, отражающую генеральную цель, подцели и сред­ства их достижения. При этом в ходе предварительного анализа совместно с группой специалистов определяются наиболее важные цели и подцели для решения поставленной задачи. Под средствами достижения цели понимаются направления научных исследований и разработок, результаты которых могут быть использованы для дости­жения цели. При этом направления научных исследований и разрабо­ток не должны пересекаться друг с другом.

III. Разработка анкеты. Заключается в раз­работке вопросов, которые будут предложены экспертам. Форма воп­роса может быть разработана в виде таблиц, но содержание их долж­но определяться спецификой прогнозируемого объекта или отрасли. При этом вопросы должны быть составлены по определенной структур­но-иерархической схеме, т.е. от широких вопросов к узким, от сложных к простым.

При проведении опроса экспертов необходимо обес­печить однозначность понимания отдельных вопросов, а также неза­висимость суждений экспертов.

IV. Расчёт экспертных оценок. Необходимо провести обработку материалов экс­пертных оценок, которые характеризуют обобщенное мнение и сте­пень согласованности индивидуальных оценок экспертов. Обработка данных оценок экспертов служит исходным материалом для синтеза прогнозных гипотез и вариантов развития отрасли.

Окончательная количественная оценка определяется с помощью четырех основных методов экспертных оценок и множества их разновидностей:

1)метод простой ранжировки (или метод предпочтения);

2)метод задания весовых коэффициентов;

3)метод парных сравнений;

4)метод последовательных сравнений.

Метод простой ранжировки заключается в том, что каждого эксперта просят расположить признаки в порядке предпочтения. Цифрой один обозначается наиболее важный признак, цифрой два – следующий за ним по важности и т.д. полученные данные сводятся в следующую таблицу.

Таблица 2.1 Экспертные оценки признаков (направлений исследований)

— порядок предпочтения данного признака перед другими.

Затем с помощью методов математической статистики получают обобщенное мнение экспертов. Определяется средний ранг, среднее статистическое значение S_j j-го признака:

, (2.1)

Определяется средний ранг каждого признака. Чем меньше величина S_j, тем больше важность этого признака.

Для того чтобы можно было сказать, случайно ли распределение рангов или имеется согласованность в мнениях экспертов, производится вычисление коэффициента конкордации , введенного М. Кендаллом.

Определяется средний ранг совокупности признаков:

,(2.2)

Вычисляется отклонение d_j среднего ранга j-го признака от среднего ранга совокупности :

,(2.3)

Определяется число одинаковых рангов, назначенных экспертами j-му признаку – t_q.

Определяется количество групп одинаковых рангов – Q. Определяется коэффициент конкордации по формуле:

,(2.4)

,(2.5)

Коэффициент может принимать значения в пределах от 0 до 1. При полной согласованности мнений экспертов коэффициент конкордации равен единице при полном разногласии – нулю. Наиболее реальным является случай частичной согласованности мнений экспертов.

По мере увеличения согласованности мнений экспертов коэффициент конкордации возрастает и в пределе стремится к единице. Однако даже если он равен или близок к нулю, не всегда имеет место полное разногласие. Среди экспертов могут быть группы с хорошо согласованными мнениями, но мнения эти – противоположны и в общей массе нейтрализуют друг друга. В таком случае следует проделать кластерный или комбинированный анализ для выявления этих групп.

Достоинства метода простой ранжировки:

1) сравнительная простота процедуры получения оценок;

2) меньшее число экспертов по сравнению с другими методами при оценке одного и того же набора признаков.

Недостаток же его в том, что:

1) заведомо считают распределение оценок равномерным;

2) уменьшение важности признаков предполагается также равномерным, в то время как на практике этого не бывает.

Метод задания весовых коэффициентов заключается в присвоении всем признакам весовых коэффициентов. Весовые коэффициенты могут быть проставлены двумя способами:

1) всем признакам назначают весовые коэффициенты так, чтобы суммы коэффициентов была равна какому-то фиксированному числу (например, единице, десяти или ста);

2) наиболее важному из всех признаков придают весовой коэффициент, равный какому-то фиксированному числу, а всем остальным – коэффициенты, равные долям этого числа.

Обобщенное мнение экспертов также получаем с помощью методов математической статистики по формулам (2.1 – 2.5).

Метод последовательных сравнений заключается в следующем:

2) присваивает первому признаку значение, равное единице: A₁=1, остальным же признакам назначает весовые коэффициенты в долях единицы;

3) сравнивает значение первого признака с суммой всех последующих.

Возможны три варианта:

A₁ Метод парных сравнений

Согласно ему все признаки попарно сравниваются между собой. На основании парных сравнений путем дальнейшей обработки находятся затем оценки каждого признака.

Чтобы эксперту было удобнее проводить сравнения, признаки (A,B,C,…N) заносятся в таблицу и по горизонтали и по вертикали.

Эксперт заполняет клетки такой таблицы. Сравнение признака самого с собой дает единицу. В первой клетке эксперт пишет единицу, во второй – результат сравнения первого признака со вторым, в третьей – результат сравнения первого признака с третьим и т.д. Переходя ко второй строке, эксперт записывает в первой клетке результат сравнения второго признака с первым, во втором – единицу, в третьей – сравнение второго признака с третьим и т.д.

Половина таблицы, расположенная выше диагонали, служит отражением нижней половины. Чтобы не вносить путаницу, не провоцировать эксперта вычислять одну половину таблицы по другой, чтобы уменьшить число операций, целесообразно заполнять только одну половину таблицы (выше или ниже диагонали). Таким образом, ответы экспертов будут представлены в виде следующей матрицы:

Суммарная матрица имеет вид

m – число экспертов, оценивающих данный набор признаков;

— оценки соответственно 1, 2, …, j, …, m экспертов;

— суммарные оценки, данные всеми экспертами.

Определяя дисперсию суммарной матрицы и сравнивая её с максимально возможной дисперсией матрицы с таким же числом элементов, можно определить согласованность мнений экспертов. Чем ближе дисперсия суммарной матрицы к максимально возможной дисперсии, тем выше согласованность мнений. Таким образом, метод парных сравнений позволяет провести строгий, статистически обоснованный анализ согласованности мнений экспертов, выявить, случайны или нет полученные оценки. Несомненно, процедура метода парных сравнений сложнее метода простой ранжировки, но проще метода последовательных сравнений.

Число экспертов, требуемое для оценки определенной совокупности признаков методом парных сравнений, в два раза больше, чем при использовании метода простой ранжировки, и в два раза меньше, чем при методе последовательных сравнений.

В настоящее время во многих методах проведения экспертных оценок предлагается в качестве показателя компетентности эксперта коэффициент:

, (2.6)

где— коэффициент компетентности эксперта;

— коэффициент степени знакомства эксперта с обсуждаемой проблемой;

— коэффициент аргументированности.

Коэффициент степени знакомства с направлением исследований определяется путем самооценки эксперта по десятибалльной шкале. Значения баллов для самооценки следующие:

7,8,9 – эксперт хорошо знаком с вопросом, участвует в практическом решении вопроса;

10 – вопрос входит в круг узкой специализации эксперта.

Коэффициент аргументированности учитывает структуру аргументов, послуживших эксперту основанием для определенной оценки. Коэффициент аргументированности предлагается определить в соответствии с таблицей 2.2 путем суммирования значений, отмеченных экспертом в клетках этой таблицы.

Определив коэффициент компетентности, умножают на него значение оценок экспертов.

Таблица 2.2 Значения коэффициента аргументированности

Источник