Политический анализ и прогнозирование: учеб. пособие

Метод Дельфи

Метод, получивший название древнегреческого города, прославившегося своими предсказателями будущего, разработан в начале 1950-х гг. в известном «мозговом центре» США — корпорации «Рэнд». Авторами его являются американские ученые О. Хелмер и Т. Гордон. Как и многие разработки в области политического анализа и прогнозирования, применение метода Дельфи изначально было ограничено проблематикой военно-промышленного и военно-дипломатического характера.

Возникновение Дельфи связано с объективно назревшей потребностью усовершенствовать методики группового принятия решений. До появления Дельфи наиболее распространенным способом согласования различных позиций и выработки общего мнения было традиционное совещание (очная дискуссия). Однако такой метод обладает рядом очень серьезных недостатков, большинство из которых связано с негативными психологическими эффектами межличностного общения, к которым можно отнести:

• групповое давление. Этот феномен изучен в социальной психологии (конкретнее, психологии малых групп) и заключается в том, что большинство в группе стремится навязать свою позицию меньшинству. Меньшинство же, как правило, склонно проявлять конформизм — принимать групповое мнение, а не отстаивать свою точку зрения (даже если у представителей меньшинства сохраняется субъективная уверенность в ее правильности). Таким образом, результатом дискуссии может стать победа мнения большинства только потому, что это мнение большинства;

•личностные различия членов группы, определяющие способность активно отстаивать свою точку зрения и навязывать ее другим. В очной дискуссии «конкурентное преимущество», как правило, находится на стороне более активных, напористых, лучше владеющих словом и даром убеждения участников. При этом совсем не обязательно наличие у человека этих качеств свидетельствует о его более глубоком понимании обсуждаемой проблемы. Таким образом, может возобладать мнение не самых компетентных, а самых «убедительных» экспертов;

•различный формальный или неформальный статус участников обсуждения. Практически в любой группе можно выделить более авторитетных и «заслуженных» экспертов, к чьему мнению будут прислушиваться в большей степени. Так, мнение академика будет «весить» больше, чем мнение аспиранта, при этом аспирант может углубленно изучать именно поставленную проблему, а академик — иметь лишь поверхностное представление о ней. В группах, где имеется определенная иерархия (например, на совещаниях в военных ведомствах, структурах государственной службы и т. д.), весомость точки зрения начальников будет выше, чем точки зрения подчиненных (которые к тому же вряд ли будут свои точки зрения активно отстаивать);

• психологическую сложность для многих участников экспертизы изменить уже высказанную точку зрения, даже если они осознали ее недостатки. Для многих людей, особенно «заслуженных» и «авторитетных», бывает трудно взять свои слова обратно, признать ошибку, особенно если признание ошибки «работает» на укрепление позиции, например, давнего оппонента. Поэтому высоки риски того, что эксперт будет отстаивать свою точку зрения, даже убедившись в ее несостоятельности;

• неконкретность, расплывчатость итоговых оценок, выводов и заключений, присущая многим традиционным совещаниям.

Именно эти проблемы способна устранить процедура, используемая в методе Дельфи. Она базируется на следующих основных принципах:

• заочный характер взаимодействия экспертов. Специфика Дельфи состоит в том, что каждый эксперт работает индивидуально, однако общая оценка является коллективной (групповой). Данный принцип направлен на устранение феномена группового давления и эффектов разницы в «публичной активности» и напористости экспертов;

• анонимность мнений экспертов. Каждому участнику экспертизы предоставляется полная свобода донести свою позицию и аргументацию до всей группы, однако никто не будет знать, чья именно это позиция. Данный принцип направлен на ликвидацию «эффекта авторитетного мнения»;

• итеративность (повторяемость) экспертизы. Процедура формирования групповой экспертной оценки в методе Дельфи проходит в несколько этапов, причем каждый из экспертов на каждом этапе может скорректировать собственную предыдущую оценку. В Дельфи это делается психологически безболезненно, учитывая заочный и анонимный характер процедуры;

•управляемая обратная связь. Эксперты могут обмениваться оценками и аргументацией, но делают это не напрямую, а через организаторов экспертизы, которые осуществляют обратную связь между экспертами, систематизируют оценки и аргументы;

• количественное оценивание и статистическая обработка экспертных оценок. Эксперты ограничены в формулировании оценок их числовым форматом. Это требуется для того, чтобы сделать результаты экспертизы максимально конкретными.

Рассмотрим, каким образом названные выше принципы находят свое выражение в процедуре метода Дельфи.

На этапе подготовки экспертизы определяется состав ее организаторов, которые на предварительной стадии должны сформулировать изучаемую проблему таким образом, чтобы с ней можно было работать в рамках Дельфи. Другими словами, проблема должна быть представлена в виде набора конкретных вопросов к экспертам, в качестве ответа на каждый из которых можно было бы получить числовую оценку. К примеру, экспертов некорректно спросить: «Состоится ли отставка правительства до истечения конституционного срока его полномочий?» Правильно сформулировать вопрос можно двумя способами:

• Когда состоится отставка правительства? (Крайний срок — дата следующих президентских выборов.)

• Какова вероятность досрочной отставки правительства? (При этом четко указывается, какой временной период понимается под досрочной отставкой.)

Все вопросы должны быть сформулированы таким образом, чтобы ответы на них можно было дать в рамках порядковой или интервальной шкалы. Исключение составляет лишь иногда применяемый «бесструктурный этап», о котором мы поговорим отдельно.

Разумеется, такое ограничение несколько сужает возможности применения Дельфи. Тем не менее остается очень широкий спектр признаков, которые можно измерять с его помощью. Например, для политической партии это:

• уровень поддержки на выборах (в процентах или голосах — интервальный уровень);

• влиятельность(порядковый уровень);

• сроки вхождения в альянс с другой политической партией (время — интервальный уровень);

• уровень поддержки со стороны тех или иных политических групп (порядковый уровень);

• уровень лояльности действующему главе государства (порядковый уровень);

• уровень выраженности в идеологии определенных позиций (скажем, насколько партия привержена либеральным ценностям — порядковый уровень);

• стоимость реализации партией той или иной агитационной кампании (интервальный уровень) и т. д.

Метод Дельфи бывает очень полезен и для достижения сугубо исследовательских целей, например при конструировании сложного инструмента измерения определенного признака. К примеру, конструируя индекс политической влиятельности губернатора, мы введем в него подиндексы «поддержка главы государства», «поддержка со стороны населения региона», «лоббистские возможности» и ряд других. Каждый из этих подиндексов поддается прямому измерению. Но как понять, какой из них имеет больший вес при расчете итогового индекса влиятельности? Непосредственному измерению вес каждой из составляющих индекса, как правило, поддаваться не будет. И здесь нам на помощь приходят экспертные оценки, в первую очередь метод Дельфи. «Взвешивание» компонентов индекса — одна из задач, которые оптимально решать именно с помощью Дельфи.

Итак, проблема должна быть сформулирована как перечень вопросов, предполагающих ответ в виде оценки по порядковой или интервальной шкале. Следующая важная задача организаторов экспертизы на подготовительном этапе — сформировать состав экспертной группы, т. е. определить ее численность и персональный состав.

Специфика метода Дельфи, связанная со статистической обработкой оценок и заочным характером взаимодействия экспертов, имеет прямое влияние на комплектование экспертной группы с точки зрения ее численности. Прежде всего, количество оценок (а значит, и количество экспертов) должно быть статистически значимым. Мы не можем привлечь к процедуре Дельфи только трех экспертов, так как не сможем обработать их оценки. Соответственно, нижняя граница численности экспертной группы — 7—9 человек. В то же время у нас не задана верхняя граница, так как нет необходимости собирать экспертов в одном месте. В реальной практике использования Дельфи есть примеры, когда в экспертизе участвовало несколько сотен специалистов. Конкретное их число будет определяться спецификой рассматриваемой проблемы, общим числом компетентных экспертов, их технической доступностью и согласием на участие в экспертизе.

Также на подготовительном этапе определяется технический канал коммуникации с экспертами. На заре развития метода это была обычная почта, в настоящее время — в основном электронная почта и факсимильная связь.

Подготовив анкету и определив состав экспертов, можно приступать к проведению первого тура экспертизы. Возьмем задачу прогнозного типа. Предположим, нас интересует вероятность реализации определенного политического события, и единственным вопросом в анкете будет: «Оцените вероятность наступления события ТУ в период М, используя оценки в интервале от 0 до 1, где 0 — полная уверенность в том, что событие не произойдет, 1 — полная уверенность в том, что событие произойдет». Разумеется, в реальном исследовании вопросов и пояснений к ним было бы больше, однако в учебных целях ограничимся самым простым видом анкеты.

Скажем, вопросе принимают участие девять экспертов. Соответственно, по итогам первого тура мы получим девять оценок вероятности реализации события N. Таким образом, мы имеем неупорядоченный числовой ряд из девяти элементов: (1; 0,2; 0,1; 0,1; 0,6; 0,8; 0,3; 0,5; 0,8).

В методе Дельфи основу статистической обработки оценок составляет вычисление средней и вариации на порядковом уровне измерения, т. е. речь идет о вычислении медианы — середины ранжированного числового ряда — и квартилей — четвертей ранжированного числового ряда. Ранжированный по возрастанию ряд в нашем случае будет иметь вид: (0,1; 0,1; 0,2; 0,3; 0,5; 0,6; 0,8; 0,8; 1).

Медиана равна 0,5, значение нижнего квартиля составляет 0,2; верхнего - 0,8 (М= 02 = 0,5; 01 = 0,2; 03 = 0,8).

Применительно к методу Дельфи медиана показывает общее групповое мнение, а интервал между верхним и нижним квартилями (или квартальный ранг) — разброс мнений экспертов, или степень консолидированности обще: оценка группы составляет 0,5 (равновероятно), интервал между верхним и нижним квартилями равен 0,8 — 0,2 = 0,6, т. е. является очень большим. Исходя из такого значения квартильного ранга, можно констатировать, что мнение группы фактически не сформировалось, оценки очень сильно разбросаны.

Уровень неопределенности равен нулю в двух случаях: если вероятность события равна 0 и 1. Иными словами, неопределенность отсутствует, когда мы полностью уверены либо в том, что событие реализуется, либо в том, что оно не реализуется. Соответственно, максимального уровня неопределенность достигает в ситуации равновероятности — 0,5. По мере удаления от крайних значений (0 и 1) и приближения к значению 0,5 неопределенность возрастает.

Таким образом, по итогам первого тура экспертизы мы имеем не только большой разброс оценок, но и ситуацию максимальной неопределенности относительно наступления данного события в указанные сроки. Решение, которое принимается руководителями экспертизы, в данном случае однозначно: экспертиза должна быть продолжена.

Во втором туре экспертов знакомят с обобщенными результатами первого тура (разброс оценок, иногда средняя) и просят ответить на тот же самый вопрос о вероятности наступления события. Однако здесь возникает существенное дополнение: оценка должна быть дополнена определенным набором аргументов. Технически здесь имеется два варианта:

1. Аргументировать выставленную оценку просят всех экспертов.

2. Аргументацию просят только у тех экспертов, чьи оценки выходят за интервал между квартилями, т. е. являются крайними. В нашем случае это два эксперта, поставившие оценки 0 и 1, и один эксперт, поставивший оценку 1.

Второй вариант оптимален в случае, если к экспертизе привлекается сравнительно большое число экспертов и оценки существенной их части оказываются вне интервала между квартилями. Тогда мы получим полноценный набор аргументов, с одной стороны, в пользу высокой, с другой — в пользу низкой вероятности реализации события. Получать аргументы тех экспертов, чьи оценки оказались внутри интервала, в такой ситуации большого смысла нет: их аргументация, скорее всего, будет комбинацией аргументов «крайних» экспертов.

Однако в нашем случае, когда число привлеченных экспертов невелико и оценки всего трех из них находятся за пределами квартального ранга, целесообразно собрать аргументы всех экспертов. Аргументы формулируются экспертами в том же режиме, что и весь процесс экспертизы: заочно, анонимно и индивидуально. Собирает, обобщает и систематизирует аргументы группа организаторов процедуры Дельфи. Основное содержание этой работы: объединение сходных аргументов, удаление повторяющихся, разбиение всех аргументов на две группы: в пользу повышения или понижения вероятности наступления события N.

В результате второго тура имеем:

• новые оценки экспертов. Они могут совпадать с оценками первого тура, а могут и не совпадать. Как правило, от первого тура ко второму оценки меняются незначительно, поскольку эксперты еще не успели ознакомиться с аргументацией своих коллег. Пусть в нашем случае получились следующие оценки: (0,1; 0,2; 0,2; 0,3; 0,6; 0,7; 0,8; 0,8; 0,9). Тогда статистика второго тура: М = 0,6; 01 = 0,2; 03 = 0,8; квартальный ранг = 0,6;

• два систематизированных перечня аргументов: в пользу повышения и понижения оценки вероятности наступления события. Авторство аргументов не указывается.

Все полученные результаты доводятся до участников экспертизы (характерное проявление управляемой обратной связи), и начинается третий тур Дельфи. В третьем туре, как и во втором, от экспертов требуется вновь оценить вероятность события и дать перечень аргументов. В пояснительной записке к анкете, как правило, указывается, что от экспертов ждут либо новых аргументов, либо усиления, дополнения или конкретизации аргументов, использованных во втором туре.

Обычно именно третий тур экспертизы по методу Дельфи является переломным: получив значительный объем информации от своих коллег по итогам второго тура, эксперты имеют больше оснований скорректировать собственные оценки. Общий «сдвиг» в результатах экспертизы должен быть значительно более существенным по сравнению со вторым туром.

Предположим, оценки третьего тура таковы: (0,1; 0,3; 0,5; 0,5; 0,7; 0,7; 0,8; 0,9; 0,9).

Статистика третьего тура соответственно: М = 0,7; 01 = 0,5; 03 = 0,8; квартальный ранг = 0,3.

Анализируя эту статистику, мы видим две принципиальные тенденции:

•общее мнение группы сдвигается от равновероятной оценке в сторону повышения вероятности реализации события (0,7). При этом в оценке реализации события сокращается уровень неопределенности;

• мнение группы становится более консолидированным. Интервал между квартилями по сравнению со вторым туром существенно сокращается (0,6 и 0,3).

Итерации (новые туры) проводятся в Дельфи по тому же принципу, что второй и первый тур. Решение об окончании экспертизы принимается тогда, когда смещения в оценках перестают быть существенными. Так, если в четвертом туре мы имеем оценки: (0,1; 0,5; 0,6; 0,6; 0,7; 0,7; 0,8; 0,8; 0,8) и статистику: М = 0,7; 01 = 0,6; 02 = 0,8; квартальный ранг = 0,2, — можно констатировать, что групповое мнение сформировалось. Смещение оценок по сравнению с третьим туром незначительно, общее групповое мнение не изменилось, интервал между квартилями незначителен. Таким образом, эксперты в целом согласились, что вероятность наступления события N в указанные сроки составляет 0,7; его реализация «скорее вероятна».

Динамику развития экспертизы в методе Дельфи полезно представить визуально. На рисунке ниже хорошо видны «траектории» оценок экспертов, формирование более консолидированного мнения и общий сдвиг в сторону медианы 0,7. Хорошо видна также «изолированная позиция»: один из экспертов ни разу не изменил свою оценку (0,1), несмотря на ее сильное расхождение с общегрупповым мнением.

Возможны ситуации, когда сближение оценок либо не происходит, либо происходит на крайних полюсах. Такой случай можно увидеть в таблице и на рисунке ниже.

В данном случае результат экспертизы — медиана четвертого тура 0,5 — если что-то и отражает, то только максимальный уровень неопределенности. Оценки экспертов четко консолидированы на полюсах очень высокой и очень низкой вероятности реализации события. Полученная итоговая статистика для нас практически бесполезна, однако нельзя сказать, что проделанная работа была полностью напрасной. В ходе процедуры Дельфи мы сумели по крайней мере четко определить полярные позиции и сопутствующие им аргументы, что понадобится в процессе дальнейшего анализа ситуации.

Среди модификаций Дельфи по сравнению с описанной выше традиционной процедурой следует отметить введение в экспертизу бесструктурного этапа. Эта техника применяется в том случае, когда исследование носит поисковый характер, инициаторы экспертизы не вполне готовы с ходу операционализировать проблему до уровня конкретных вопросов, предполагающих ответ в количественной форме. Тогда к процедуре формулировки проблемы и подготовки инструментария привлекаются эксперты.

Например, мы хотим получить прогнозный перечень партий, которые смогут пройти в Государственную думу, преодолев заградительный барьер. Но исследование проводится до начала официального старта избирательной кампании, и мы не уверены, что составленный нами список партий — претендентов на места в парламенте является полным, так как далеко не все заявили о намерении участвовать в выборах. В этой ситуации можно воспользоваться бесструктурным этапом: в первом туре предложить экспертам (каждому индивидуально) составить список всех партий, которые могут претендовать на прохождение заградительного барьера. Никаких количественных оценок для бесструктурного этапа не предполагается — именно поэтому он называется бесструктурным. Получив перечни партий от каждого из экспертов, организаторы экспертизы сводят их в единый список и далее переходят к стандартной процедуре: просят дать экспертную оценку прогнозируемого результата каждой из партий на предстоящих выборах (в данном случае в процентах голосов).

Еще одна модификация Дельфи ориентирована на сокращение времени, затрачиваемого на экспертизу. Из изложенного следует, что метод Дельфи при всех его достоинствах достаточно громоздок и требует значительных временных ресурсов. Методика экспресс-Дельфи сохраняет все базовые принципы классического подхода, но предполагает выполнение всей процедуры за несколько часов, что требует соответствующего технического обеспечения. Каждый эксперт в течение отведенного на экспертизу времени находится за индивидуальным компьютерным терминалом; все терминалы объединены в общую сеть, замкнутую на руководителя экспертизы. От организаторов экспертизы требуется особая оперативность в обработке оценок и систематизации аргументов, так как все итерации должны уложиться в сравнительно ограниченный промежуток времени.

Недостаток экспресс-Дельфи по сравнению с традиционной процедурой очевиден. Эксперту не дается времени действительно глубоко обдумать предложенную проблему, обстоятельно проанализировать позиции и аргументы других членов группы. Кроме того, методика сложна организационно и технически.

Поэтому в общем случае рекомендуется проведение экспертизы в соответствии с традиционным подходом.