Методы политических исследований: Учеб. пособие

§2. Техника применения экспертных оценок в политических исследованиях

Необходимость знания экспертных методик для политологов достаточно очевидна, однако они редко назначаются в форме, позволяющей применять их без специального разъяснения. В большинстве случаев описание методики сводится к технике количественной обработки данных, правила которой восходят к математическому анализу так называемого циклического парадокса. Кроме того, их разработчики мало уделяют внимания тому, чтобы при использовании экспертных оценок необходимо обращаться к теоретическим концепциям, отражающим основные качественные особенности исследуемого объекта, и что сами экспертные методы базируются не столько на конкретной информации, имеющейся у эксперта, сколько на его общих концептуальных представлениях о ней.

К настоящему времени описано несколько десятков вариантов применения экспертных оценок в прогнозно-аналитических разработках различного уровня. Большинство из них можно классифицировать по трем группам: индивидуальные, коллективные и универсальные.

•  Методические варианты индивидуальных экспертных оценок:

— метод интервью основан на беседе эксперта с прогнозистом по схеме «вопрос—ответ», причем «ответ» фиксируется в качестве элемента системной модели изучаемого явления;

— метод генерации идей основан на выявлении экспертной оценки (мнения эксперта) с помощью программированного управления мыслительным процессом, включающего обращение к глубинной памяти человека.

•  Методические варианты коллективных экспертных оценок:

— метод коллективной экспертной оценки основан на выявлении объективно обобщенной оценки экспертной группы путем обработки индивидуальных, независимых оценок, вынесенных экспертами, входящими в ее состав;

— метод экспертных комиссий основан на совместной работе нескольких экспертов, формулирующих общее мнение в качестве согласованной итоговой оценки;

— метод Дельфи основан на выявлении согласованной оценки экспертной группы путем их автономного опроса в несколько туров, предусматривающего сообщение экспертам результатов предыдущего тура с целью получения дополнительного обоснования оценок экспертов в последующем туре;

— метод коллективной генерации идей («мозговой штурм») основан на стимуляции творческой деятельности экспертов путем совместного обсуждения конкретной проблемы, регламентированного особыми правилами;

— метод управляемой генерации идей основан на использовании целенаправленного интеллектуального воздействия на группу экспертов со стороны руководителя обсуждения, усиливающего процесс коллективной генерации идей.

•  Универсальные методы экспертных оценок, применяемые как в индивидуальном, так и групповом формате представления аналитических суждений:

— матричный метод основан на использовании матриц, отражающих значения (веса) вершин граф-модели объекта прогнозирования, с последующим преобразованием и операционализацией матриц;

— метод построения прогнозного сценария основан на установлении логической последовательности состояний объекта прогнозирования и прогнозного фона во времени при различных условиях;

— морфологический анализ основан на построении матрицы характеристик объекта прогнозирования и их возможных значений с последующим перебором и оценкой вариантов сочетаний этих значений;

— синоптический метод основан на анализе экспертами известного множества прогнозов относительно объекта прогнозирования и прогнозного фона с последующим их синтезом.

Данные, полученные на основе экспертных оценок, могут быть отнесены к категории вторичной информации, составляющей информационную базу прикладного проекта. Хотя в рамках настоящего учебника невозможно подробно описать содержание каждого инварианта экспертной методики, из приведенного списка очевидно, что они опираются на процедурные правила, сочетающие элементы психологических, социологических и политических знаний, а их применение предполагает самую разностороннюю подготовку специалистов, участвующих в экспертизе. Кроме того, обработка информации, полученной на основе экспертных оценок, предусматривает их количественную обработку и использование математических процедур. Таким образом, методика экспертных оценок относится к категории междисциплинарных исследовательских техник.

Исследование с применением экспертных оценок проводится в три этапа:

1) готовятся информационные материалы и подбираются эксперты;

2) собираются экспертные заключения и обрабатываются результаты;

3) готовится итоговое заключение.

Рассмотрим эти этапы более подробно.

Подготовка информационных материалов и подбор экспертов

На этапе подготовки программы проекта формируется группа специалистов-аналитиков, в обязанности которой входят подбор экспертов, участвующих в экспертизе; составление специальных опросных листов (анкет); разработка способа и процедуры опроса экспертов; проведение опроса; обработка результатов опроса и их статистический анализ; синтез объективной (статистической) и субъективной (аналитические заключения) информации с целью подготовки итоговых оценок, необходимых для принятия решения.

Однако главной задачей этого этапа является все же не техническая сторона организации экспертизы, а разработка ее содер-

Экспертные методы в политических исследованиях

жательных аспектов. Так, качественная оценка эксперта зависит от предварительной проработки организаторами совещания общей системной концепции рассматриваемой ситуации или процесса. Обычно такая проработка производится путем перевода традиционных научных обсуждений в русло моделирования, например представления рассматриваемых проблем в виде иерархически организованной структуры — проблемного дерева, или в иной терминологии — «дерева целей». Эта работа производится путем последовательного расчленения основных исследовательских задач на элементы, с тем чтобы создать систему так называемых взвешенных связей («дерево целей»).

Дерево целей — структурированная, построенная по иерархическому принципу (ранжированная) совокупность целей системы, программы, плана, в которой выделены: генеральная цель («вершина дерева»); подчиненные ей подцели первого, второго и последующего уровней («ветви дерева»). Название «дерево целей» связано с тем, что схематически представленная совокупность распределенных по уровням целей напоминает по виду перевернутое дерево.

Существует четыре простых правила для установления полноты и непротиворечивости «дерева целей» при чтении:

1) сверху вниз подцель должна отвечать на вопрос: «Что нужно сделать, чтобы реализовать цель предыдущего уровня?» Например: что нужно сделать, чтобы урегулировать вооруженный гражданский конфликт?;

2) снизу вверх цель более высокого уровня должна отвечать на вопрос: для чего необходима цель непосредственно подчиненная ей?;

3) подцелей, необходимых для достижения одной цели; следует уточнить, все ли подцели действительно необходимы для ее достижения;

4) подцелей, необходимых для достижения одной цели; следует уточнить, какие еще подцели этого уровня необходимы для достижения более высокой цели.

Чтобы построить «дерево целей» поставленной в приведенном примере задачи, необходимо, в частности, зафиксировать следующие подцели второго уровня: II-1 — добиться прекращения огня,

П-2 — установить контроль за прекращением огня, П-3 — определить режим административного управления, П-4 — определить пути восстановления разрушенной экономики (схема 10). Добавление подцелей происходит до тех пор, пока они не становятся объективно измеримыми или позволяют эксперту дать однозначный ответ «да/нет». В общем виде эти правила напоминают процесс анализа методом построения иерархий, описанный в работах Т. Саати.

I. Урегулирование конфликта

______И-1.Добиться прекращения огня

______И-2.Обеспечить контроль за прекращением огня

______П-3.Определить режим административного управления

______И-4. Определить пути восстановления экономики

Схема 10. Фрагмент «дерева целей» для анализа урегулирования этнополитического конфликта

Таким образом, в прикладных политологических исследованиях «дерево целей» может рассматриваться как графическая схема, демонстрирующая декомпозицию комплексных проблем на составляющие их элементы более низкого уровня и позволяющая последовательно конкретизировать задачи для основных направлений деятельности в рамках политического процесса.

Проблема является комплексной, если она «разбивается» на составляющие ее подпроблемы и для каждой разрабатывается своя программа экспертизы. После получения решений по под-проблемам, они агрегируются и анализируются на уровне проблемы в целом. Если на уровне подпроблем экспертизой занимаются профильные специалисты (узкое направление), то на уровне комплексной проблемы работают широко ориентированные аналитики, не являющиеся специалистами только в одной из областей.

Установив круг потенциально возможных кандидатур экспертов, необходимо определить численность экспертной группы. Хотя точно рассчитать оптимум довольно трудно, при малом числе экспертов групповая оценка в значительной степени зависит от индивидуальных экспертных мнений, вследствие чего возрастает ее субъективность. В то же время при слишком многочисленном составе участников экспертизы труднее выявить общее согласованное заключение, а достоверность групповой оценки может снизиться в силу уменьшения роли мнений, отличающихся от мнения большинства, но далеко не всегда оказывающихся ошибочными.

Обычно, когда речь идет о формировании объективного мнения, к участию в экспертном совещании привлекают наиболее квалифицированных специалистов из всех организаций, имеющих профессиональное отношение к рассматриваемой проблеме. Но в последние годы крут различных научных центров стал столь обширным, что организаторы экспертных совещаний должны дополнительно уточнять критерии своего выбора. Решение о персональном привлечении эксперта чаще всего основывается на уровне его компетентности. Однако даже самый квалифицированный эксперт может оказаться неэффективным участником конкретной экспертизы как из-за причин случайного характера, так и из-за отсутствия стимулов подтверждения личной квалификации. Поэтому иногда возникает проблема дополнительной оценки компетенции специалиста, уже включенного в рабочий процесс. К наиболее важным характеристикам эксперта, наличие которых целесообразно учитывать в ходе персонального отбора, относятся: креативность — способность самостоятельно решать творческие задачи; эвристичность — умение видеть или создавать неочевидные «сценарии»; интуиция — способность делать заключения об исследуемом объекте без осознания логики (причинно-следственных связей) его формулирования; независимость — умение противопоставлять групповым мнениям собственное; универсальность — способность видеть проблему с различных точек зрения.

Сбор экспертных заключений и обработка результатов

Составляя анкеты для проведения экспертизы, следует иметь в виду, что при их заполнении определенную роль играет порядок постановки вопросов и их формулировка. Вопросы не должны допускать двойного толкования или побуждать эксперта выразить мнение в малознакомой ему предметной области. Мера конкретизации вопросов должна учитывать реальную возможность специалиста дать правильный ответ. Излишняя детализация создает иллюзию максимальной точности суждения, тогда как на самом деле она может отвлекать от главных вопросов. Практика показывает, что сначала лучше искать ответы на общие вопросы, а затем постепенно переходить к более частным.

Важное значение имеет и количество объектов, предъявляемое эксперту. Самые надежные результаты достигаются при числе объектов, равном 7±2. Показатель 7±2 отмечается в психологии как мак-симальное количество факторов, тем, вопросов, над которыми человек способен думать одновременно.

Сбор экспертных заключений может проводиться заочно, когда личный контакт аналитиков с экспертами отсутствует, либо очно, когда заполнение анкеты осуществляется в рамках беседы с экспертом. Преимущества и недостатки очной или заочной процедуры аналогичны тем, с которыми сталкиваются социологи, проводя опросы общественного мнения. Заочный опрос относительно дешев, однако при нем возможны искажения в случае неправильного заполнения анкет. При личной беседе этот недостаток исключается, но зато требуются значительные затраты труда и времени. Кроме того, аналитик, проводящий личный опрос, может сознательно или бессознательно влиять на ответы эксперта.

Очные способы выражения экспертами своих оценок классифицируются по тому, насколько анонимно они совершаются. Анонимный опрос подразумевает, что никто из экспертов не знает оценок своих коллег. Допускается также анонимное обсуждение оценок, не совпадающих с мнением большинства, оно проводится в письменном виде. Полную противоположность анонимному опросу составляет процедура сбора экспертных заключений в ходе открытого группового обсуждения всех оценок. И тот и другой способ имеет свои преимущества: анонимность позволяет откровенно высказывать персональное мнение, а атмосфера открытого обсуждения способствует пробуждению творческой активности экспертов.

Экспертные процедуры возникли на фоне традиционных методов принятия политических решений и во многом воспроизводят сложившийся формат открытых и закрытых совещаний. Но их главным отличием является стремление избегать жестких ограничений для выдвижения экспертами своих суждений. Благодаря этому подходу возникает благоприятная интеллектуальная среда творческого осмысления сложных проблем и преодоления устаревших стереотипов восприятия. Поэтому обычно атмосфера, свойственная экспертным совещаниям, определяется в профессиональном лексиконе термином «мозговой штурм». Но для того чтобы его возможности были полностью реализованы, необходимо соблюсти несколько правил повышения эффективности мышления.

Основные правила «мозгового штурма»

В рамках достаточно общей формулировки поставленной проблемы выделить единственный главный вопрос.

— Не объявлять ложной и не прекращать обсуждать ни одну идею, которая высказывается по ходу дискуссии.

— Подхватывать необычную идею любого рода, даже если ее уместность кажется первоначально сомнительной.

— Поощрять активность высказываний, чтобы освободить участников заседания от скованности.

Использование опыта «мозгового штурма» позволяет, во-первых, увеличить результативность анализа, во-вторых, облегчает радикальную критическую переработку ранее подготовленных проектов, в-третьих, предоставляет возможность разработать заключения, опирающиеся на согласованные мнения.

Среди основных методов сбора экспертных заключений наиболее распространенным является метод открытых обсуждений. Но, привлекая своей демократичностью, он не всегда дает удовлетворительные с точки зрения практических потребностей результаты. Поэтому часто экспертные совещания, начавшись в широком составе, продолжаются уже в закрытом формате и при значительных изменениях круга участников. В ходе закрытых совещаний иногда применяют метод обсуждения, называемый «методом фаворита». Экспертная группа выделяет лицо, оценка которого является решающей при формулировании обобщающих заключений и обязательной для всех участников.

Завершающая часть второго этапа исследования с применением экспертных оценок — обработка результатов экспертизы. Главная задача обработки результатов опроса — представить экспертные заключения в стандартизованном виде. Стандартизация делает возможной процедуру сравнения результатов, полученных разными способами. Но сам статистический анализ начинается с определения согласованности оценок разных экспертов.

Если все оценки одинаковы, то проблема измерения решена. Однако обычно не все оценки совпадают. Более того, иногда мнения участников обсуждения сильно расходятся. Тогда в задачи обработки входит выявление специфики представлений экспертов. Этого можно достичь, предлагая экспертам объяснять свои оценки или путем формального сравнения их мнений. Если полученные результаты не согласованы, то одним из решений может быть повторение экспертизы (с разъяснением имеющихся разногласий). Так применяется известный метод проведения экспертизы Дельфи.

Дельфы — город Древней Греции, заслуживший известность предсказателями будущего, которые назывались оракулами. Основные принципы, положенные в основу метода Дельфи, заключаются в обеспечении анонимности опроса путем исключения непосредственного взаимодействия экспертов. Обратная связь, регулируемая аналитиками, позволяет выявить преобладающие суждения специалистов и сблизить их точки зрения на проблему. Вместе с тем метод не имеет целью достижение полного единства мнений, так как учитывается, что, несмотря на сближение точек зрения, различие будет существовать и в конце опроса.

Обычно для «сходимости» мнений, полученных в соответствии с процедурой Дельфи, достаточно трех туров. Если степень согласованности остается недостаточной, то следует предпринять дополнительные шаги, в частности изменить состав группы экспертов либо изменить перечень факторов (объектов), подлежащих оценке.

Регулярное проведение экспертиз по какому-либо вопросу может довести процедуру получения экспертных оценок до высокой степени стандартизации и воспроизводимости результатов. При этом часто экспертные заключения предоставляются в числовом виде, и тем самым их обработка сводится к процедурам, разработанным в области вычислительной математики и статистики. Статистический анализ и анализ чувствительности полученного массива экспертных данных составляют математическое обеспечение экспертиз, и лучше, если они выполняются соответствующими специалистами.

Статистический анализ имеет дело, главным образом, с количественными данными, обусловленными множественностью признаков или факторов. Его применение позволяет определять основные закономерности распределения данных (параметров экспертных оценок) и степень корреляции между отдельными показателями.

Анализ чувствительности вариантов решений обусловлен тем, что веса факторов определяются как случайная величина. Если результат очень чувствителен к изменению исходных данных, то решение может быть принято необоснованно. Кроме того, эксперты могли дать данные с некоторой степенью неточности. Анализ чувствительности может быть проведен и по отношению к составу группы экспертов — изменение в составе группы не должно сильно влиять на результаты.

Целью процедуры количественной обработки результатов экспертного анализа является содержательная характеристика множества профессионально выделенных точек зрения на рассматриваемое явление. Дальнейшее зависит оттого, кто в конечном счете должен принять решение. Целью экспертизы никогда не является и не должно являться освобождение конкретного лица от ведомственной, моральной или политической ответственности за события, наступившие вследствие его действий.

Практически при любой обработке результатов работы экспертной группы встает проблема перехода от индивидуальных предпочтений к групповому предпочтению, т.е. получение агрегированного заключения. Существует несколько основных типов проблемной ситуации:

•  члены экспертной группы придерживаются противоположных точек зрения. Усреднение в такой ситуации может способствовать победе экспертов, обладающих не самым высоким уровнем квалификации;

•  члены экспертной группы используют разные принципы начисления «очков», что приводит к разноплановости оценок;

•  члены экспертной группы демонстрируют цикличность предпочтений и не могут однозначно определить иерархию признаков объекта. Основной причиной такого результата является переход экспертов с оценивания объектов по одному признаку к оцениванию по другому.

Одним из главных требований, предъявляемым к процессу обработки экспертных заключений, является исключение негативного эффекта усреднения, разноплановости и цикличности.

При формулировании итоговых экспертных оценок неизменно встает вопрос о соотношении количественных и качественных характеристик объекта наблюдения и о возможностях учета этого соотношения. Хотя далеко не все политические феномены могут быть описаны на основе точных измерений, очень часто отображение традиционно качественных представлений людей в числовом виде или даже указание на относительную значимость определенных факторов по сравнению с другими повышает точность аналитических заключений. Поэтому использование экспертных оценок позволяет подготовить количественную базу для выбора оптимальных решений как в жестком цифровом выражении, так и в более мягких «рейтинговых», «ранговых» или аналогичных им вариантах.

Приведем общую постановку задачи измерений в рамках всего множества экспертных методов. Так, дан набор некоторых объектов (факторов) и эксперта просят поставить каждому объекту (фактору) числовую или ранговую оценку значимости этого фактора. Под объектом можно понимать также и один объект, но в разные моменты времени. В этом случае надежность экспертных оценок зависит от возможности измерения содержащейся в них информации с помощью различных шкал и показателей. Когда проводится экспертиза, то предполагается, что эксперт в состоянии сравнить объекты, варианты или факторы, приписав каждому из них число. В зависимости от того, по какой шкале могут быть заданы эти сравнения, экспертные оценки содержат больший или меньший объем информации.

Чаще всего экспертные оценки качественных признаков воспринимаются как измеренные по порядковой шкале, и для их математической обработки применяются методы упорядочения. Методы упорядочения могут быть применены в нескольких случаях. Так, весьма типичной является ситуация, когда из общего числа факторов необходимо выделить наиболее важные. В практике нередко случается, что одна из альтернатив превосходит другую по какому-либо показателю, хотя другая тоже является привлекательной, но уже на ином основании. В таких случаях выбирается какой-либо один важный признак (или несколько), на основе которого производится выбор оптимального варианта. Достаточно сложные проблемы возникают и тогда, когда необходимо оценить какие-либо качественные факторы, которые нельзя точно измерить. Упорядочить их совокупность можно, сопоставив степень каждого из них этим качеством. В повседневной жизни мы часто оцениваем такие факторы с помощью слов: «лучше», «ценнее», «полезнее», «красивее», «талантливее» и т.д. Наиболее распространенными методами упорядочения альтернатив (факторов) являются ранжирование, нормирование и сравнение. Совпадение выводов, полученных на основе применения двух различных подходов, позволяет предположить, что они основаны на самом материапе, а не на методах его обработки.

Математический аппарат, используемый при экспертной оценке значимости объектов, факторов, альтернатив, постоянно развивается и не исчерпывается методами упорядочения. Основной областью математики, которая обеспечивает количественную обработку экспертных оценок, является статистика. В плане электронного обеспечения экспертных методов существуют пакеты прикладных программ, которые используются как индивидуальными, так и ведомственными пользователями.

Подготовка итогового заключения

На третьем завершающем этапе обработки экспертных данных неизменно возникает задача комплексного анализа характеристик объекта наблюдения, которые были получены на основании применения разных приемов статистической обработки и особенно разных шкал. Для этого необходим переход к одному типу данных-— числовому или качественному. Обычно такой анализ осуществляется с помощью сведения всех показателей к количественным. Но при наличии адекватных представлений и исполнительских навыков комплексную обработку информации можно проводить и с помощью сведения числовых показателей к качественному виду. Например, характеристике демографической ситуации в отдельной стране, определяемой как состояние демографического взрыва, могут соответствовать хотя и близкие по величине, но все же разные показатели естественного прироста населения. Нюансы, важные в долгосрочной перспективе, можно в данном случае, в пределах краткосрочной перспективы, не учитывать.

Важным, хотя и не абсолютным показателем корректности экспертных заключений является ситуация, когда выводы, полученные на основе «количественной» обработки данных, если и не совпадут с выводами «качественной» обработки, то, по крайней мере, не будут им противоречить. Другими словами, применение экспертных оценок при подготовке конкретного решения очень часто служит началом целой серии экспертных совещаний, постепенно снижающих неопределенность ситуации.