Политический анализ: Учебное пособие

3.5. Групповые заочные методы экспертных оценок

Метод Дельфи
Критика метода Дельфи и ответ на нее
Метод ПАТТЕРН
Построение дерева целей
Выбор наилучшей стратегии

Другой большой группой методов экспертных оценок являются заочные методики. Данный класс методов групповой экспертизы требует более серьезной организационной подготовки, чем очные методы, однако позволяет участвовать в осуществлении аналитической деятельности значительному числу экспертов, что невозможно при очной дискуссии. Заочные методы также могут применяться для привлечения экспертов, не привыкших в силу своих психологических особенностей работать в незнакомых группах и предпочитающих шуму и многоголосице, обычно сопутствующим очным групповым дискуссиям, тишину собственного кабинета, знакомясь с мнениями коллег по поставленной проблематике и с их реакцией на собственные предложения в заочной форме. Кроме того, заочные методы позволяют избежать ряда недостатков, свойственных очным формам групповой работы, что будет подробно рассмотрено нами при непосредственном изучении наиболее продуктивных форм заочной экспертизы.

Метод Дельфи

Одной из самых известных заочных методик является метод Дельфи, разработанный в 50-е годы «РЭНД Корпорейшн» для исследования военно-стратегических и военно-технических проблем. Авторы этого метода — О. Хелмер, Т. Гордон, Н. Долки. Проект Дельфи патронировался органами государственной власти и должен был стать основной формой участия экспертов в принятии государственных решений по самом широкому спектру проблем, но в первую очередь по военной проблематике. Не случайно первой задачей, поставленной перед разработчиками Дельфи, было определение методом экспертных оценок системы оптимальных целей на территории США для нанесения ядерного удара и необходимого количества ядерных зарядов для реализации подобного плана с точки зрения руководства СССР . Научной общественности данный метод стал известен только в середине 60-х годов после публикаций в открытой печати работ О. Хелмера и Т. Гордона, которые и попытались вывести метод Дельфи за рамки сугубо военных решений .

Название этого метода происходит от греческого города Дельфы, расположенного у подножия горы Парнас, где находился храм Аполлона, знаменитый своим оракулом, к которому обращались с просьбой решить те или иные проблемы не только простые жители, но и представители правящих политических элит. Подобное название как бы символизирует необходимость использования политическим руководством различных государств и другими субъектами политического процесса экспертного знания, которое, правда, в настоящее время генерируется в советы не с помощью интуитивных форм, а с использованием научных технологий.

Дельфи представляет собой такой метод экспертных оценок, при котором эксперты самостоятельно отвечают на предложенные вопросы, представляя свои ответы на бумаге. Кроме экспертов в Дельфи участвует специальная организационная группа, занимающаяся разработкой опросников, обработкой получаемых ответов, а также обеспечением экспертов необходимой информацией.

Первый этап Дельфи заключается в разработке опросника — эксперты высказывают свои соображения по поводу того, какие конкретно вопросы необходимо обсудить и как их сформулировать, запрашивают необходимую информацию, а также предоставляют имеющиеся у них самих сведения, которые было бы целесообразно использовать при обсуждении. Организационная группа анализирует и суммирует все предложения, составляет первый опросник и рассылает каждому эксперту. Вместе с опросником распространяется и информация, как имеющаяся в наличии у организационной группы, так и предоставленная экспертами . На последний момент следует обратить особое внимание — ведь таким способом осуществляется информационный обмен, что достаточно важно. Например, если в экспертизе участвуют столичные аналитики и представители региональных аналитических структур, то первые получат информацию из «первых рук», не посещая области, республики и края, а вторые смогут ознакомиться с видением проблемной ситуации из федерального центра.

Формирование опросника является достаточно важной частью Дельфи — он должен быть составлен таким образом, чтобы были учтены все аспекты решаемой проблемы. Предположим, что исполнительная власть, осознавая необходимость проведения административной реформы, пытается разработать наиболее оптимальный ее вариант. В этом случае предложения экспертов должны учитывать самые различные последствия реализации их идей, и именно в опроснике следует показать, на чем заказчик пытается сконцентрировать основное внимание. Перед каждым экспертом надлежит поставить вопросы о том, почему его путь реформы способен повысить качество государственного управления; как будет строиться новая система принятия решений в органах государственной власти и в чем ее преимущества; способен ли предложенный вариант реформы оптимизировать информационные потоки от нижестоящих к вышестоящим ступеням административной системы; как в ней будут артикулироваться и агрегироваться различные предложения; какой должна быть система рекрутирования в органы административного управления; насколько эффективно можно контролировать ее функционирование; велико ли будет сопротивление чиновников предлагаемым нововведениям и путем каких затрат возможно его преодолеть; как прореагируют на реформу другие ветви власти; какой будет реакция избирателей на подобные изменения; какие ресурсы для проведения реформы потребуются — финансовые, организационные, временные и т.д.

Затем начинает действовать принцип обратной связи, который в данном случае следует понимать несколько в ином ключе, чем в схеме Д. Истона — эксперты возвращают опросники с готовыми ответами, отражающими их соображения по поводу возможных способов решения проблемы. Они также могут вносить предложения по изменению опросника: включению новых вопросов и исключению на их взгляд ненужных. Эксперты могут запросить дополнительные данные об объекте исследования. После этого в работу вновь вступает организационная группа — начинается второй этап. Организационная группа составляет второй вариант опросника, принципиально отличающийся от первого. Во-первых, исключаются все двусмысленные и не относящиеся к проблемной ситуации вопросы. Во-вторых, на основании мнений экспертов в опросник могут включаться новые вопросы, выпавшие из поля зрения при составлении первого варианта. В-третьих, и это является наиболее важным, в новый опросник включаются мнения всех участвующих в Дельфи экспертов, высказанные ими на первом этапе . При этом ни одного из экспертов нельзя проигнорировать — респонденты должны быть уверены в том, что каждый эксперт имеет равнозначное мнение и никому заранее не отдается предпочтения.

На следующем этапе экспертам предстоит высказать свое отношение к предложенным коллегами вариантам решения проблемы. Здесь лучше использовать специальные шкалы, что поможет организационной группе правильнее обработать опросники, точнее выявить предложения, которые эксперты сочли наилучшими, и отбросить идеи, не нашедшие у большинства из них одобрения. X. Линстон и М. Турофф рекомендуют четыре критерия оценок, для каждого из которых существуют приблизительные варианты оценок (табл. 3).

При этом каждый эксперт, реагируя на предложенные коллегами варианты решения проблемы, должен обосновать, почему он оценил предложенные идеи именно так, выделить сильные и слабые стороны каждого предложения и высказать свое мнение, что конкретно в оцениваемом предложении стоит использовать в окончательном варианте решения, а от чего следует отказаться.

Предположим, что группе экспертов была поставлена задача разработать стратегию избирательной кампании какого-либо общественного объединения. Отвечая на вопрос «Как правильно организовать агитацию в СМИ?», один из экспертов, в частности, предложил использовать на общероссийских каналах только бесплатно предоставляемое эфирное время, а основные финансы пустить на покупку эфирного времени у региональных телесетей и студий кабельного телевидения для проката рекламных роликов, каждый из которых будет сделан для кого-то отдельного региона с учетом его специфики. Остальные участники Дельфи, использовавшие для оценки всех предложений описанную выше систему критериев, в большинстве своем оценили предложенную идею как эффективную, возможно осуществимую, решающую многие поставленные задачи, а также выразили высокое доверие данному предложению. При внимательном анализе опросников организационная группа обнаружила, что в разделе использования СМИ в предвыборной борьбе это предложение опередило остальные, получившие более низкие оценки. Однако ряд экспертов высказали свои замечания. Например, было рекомендовано не снимать специальных роликов для тех территорий, где популярность партии по имевшейся информации являлась весьма низкой, а освободившиеся финансы пустить на покупку небольшого количества времени на государственных каналах. Однако общая концепция использования телевидения в рекламных целях оказалась одобренной. Высказанные замечания были внесены в третий вариант опросника, вновь разосланный экспертам. Большинство экспертов согласились с замечаниями, что и нашло отражение в итоговом документе. Подобная процедура оценки происходит с каждым предложением.

Данный пример показывает, что Дельфи проводится в несколько однотипных этапов, повторяющихся до тех пор, пока эксперты не придут к согласию по всем пунктам опросника. Затем организационная группа собирает все высказанные предложения в единый документ, который также отправляется всем экспертам на окончательное утверждение, после чего составленный прогноз или решение попадает к заказчику. Нельзя при этом исключить вариант, когда отдельная группа экспертов не соглашается с большинством и отстаивает свою точку зрения по анализируемому вопросу. По нашему мнению, в этом случае их соображения целесообразно оформить как особое мнение и также включить в итоговую записку. Такая процедура напоминает решения, выносимые Конституционным Судом РФ — судья Конституционного Суда, не согласный с его решением, имеет право на особое мнение, которое приобщается к материалам дела и подлежит опубликованию вместе с решением Конституционного Суда . Но в методе Дельфи процесс учета мнения большинства может быть более значим, так как если Конституционный Суд непосредственно принимает решения, то проект группы политических экспертов часто является лишь их предложением для лица или группы лиц, которые и будут принимать окончательное решение. По этой причине вполне возможен вариант, когда последние сочтут более убедительными доводы меньшинства и именно они лягут в основу решения.

Критика метода Дельфи и ответ на нее

Несмотря на то, что метод Дельфи получил широкое распространение в процессе организации экспертного знания, у него достаточно много критиков, мнение которых также необходимо представить. Одно из основных обвинений касается сравнения качества групповых очных и заочных дискуссий — ряд ученых полагает, что качество первых заведомо выше, чем вторых. Например, такого мнения придерживается Дж. Фаркухар, проводивший сравнительные исследования процессов принятия решений в очных и заочных группах . Однако исследования других ученых в данной области дали прямо противоположные результаты — так, Н. Долки и Р. Кембелл обнаружили тенденцию к значительно более качественным решениям в случае заочного группового взаимодействия . В результате можно предположить наличие высокого уровня субъективности в подобных оценках, и, кроме того, нарушение чистоты эксперимента — важно, чтобы и очные, и заочные методы проходили с использованием психологических процедур и без возможных искажений. Только в этом случае мы можем говорить о преимуществе того или иного способа с точки зрения качества решений. Отметим, что о проведении подобных сравнительных исследований в сфере непосредственно политических решений автору не известно. Вторым обвинением в адрес Дельфи является повышенный уровень конформизма. Как, например, писал Х. Сакман, при методе Дельфи организационная группа возвращает экспертам решения, получившие наибольшее число позитивных оценок, заставляя всю группу соглашаться с ними. Таким образом, отмечает Х. Сакман, Дельфи является попыткой представить статистически победившее решение как общее мнение, в то время как подлинный консенсус экспертов — это решение, достигнутое как результат взаимообразования и повышения уровня информированности экспертов .

В своей критике Х. Сакман опирается на опыты М. Шерифа, который обнаружил, что люди, принимающие в простых ситуациях правильное решение самостоятельно, при ознакомлении с ошибочными результатами других людей склонны менять свою точку зрения даже без очного обсуждения. Однако распространение результатов данного опыта на все заочные обсуждения представляется некорректным. Во-первых, М. Шериф отбирал людей для эксперимента по принципу случайной выборки, предлагая им решать пусть и несложные задачи, но все же из тех областей знаний, в которых они не были специалистами, в то время как политические эксперты — лица с определенным уровнем знаний и квалификации, занимающиеся проблемами непосредственно из сферы своей компетенции.

Во-вторых, и это более важно, опыты М. Шерифа проводились также и в очных группах и показали еще более высокий уровень конформизма . Не отрицая в целом возможность конформистских решений в заочных экспертных группах, отметим, что они все же характеризуются менее высоким уровнем конформизма по сравнению с очными группами, что является важным преимуществом первых. Это объясняется в первую очередь тем обстоятельством, что при очных методиках эксперты открыто излагают свое мнение. А при методе Дельфи применяется принцип анонимности. При использовании заочных методик наиболее авторитетные эксперты, лидеры обсуждения при очных дискуссиях, лишены возможности прямо воздействовать на мнение других участников аналитических процедур, а, следовательно, отсекается одна из главных причин высокого уровня конформизма в группе. Ведь именно способность подобных экспертов навязать свое мнение всей очной группе лежит в основе описанного нами феномена группового мышления и порождает серьезные деформации качества принимаемых решений.

Кроме того, не следует забывать наше предложение об оформлении мнения экспертов, не согласных с позицией большинства, в качестве приложения к итоговому решению, что также способствует отстаиванию экспертами своих идей и снижению конформизма. Это позволяет опровергнуть и утверждение X.Сакмана о том, что Дельфи представляет собой попытку представить статистически победившее решение как общее мнение — ведь мнение меньшинства также прилагается к окончательному решению.

Другим аргументом противников Дельфи является предположение, что на практике итог работы в небольшой степени зависит от мнения экспертов, поскольку окончательное решение представляет организационная группа, обрабатывающая материал, а, значит, она может интерпретировать ответы экспертов в выгодном ей ключе. Не исключается и возможность манипулирования организационной группой мнениями экспертов на более ранних этапах процедуры . Действительно, роль организационной группы достаточно велика, и в этой связи определенные деформации мнения экспертов вполне возможны. Но подобную проблему можно решить тщательным подбором организационной группы. В ней, в частности, должно быть не менее двух человек, которые контролировали бы друг друга . Кроме того, если организационная группа непосредственно заинтересована в конечном успехе дела и если в ней отсутствуют подкупленные конкурирующими политическими организациями люди (в политике нельзя исключать и такую ситуацию), то вряд ли она пойдет на подлог при представлении окончательного решения группы. Использование компьютера при обработке ответов также способно уменьшить риск фальсификаций или подлога со стороны организационной группы.

Метод ПАТТЕРН

Еще одной распространенной заочной методикой является ПАТТЕРН (Planning Assistance Through Technical Relevance Number, что переводится как Помощь планированию посредством относительных показателей технической оценки). Данный метод был разработан в другом «резервуаре мысли» — фирме «Хондуелл Инкорпорейтид» — в конце 60-х годов. Как и в случае с методом Дельфи, его апробация прошла на заданиях Министерства обороны США — в первую очередь ПАТТЕРН также создавался для решения военно-политических задач .

Методика примечательна тем, что сочетает несколько методов политического анализа, которые могут быть использованы и сами по себе — речь идет о написании сценария и построении «дерева целей». Написание сценария — первый этап ПАТТЕРНа — представляет собой сочетание ситуационного анализа и нормативного прогноза. Сценарий предполагает подробное описание проблемной ситуации, после чего устанавливается логическая последовательность событий с целью показать, как, исходя из существующего положения вещей, будет постепенно развертываться будущее состояние объекта исследования .

Построение дерева целей

Мы уже рассматривали проблемы ситуационного анализа и прогнозирования, поэтому более подробно изучим вторую часть ПАТТЕРНа — построения «дерева целей». Основной принцип составления «дерева целей» состоит в преобразовании любой цели более высокого иерархического уровня в совокупность подцелей более низкого уровня. Таким образом, все цели выстраиваются в строгой логической последовательности, причем каждая большая цель разбивается на более мелкие подцели. Процесс вычленения подцелей продолжается до тех пор, пока все они не совпадут с названиями средств своей реализации .

В качестве примера рассмотрим разработку стратегии предвыборной борьбы какого-либо кандидата в депутаты в мажоритарном округе, находящемся в городе N. Предположим, что анализ округа показал, что в нем нет крупных фабрик, зато имеется два вуза и ряд академических институтов. Основной электорат округа составляют представители непроизводственной сферы — врачи, учителя, научные сотрудники. В округе проживает большое число пенсионеров, однако митинги, которые пытались организовать на территории округа представители коммунистических организаций (как известно, на митинги в основном ходят люди старшего поколения), не состоялись из-за неявки на них населения. Социологические опросы показали, что жители округа политикой интересуются, однако не будут посещать различные предвыборные собрания и читать развешиваемые листовки, поскольку предпочитают проводить свободное время дома и получать информацию из газет и программ телевидения. Эта информация частично подтвердилась и данными о большом количестве выписываемых и покупаемых в розничной торговле печатных изданий.

Изучение статистики также показало, что в данном округе практически не зафиксировано ограблений квартир, совершенных псевдомилиционерами и лжесантехниками. (Последняя информация позволяет сделать вывод о возможности использования способа завоевания симпатий электората с помощью агитации «от двери к двери», суть которого заключается в том, что помощники кандидата, а лучше и он сам, ходят по квартирам и общаются с избирателями. Очевидно, что если в округе достаточно часто происходят ограбления квартир и преступники проникают в жилища людей под видом милиционеров, почтальонов или сантехников, вряд ли дверь будет открыта человеку, представившемуся кандидатом в депутаты, даже если он предупредит о своем приходе заранее.)

После анализа полученной информации эксперты построили «дерево решений», часть которого приведена на рис. 6. Первое деление на основные направления избирательной кампании (они же являются основными способами решения задачи победы кандидата на выборах) показано полностью, а далее изображено лишь «ветвление» одного основного направления — использования СМИ. Это сделано из-за того, что все «дерево решений» выглядело бы слишком объемным, однако принцип его построения отображен достаточно ясно.

Мы видим, что использование СМИ — одного из шести основных решений — делится на четыре подрешения второго уровня, разбивающихся далее на подрешения третьего уровня, каждое из которых является конкретным мероприятием.

Выбор наилучшей стратегии

Затем эксперты проводят тщательный анализ всех уровней построенного «дерева решений». Это делается для определения степени важности любого из возможных решений стоящей задачи. Каждому решению присваивается коэффициент значимости. Теперь со всей определенностью видно, какие решения следует реализовать в первую очередь и как оптимально распределить имеющиеся в наличии ресурсы. Присвоение коэффициентов обычно осуществляется методом анкетирования: экспертам раздаются бланки, в которых они проставляют оценки всем предложенным действиям.

Для анализа решений и присвоения им коэффициентов существует определенный набор показателей, по которым и оценивается каждая цель или подцель. Среди них можно выделить следующие рубрикаторы: степень эффективности, взаимополезность (показывает степень снижения расходов на выполнение остальных решений при реализации решения оцениваемого), временные и финансовые затраты, возможность использования партийных ресурсов, а также активистов и добровольцев. При составлении анкет следует учитывать, что значимость самих рубрикаторов различна — скажем, финансовые затраты будут гораздо более важным показателем, чем возможность использования добровольцев. Поэтому необходимо присваивать веса и самим критериям, что осуществляется на основе мнений экспертов относительно каждого критерия, которые выясняются до проведения анкетирования.

Для правильного составления анкеты необходимо придерживаться еще двух важных правил. Первое из них можно сформулировать следующим образом: веса критериев начисляются в долях единицы таким образом, чтобы их сумма равнялась единице. Второе правило похоже на первое, но касается уже критериев оценки мероприятия. Каждое мероприятие по каждому критерию оценивается в долях единицы, но сумма оценки всех мероприятий по каждому критерию также должна составлять единицу.

Для пояснения приведем пример анкеты (табл. 4), в которой оцениваются основные направления избирательной кампании А в округе С.

Нетрудно убедиться, что данная таблица соответствует всем перечисленным требованиям. Так, сумма весов критериев равна единице (0,35 + 0,25 + 0,1 + 0,1 + 0,1 + 0,1), как и сумма оценки всех мероприятий по каждому критерию (например, сумма оценки по критерию «степень эффективности» 0,35 + 0,05 + 0,15 + 0,15 + 0,2 + 0,1 = 1). Рассчитаем вес одного из самых эффективных в данном округе мероприятий — выступлений кандидата в СМИ: 0,35x0,3 + 0,25x0,05 + 0,1x0,5 + 0,1x0,2 + 0,1x0,2+ 0,1x0,05 = 0, 2125.

После несложных математических вычислений видно, какие способы агитации за кандидата А в округе С наиболее приемлемы, а на какие следует обратить меньшее внимание. Более того, таблица дает полное представление о сильных и слабых сторонах каждого из основных направлений агитации. Например, организация митингов и встреч с избирателями не требует больших финансовых затрат, но этот прием весьма неэффективен в данном округе. Использование СМИ, наоборот, весьма эффективно, но дорогостояще. При индивидуальной почтовой рассылке команда кандидата А может задействовать активистов и добровольцев, но этот способ отнимет большое количество времени. При изменении условий (если, скажем, кандидат А неожиданно столкнулся с финансовыми проблемами или же ему вызвалось помочь неожиданно большое число добровольцев), используя данные таблицы, также очень легко перестроить избирательную кампанию и пересмотреть приоритеты в отношении средств агитации.

Подобным образом составляются оценочные таблицы и для групп решений второго и третьего уровней. Например, в нашем случае таблиц для решений второго уровня будет шесть, а для анализа подрешений основного направления агитации «использование СМИ», как видно из дерева решений, нужно будет построить четыре таблицы. После этого получится полная картина избирательной кампании, причем можно будет оценить каждое мероприятие по всем критериям.