THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама

Метод, получивший название древнегреческого города, прославивше­гося своими предсказателями будущего, разработан в начале 1950-х гг. в известном «мозговом центре» США - корпорации «Рэнд». Авторами его являются американские ученые О.

Хелмер и Т. Гордон. Как и мно­гие разработки в области политического анализа и прогнозирования, применение метода Дельфи изначально было ограничено проблемати­кой военно-промышленного и военно-дипломатического характера.

Возникновение Дельфи связано с объективно назревшей потреб­ностью усовершенствовать методики группового принятия решений. До появления Дельфи наиболее распространенным способом согла­сования различных позиций и выработки общего мнения было тради­ционное совещание (очная дискуссия). Однако такой метод обладает рядом очень серьезных недостатков, большинство из которых связано с негативными психологическими эффектами межличностного обще­ния, к которым можно отнести:

Групповое давление. Этот феномен изучен в социальной психоло­гии (конкретнее, психологии малых групп) и заключается в том, что большинство в группе стремится навязать свою позицию меньшинст­ву. Меньшинство же, как правило, склонно проявлять конформизм - принимать групповое мнение, а не отстаивать свою точку зрения (да­же если у представителей меньшинства сохраняется субъективная уверенность в ее правильности). Таким образом, результатом дискус­сии может стать победа мнения большинства только потому, что это мнение большинства;

Личностные различия членов группы, определяющие способность активно отстаивать свою точку зрения и навязывать ее другим. В оч­ной дискуссии «конкурентное преимущество», как правило, нахо­дится на стороне более активных, напористых, лучше владеющих словом и даром убеждения участников. При этом совсем не обяза­тельно наличие у человека этих качеств свидетельствует о его более глубоком понимании обсуждаемой проблемы. Таким образом, мо­жет возобладать мнение не самых компетентных, а самых «убеди­тельных» экспертов;

Различный формальный или неформальный статус участников обсуждения. Практически в любой группе можно выделить более авторитетных и «заслуженных» экспертов, к чьему мнению будут при­слушиваться в большей степени. Так, мнение академика будет «весить» больше, чем мнение аспиранта, при этом аспирант может углубленно изучать именно поставленную проблему, а академик - иметь лишь поверхностное представление о ней. В группах, где име­ется определенная иерархия (например, на совещаниях в военных ведомствах, структурах государственной службы и т.д.), весомость точки зрения начальников будет выше, чем точки зрения подчиненных (которые к тому же вряд ли будут свои точки зрения активно от­стаивать);

Психологическую сложность для многих участников экспертизы из­менить уже высказанную точку зрения, даже если они осознали ее недостатки. Для многих людей, особенно «заслуженных» и «авторитетных», бывает трудно взять свои слова обратно, признать ошибку, осо­бенно если признание ошибки «работает» на укрепление позиции, например, давнего оппонента. Поэтому высоки риски того, что экс­перт будет отстаивать свою точку зрения, даже убедившись в ее несостоятельности;

Неконкретностъ, расплывчатость итоговых оценок, выводов и за­ключений, присущая многим традиционным совещаниям.

Именно эти проблемы способна устранить процедура, используе­мая в методе Дельфи. Она базируется на следующих основных прин­ципах:

Заочный характер взаимодействия экспертов. Специфика Дельфи состоит в том, что каждый эксперт работает индивидуально, однако общая оценка является коллективной (групповой). Данный принцип направлен на устранение феномена группового давления и эффектов разницы в «публичной активности» и напористости экспертов;

Анонимность мнений экспертов. Каждому участнику экспертизы предоставляется полная свобода донести свою позицию и аргумента­цию до всей группы, однако никто не будет знать, чья именно это по­зиция. Данный принцип направлен на ликвидацию «эффекта автори­тетного мнения»;

Итеративность (повторяемость) экспертизы. Процедура форми­рования групповой экспертной оценки в методе Дельфи проходит в несколько этапов, причем каждый из экспертов на каждом этапе мо­жет скорректировать собственную предыдущую оценку. В Дельфи это делается психологически безболезненно, учитывая заочный и ано­нимный характер процедуры;

Управляемая обратная связь. Эксперты могут обмениваться оцен­ками и аргументацией, но делают это не напрямую, а через организаторов экспертизы, которые осуществляют обратную связь между экс­пертами, систематизируют оценки и аргументы;

Количественное оценивание и статистическая обработка эксперт­ных оценок. Эксперты ограничены в формулировании оценок их чис­ловым форматом. Это требуется для того, чтобы сделать результаты экспертизы максимально конкретными.

Рассмотрим, каким образом названные выше принципы находят свое выражение в процедуре метода Дельфи.

На этапе подготовки экспертизы определяется состав ее организаторов, которые на предварительной стадии должны сформулировать изучаемую проблему таким образом, чтобы с ней можно было работать в рамках Дельфи. Другими словами, проблема должна быть представлена в виде набора конкретных вопросов к экспертам, в качестве ответа на каждый из которых можно было бы получить числовую оценку. К примеру, экспертов некорректно спросить: «Состоится ли отставка правительства до истечения конституционного срока его полномочий?» Правильно сформулировать вопрос можно двумя спо­собами:

Когда состоится отставка правительства? (Крайний срок - дата следующих президентских выборов.)

Какова вероятность досрочной отставки правительства? (При этом четко указывается, какой временной период понимается под досрочной отставкой.)

Все вопросы должны быть сформулированы таким образом, чтобы ответы на них можно было дать в рамках порядковой или интервальной шкалы. Исключение составляет лишь иногда применяемый «бес­структурный этап», о котором мы поговорим отдельно.

Разумеется, такое ограничение несколько сужает возможности применения Дельфи. Тем не менее остается очень широкий спектр признаков, которые можно измерятв с его помощью. Например, для политической партии это:

Уровень поддержки на выборах (в процентах или голосах - интервальной уровень);

Влиятельность (порядковый уровень);

Сроки вхождения в альянс с другой политической партией (вре­мя - интервальный уровень);

Уровень поддержки со стороны тех или иных политических групп (порядковый уровень);

Уровень лояльности действующему главе государства (порядко­вый уровень);

Уровень выраженности в идеологии определенных позиций (ска­жем, насколько партия привержена либеральным ценностям - порядковый уровенв);

Стоимости реализации партией той или иной агитационной кам­пании (интервальный уровень) и т.д.

Метод Дельфи бывает очень полезен и для достижения сугубо исследовательских целей, например при конструировании сложного инструмента измерения определенного признака. К примеру, конст­руируя индекс политической влиятельности губернатора, мы введем в него подиндексы «поддержка главы государства», «поддержка со сто­роны населения региона», «лоббистские возможности» и ряд других. Каждый из этих подиндексов поддается прямому измерению. Но как понять, какой из них имеет больший вес при расчете итогового ин­декса влиятельности? Непосредственному измерению вес каждой из составляющих индекса, как правило, поддаваться не будет. И здесь нам на помощь приходят экспертные оценки, в первую очередь метод Дельфи. «Взвешивание» компонентов индекса - одна из задач, которые оптимально решать именно с помощью Дельфи.

Итак, проблема должна быть сформулирована как перечень во­просов, предполагающих ответ в виде оценки по порядковой или ин­тервальной шкале. Следующая важная задача организаторов экспер­тизы на подготовительном этапе - сформировать состав экспертной группы, т.е. определить ее численность и персональный состав.

Специфика метода Дельфи, связанная со статистической обработ­кой оценок и заочным характером взаимодействия экспертов, имеет прямое влияние на комплектование экспертной группы с точки зрения ее численности. Прежде всего, количество оценок (а значит, и количе­ство экспертов) должно быть статистически значимым. Мы не можем привлечь к процедуре Дельфи только трех экспертов, так как не смо­жем обработать их оценки. Соответственно, нижняя граница числен­ности экспертной группы - 7-9 человек. В то же время у нас не зада­на верхняя граница, так как нет необходимости собирать экспертов в одном месте. В реальной практике использования Дельфи есть приме­ры, когда в экспертизе участвовало несколько сотен специалистов. Конкретное их число будет определяться спецификой рассматривае­мой проблемы, общим числом компетентных экспертов, их техничес­кой доступностью и согласием на участие в экспертизе.

Также на подготовительном этапе определяется технический канал коммуникации с экспертами. На заре развития метода это была обыч­ная почта, в настоящее время - в основном электронная почта и фак­симильная связь.

Подготовив анкету и определив состав экспертов, можно присту­пать к проведению первого тура экспертизы. Возьмем задачу прогнозного типа. Предположим, нас интересует вероятность реали­зации определенного политического события, и единственным во­просом в анкете будет: «Оцените вероятность наступления события TV в период М, используя оценки в интервале от 0 до 1, где 0 - полная уверенность в том, что событие не произойдет, 1 - полная уверен­ность в том, что событие произойдет». Разумеется, в реальном иссле­довании вопросов и пояснений к ним было бы больше, однако в учеб­ных целях ограничимся самым простым видом анкеты.

Скажем, вопросе принимают участие девять экспертов. Соответст­венно, по итогам первого тура мы получим девять оценок вероятности реализации события N. Таким образом, мы имеем неупорядоченный числовой ряд из девяти элементов: (1; 0,2; 0,1; 0,1; 0,6; 0,8; 0,3; 0,5; 0,8).
В методе Дельфи основу статистической обработки оценок состав­ляет вычисление средней и вариации на порядковом уровне измере­ния, т.е. речь идет о вычислении медианы - середины ранжирован­ного числового ряда - и квартилей - четвертей ранжированного числового ряда. Ранжированный по возрастанию ряд в нашем случае будет иметь вид: (0,1; 0,1; 0,2; 0,3; 0,5; 0,6; 0,8; 0,8; 1).

Медиана равна 0,5, значение нижнего квартиля составляет 0,2; верхнего - 0,8 (М= Q2 = 0,5; Q1 = 0,2; Q3 = 0,8).

Применительно к методу Дельфи медиана показывает общее груп­повое мнение, а интервал между верхним и нижним квартилями (или квартальный ранг) - разброс мнений экспертов, или степень консолидированности обще: оценка группы составляет 0,5 (равновероятно), интервал между верх­ним и нижним квартилями равен 0,8 - 0,2 = 0,6, т.е. является очень большим. Исходя из такого значения квартильного ранга, можно кон­статировать, что мнение группы фактически не сформировалось, оценки очень сильно разбросаны.

Для вероятностных оценок есть дополнительный инструмент ин­терпретации общего группового мнения, выраженного в значении медианы. В теории вероятностей существует понятие неопределенно­сти, причем уровень неопределенности связан с уровнем вероятности следующим принципиальным образом:

Уровень неопределенности равен нулю в двух случаях: если веро­ятность события равна 0 и 1. Иными словами, неопределенность от­сутствует, когда мы полностью уверены либо в том, что событие реа­лизуется, либо в том, что оно не реализуется. Соответственно, максимального уровня неопределенность достигает в ситуации рав­новероятности - 0,5. По мере удаления от крайних значений (0 и 1) и приближения к значению 0,5 неопределенность возрастает.
Таким образом, по итогам первого тура экспертизы мы имеем не только большой разброс оценок, но и ситуацию максимальной неопределенности относительно наступления данного события в указанные сроки. Решение, которое принимается руководителями экспертизы, в данном случае однозначно: экспертиза должна быть продолжена.

Во втором туре экспертов знакомят с обобщенными результа­тами первого тура (разброс оценок, иногда средняя) и просят ответить на тот же самый вопрос о вероятности наступления события. Однако здесь возникает существенное дополнение: оценка должна быть до­полнена определенным набором аргументов. Технически здесь имеет­ся два варианта:

1. Аргументировать выставленную оценку просят всех экспертов.

2. Аргументацию просят только утех экспертов, чьи оценки выхо­дят за интервал между квартилями, т.е. являются крайними. В нашем случае это два эксперта, поставившие оценки 0 и 1, и один эксперт, поставивший оценку 1.

Второй вариант оптимален в случае, если к экспертизе привлекается сравнительно большое число экспертов и оценки существенной их час­ти оказываются вне интервала между квартилями. Тогда мы получим полноценный набор аргументов, с одной стороны, в пользу высокой, с другой - в пользу низкой вероятности реализации события. Получать аргументы тех экспертов, чьи оценки оказались внутри интервала, в та­кой ситуации большого смысла нет: их аргументация, скорее всего, будет комбинацией аргументов «крайних» экспертов.

Однако в нашем случае, когда число привлеченных экспертов не­велико и оценки всего трех из них находятся за пределами кварталь­ного ранга, целесообразно собрать аргументы всех экспертов. Аргу­менты формулируются экспертами в том же режиме, что и весь процесс экспертизы: заочно, анонимно и индивидуально. Собирает, обобщает и систематизирует аргументы группа организаторов проце­дуры Дельфи. Основное содержание этой работы: объединение сход­ных аргументов, удаление повторяющихся, разбиение всех аргумен­тов на две группы: в пользу повышения или понижения вероятности наступления события N.

В результате второго тура имеем:

Новые оценки экспертов. Они могут совпадать с оценками пер­вого тура, а могут и не совпадать. Как правило, от первого тура ко вто­рому оценки меняются незначительно, поскольку эксперты еще не успели ознакомиться с аргументацией своих коллег. Пусть в нашем случае получились следующие оценки: (0,1; 0,2; 0,2; 0,3; 0,6; 0,7; 0,8; 0,8; 0,9). Тогда статистика второго тура: М= 0,6; Q1 = 0,2; Q3 = 0,8; квартальный ранг = 0,6;

Два систематизированных перечня аргументов: в пользу повыше­ния и понижения оценки вероятности наступления события. Автор­ство аргументов не указывается.

Все полученные результаты доводятся до участников экспертизы (характерное проявление управляемой обратной связи), и начинается третий тур Дельфи. В третьем туре, как и во втором, от экспертов требуется вновь оценить вероятность события и дать перечень аргу­ментов. В пояснительной записке к анкете, как правило, указывает­ся, что от экспертов ждут либо новых аргументов, либо усиления, до­полнения или конкретизации аргументов, использованных во втором туре.

Обычно именно третий тур экспертизы по методу Дельфи являет­ся переломным: получив значительный объем информации от своих коллег по итогам второго тура, эксперты имеют больше оснований скорректировать собственные оценки. Общий «сдвиг» в результатах экспертизы должен быть значительно более существенным по сравне­нию со вторым туром.

Предположим, оценки третьего тура таковы: (0,1; 0,3; 0,5; 0,5; 0,7; 0,7; 0,8; 0,9; 0,9).

Статистика третьего тура соответственно: М= 0,7; Q1 = 0,5; Q3 = 0,8; квартальный ранг = 0,3.

Анализируя эту статистику, мы видим две принципиальные тен­денции:

Общее мнение группы сдвигается от равновероятной оценке в сторону повышения вероятности реализации события (0,7). При этом в оценке реализации события сокращается уровень неопреде­ленности;

Мнение группы становится более консолидированным. Интервал между квартилями по сравнению со вторым туром существенно со­кращается (0,6 и 0,3).

Итерации (новые туры) проводятся в Дельфи по тому же прин­ципу, что второй и первый тур. Решение об окончании экспертизы принимается тогда, когда смещения в оценках перестают быть сущест­венными. Так, если в четвертом туре мы имеем оценки: (0,1; 0,5; 0,6; 0,6; 0,7; 0,7; 0,8; 0,8; 0,8) и статистику: М = 0,7; Q1 = 0,6; Q2 = 0,8; квар­тальный ранг = 0,2, - можно констатировать, что групповое мнение сформировалось. Смещение оценок по сравнению с третьим туром незначительно, общее групповое мнение не изменилось, интервал между квартилями незначителен. Таким образом, эксперты в целом согласились, что вероятность наступления события N в указанные сроки составляет 0,7; его реализация «скорее вероятна».

Динамику развития экспертизы в методе Дельфи полезно пред­ставить визуально. На рисунке ниже хорошо видны «траектории» оценок экспертов, формирование более консолидированного мне­ния и общий сдвиг в сторону медианы 0,7. Хорошо видна также «изо­лированная позиция»: один из экспертов ни разу не изменил свою оценку (0,1), несмотря на ее сильное расхождение с общегрупповым мнением.

Экс­ Турі Тур 2 ТурЗ Тур 4
1 0,1 од 0,1 0,1
2 0,1 0,2 0,3 0,5
3 0,2 0,2 0,5 0,6
4 0,3 0,3 0,5 0,6
5 0,5 0,6 0,7 0,7
6 0,6 0,7 0,7 0,7
7 0,8 0,8 0,8 0,8
8 0,8 0,8 0,9 0,8
9 1 0,9 0,9 0,8

Возможны ситуации, когда сближение оценок либо не происходит, либо происходит на крайних полюсах. Такой случай можно увидеть в таблице и на рисунке ниже.

Тур 1 Тур 2 Тур 3 Тур 4
0,1 0,1 0,1 0,1
0,2 0,1 0,1 0,1
0,3 0,3 0,2 0,1
0,4 0,3 0,2 0,2
0,5 0,5 0,5 0,5
0,6 0,7 0,8 0,9
0,7 0,8 0,8 0,9
0,8 0,8 0,9 1
1 1 1 1
Тур 1 Тур 2 Тур 3 Тур 4
Q1 0,3 0,3 0,2 0,1
м 0,5 0,5 0,5 0,5
Q3 0,7 0,8 0,8 0,9

id="Рисунок 29" src="/files/uch_group28/uch_pgroup17/uch_uch327/image/46.jpg">

В данном случае результат экспертизы - медиана четвертого ту­ра 0,5 - если что-то и отражает, то только максимальный уровень неопределенности. Оценки экспертов четко консолидированы на полюсах очень высокой и очень низкой вероятности реализации со­бытия. Полученная итоговая статистика для нас практически бес­полезна, однако нельзя сказать, что проделанная работа была полностью напрасной. В ходе процедуры Дельфи мы сумели по крайней мере четко определить полярные позиции и сопутствую­щие им аргументы, что понадобится в процессе дальнейшего анали­за ситуации.

Среди модификаций Дельфи по сравнению с описанной выше традиционной процедурой следует отметить введение в экспертизу бесструктурного этапа. Эта техника применяется в том случае, когда исследование носит поисковый характер, инициаторы экспертизы не вполне готовы с ходу операционализировать проблему до уровня кон­кретных вопросов, предполагающих ответ в количественной форме. Тогда к процедуре формулировки проблемы и подготовки инструмен­тария привлекаются эксперты.

Например, мы хотим получить прогнозный перечень партий, ко­торые смогут пройти в Государственную думу, преодолев загради­тельный барьер. Но исследование проводится до начала официаль­ного старта избирательной кампании, и мы не уверены, что составленный нами список партий - претендентов на места в пар­ламенте является полным, так как далеко не все заявили о намере­нии участвовать в выборах. В этой ситуации можно воспользовать­ся бесструктурным этапом: в первом туре предложить экспертам

(каждому индивидуально) составить список всех партий, которые могут претендовать на прохождение заградительного барьера. Ни­каких количественных оценок для бесструктурного этапа не пред­полагается - именно поэтому он называется бесструктурным. По­лучив перечни партий от каждого из экспертов, организаторы экспертизы сводят их в единый список и далее переходят к стан­дартной процедуре: просят дать экспертную оценку прогнозируе­мого результата каждой из партий на предстоящих выборах (в дан­ном случае в процентах голосов).

Еще одна модификация Дельфи ориентирована на сокращение времени, затрачиваемого на экспертизу. Из изложенного следует, что метод Дельфи при всех его достоинствах достаточно громоздок и требует значительных временных ресурсов. Методика экспресс-Дельфи сохраняет все базовые принципы классического подхода, но предполагает выполнение всей процедуры за несколько часов, что требует соответствующего технического обеспечения. Каждый эксперт в течение отведенного на экспертизу времени находится за индивидуальным компьютерным терминалом; все терминалы объ­единены в общую сеть, замкнутую на руководителя экспертизы. От организаторов экспертизы требуется особая оперативность в обра­ботке оценок и систематизации аргументов, так как все итерации должны уложиться в сравнительно ограниченный промежуток вре­мени.

Недостаток экспресс-Дельфи по сравнению с традиционной про­цедурой очевиден. Эксперту не дается времени действительно глубо­ко обдумать предложенную проблему, обстоятельно проанализиро­вать позиции и аргументы других членов группы. Кроме того, методика сложна организационно и технически.

Метод Дельфи представляет собой ряд последовательно осуществляемых процедур, направленных на подготовку и обосно­вание прогноза. Эти процедуры характеризуются анонимностью (независимостью ответов экспертов) опроса, регулируемой об­ратной связью между результатами опроса предыдущего этапа и подготовкой их нового варианта, а также групповым характе­ром ответа.

Регулируемая обратная связь осуществляется путем проведения нескольких туров опроса экспертов , на каждом из которых характеристики их ответов обрабатываются с помощью математико-статистических методов и результаты сообщаются анонимно.

Групповой ответ формируется путем обработки и анализа результатов ответов экспертов. Критерием окончания его разработки, как правило, служит «близость» мнений экс­пертов.

Недостаток метода Дельфи заключается в том, что он не по­зволяет сталкивать в споре различные мнения и стимулировать тем самым возникающее при личном контакте «генерирование» идей. Кроме того, при экспертизе по методу Дельфи необходимо значительное время.

Рассмотрим порядок проведения экспертного опроса по методу Дельфи.

1. Отбор специалистов для участия в экспертизе начинается с составления списка компетентных в соответствующих облас­тях лиц. Этот список служит основой для выбора экспертов с помощью специальных методов оценки их качеств. Известны четыре группы таких методов: самооценки, оценки группой каждого специалиста, оценки специалиста на основе результа­тов его прошлой экспертной деятельности, методы определения компетентности .

При методе самооценок специалисты оценивают по предлага­емой анкете свои способности (зрительную память, настойчивость, способность к аналитическому мышлению, сообразительность, внимание, активность, эрудицию и многое другое) по пятибалль­ной шкале.

Организаторы экспертизы рассчитывают средние значения по каждой характеристике, для группы экспертов в целом. В зависимости от их значений состав группы может ме­няться. Практический опыт показывает, что группы с высокой самооценкой ошибаются в своих экспертных суждениях меньше других: средняя групповая ошибка уменьшается с ростом средней самооценки. С помощью самооценок определяют компетент­ность эксперта, оценивая аргументы, с помощью которых он обосновывал свои ответы, а также степень его знакомства с ис­следуемом проблемой.

В тех случаях, когда эксперты знают друг друга, наряду с самооценкой используют метод коллективной оценки каждого из них остальными членами группы. Коллективные оценки обычно менее точны, чем самооценки. Поэтому, как правило, использу­ются оба метода: организаторы экспертизы предлагают каждому из кандидатов заполнить опросные листы на себя и на других участников опроса.



Более объективными оказываются методы, основанные на использовании результатов прошлой экспертной деятельности специалиста. Они применяются, когда имеются данные о резуль­татах участия специалиста в экспертизах в прошлом. Одним из таких методов является определение степени надежности экспер­та, которое представляет собой частное от деления правильных оценок к общему числу оценок эксперта.

Определить оптимальную численность экспертной группы до­вольно трудно. Наиболее простой способ - установление ее ми­нимальной численности. Минимальное количество специалистов должно соответствовать количеству рассматриваемых проблем. Верхняя оценка численности экспертной группы определяется как потенциально возможное и достаточное число экспертов.

2. Общая схема проведения экспертизы по методу Дельфи со­стоит в следующем.

На первом туре эксперты дают ответы на поставленные вопросы, как правило, без аргументации. Ответы обрабатываются, определяются их статистические характеристики (средняя, среднеквадратическое отклонение, крайние значения ответов) и результаты обработки сообщаются экспертам.

После этого проводится второй тур опроса, в ходе которого экспер­ты должны объяснить, почему они изменили или не изменили своего мнения.

Данные обработки результатов второго тура опроса и аргу­ментация ответов с сохранением анонимности снова сообщаются экспертам перед проведением третьего тура опроса.

Последу­ющие туры проводятся по такой же схеме. Подобная организация экспертизы позволяет экспертам учесть в своих ответах новые для них обстоятельства и в то же время избавляет их от какого бы то ни было давления при отстаивании своей позиции.

Как правило, на практике оказывается достаточным прове­дение четырех туров опросов . После чего мнения всех экспертов либо сближаются, либо образуют две (или больше) группы су­щественно различающихся мнений. В первом случае достигнутый результат со значительной степенью обоснованности может быть рассмотрен в качестве прогнозного решения, во втором - не­обходимо продолжить исследование проблем развития объекта с учетом выдвигаемой различными группами аргументации.

Метод Дельфи имеет несомненные преимущества по срав­нению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквали­фицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет по­лучения новой информации от своей группы.

Существует несколько модификаций метода Дельфи, в кото­рых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т. п. Для удобства обработки информации все моди­фикации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.

Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз пу­тем создания автоматизированных систем обработки результатов опроса.

Техническая реализация такой системы основана на ис­пользовании компьютерной сети по схеме «клиент-сервер». Это обеспечивает представление вопросов экспертам (общающимся с сервером посредством Интернета или выделенного канала), сбор и обработку результатов ответов на выделенном сервере, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.

Кроме того, некоторые специалисты считают, что пред­положение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано. Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.

Метод Дельфи впервые был описан в «Докладе об изуче­нии долгосрочного прогнозирования» американской корпора­ции «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия.

За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом. Благодаря развитию теле­коммуникационных технологий его применение существенно упростилось по сравнению с той длительной бюрократической процедурой, которую он представлял собой вначале. В нашей стране в последнее время он довольно успешно применяется в предпринимательской деятельности, при разработке комплекс­ных, затрагивающих различные сферы социума проектов. Метод Дельфи используется, как правило, в сочетании или в качестве составляющей части в сложных методиках синтеза управлен­ческих решений.

Метод «мозгового штурма»

От метода Дельфи по организации работы экспертов прин­ципиально отличается метод, получивший название «мозговой штурм », который также называют методом «мозговой атаки», методом коллективной генерации идей.

В основе метода лежит предположение, что при генерации идей в непринужденной обстановке стимулируется творческая активность и что среди множества идей хотя бы одна содержит рациональное зерно. Этот метод подразумевает получение решения как продукта кол­лективного творчества специалистов в ходе заседания-сеанса, проводимого по определенным правилам, и последующего ана­лиза его результатов.

Можно выделить следующие типы «мозгового штурма»:

1) дискуссия - обсуждение спорного вопроса; исследование проблемы, в котором каждая сторона, оспаривая мнение собесед­ника, аргументирует свою позицию и претендует на достижение цели;

2) аподиктическая дискуссия - дискуссия, основанная на зако­нах мышления и правилах вывода, цель которой - достижение аргументированной истины;

3) деловая беседа - специфическая форма контактов между людьми, имеющими полномочия от своих организаций, в ходе которой происходит обмен мнениями и целенаправленное обсуж­дение конкретной проблемы с целью поиска взаимовыгодного варианта решения;

4) софистическая дискуссия - дискуссия с целью победить лю­бым путем, в том числе посредством манипулирования словами и понятиями, введением собеседника в заблуждение и т.д.;

5) коллективная генерация идей - получение решения как продукта коллективного творчества специалистов в ходе заседания-сеанса, проводимого по определенным правилам, и последующего анализа его результатов. Это метод стимуляции творческой активности и продуктивности, при котором каждый участник определенной груп­пы высказывает на предложенную тему любые мысли, не контроли­руя и не оценивая их, после чего проводится анализ высказанных идей с целью отбора наиболее удачных решений.

Для создания стимулирующей творчество атмосферы могут использоваться различные методы: от начис­ления баллов до включения в творческий коллектив участников-мужчин привлекательных женщин. Его сущность состоит в том, что при обосновании прогноза дифференцированно решаются две задачи:

генерирование максимально возможного количества идей в отношении возможных вариантов развития процесса вне зависимости от степени их конструктивности (вплоть до аб­сурда);

всесторонний анализ, оценка и дифференциация выдвинутых идей по критерию их продуктивности.

Обычно все специалисты в ходе заседания разделяются на две группы, состоящие из одних и тех же или разных представителей, так, что одна группа генерирует идеи, а вторая - их анализирует.

При этом в ходе заседания

- запрещается высказывать любые кри­тические оценки ценности идеи;

- приветствуется выдвижение как можно большего их количества , поскольку предполагается, что вероятность появления действительно ценной идеи повышается с увеличением их общего числа;

- поощряется свободный обмен мнениями , т. е. высказанные мысли должны подхватываться и развиваться и т. п.

Ходом заседания руководит по возможнос­ти беспристрастный ведущий. Его задача состоит в том, чтобы направлять развитие дискуссии в нужное русло, к достижению заданной цели, не сбиваясь на беседу, соревнование в остроумии и т. п. В то же время он не должен навязывать участникам дис­куссии снос мнение, ориентировать их на определенный способ мышления.

Роль ведущего в поиске решения с помощью метода «моз­гового штурма» чрезвычайно велика. Он должен следить за тем, чтобы эксперты при выработке решения не встали на путь компромиссов и взаимных уступок. Дело в том, что психологи­чески для группы как единого организма проблема достижения соглашения часто оказывается более важной, чем разработка тщательно продуманного и полезного прогноза.

Может случить­ся так, что в силу чрезмерной активности один или несколько членов группы, обладающие даром убеждения, могут направить всю группу по ложному пути. Группа может оказать давление на своих членов, вынуждая отдельных специалистов соглашаться с большинством, даже если каждый из них понимает, что такая точка зрения ошибочна. Именно от этих опасностей и должен уберечь группу ведущий. Кроме того, он должен обладать боль­шой творческой активностью, доброжелательностью, глубоким пониманием содержания проблемы и поставленных целей, способностью организовать и поддерживать высокий тонус интел­лектуальной атмосферы.

Особое значение в этом методе придается вопросам фор­мирования группы экспертов. При неудачном подборе группа может разделять общее предубеждение, и прогноз в этом случае оказывается предрешенным без проведения глубокого анали­за проблемы. Вследствие этого нежелательна слишком тесная связь между членами группы . Никто из них не должен «давить» на окружающих своим высоким авторитетом, и потому экспер­тов целесообразно подбирать из людей, занимающих примерно одинаковое служебное и общественное положение.

При этом они должны быть специалистами в различных областях знаний, обладать разным практическим опытом. Главный критерий формирования группы - способность потенциальных кандидатов к научному воображению, наличие у них развитой интуиции, отсутствие склонности к устоявшимся догмам, интеллектуальная раскованность, разнообразие знаний и научных интересов. Для этого применяются методы специального тестирования, оцени­ваются такие позитивные качества кандидата как увлеченность, коммуникабельность, независимость.

При проведении «мозгового штурма» строго соблюдается принцип запрещения всякой критики. Критика идей осуществля­ется в неявной форме, скорее можно говорить даже не о критике, а о степени поддержки каждой идеи. Более сильная идея должна получать и большую поддержку . Запрещается также обосновывать выдвигаемые идеи, «присоединяться к мнению», «объяснять» свои или чужие идеи. Разрешается и даже поощряется выдвижение нереальных, фантастических идей.

Соблюдается регламент времени на выдвижение идей. Это способствует выдвижению их на основе внезапного, спонтанного озарения и одновременно снижает возможность «зацикливания» в противоречиях, снятию неуверенности, различных психологи­ческих комплексов.

После проведения заседания наступает второй этап разра­ботки прогноза , состоящий в анализе его результатов, выборе и обосновании окончательного решения. В ходе его выдвинутые предположения классифицируются по определенным критериям, оцениваются по принятой шкале значимости. При этом ни одна идея не должна исключаться из анализа. Все идеи должны быть классифицированы и обобщены.

Высокому качеству анализа и оценки способствуют предельно четкие критерии, которыми должны руководствоваться все члены аналитической группы.

Главные критерии : соответствие цели исследования, рациональ­ность, реальность, обеспеченность ресурсами . Особое внимание необходимо обращать на ресурс времени. Иногда высказанные идеи целесообразно конкретизировать, уточнить, дополнить. Если возможности формализации решений достаточно велики, то на этапе анализа целесообразно использовать и математико-статистические методы обработки их количественных характеристик.

Метод «мозгового штурма» рекомендуется использовать в практических ситуациях, характеризующихся отсутствием ре­альных, достаточно очевидных вариантов развития процессов в перспективе. Наиболее часто он применяется на уровне круп­ных фирм, концернов для анализа ситуации, складывающейся на рынке, для определения круга мероприятий по преодоле­нию «барьеров».

Известны случаи его использования военными организациями при прогнозировании конфликтных ситуаций, в области развития вооружения. Этот метод также используется в более крупных прогнозных системах для осуществления ана­литических функций при поиске вариантов решений. Метод «мозговой атаки» весьма эффективен при составлении прогноза размещения производительных сил в регионе (особенно объектов производственного и культурно-бытового назначения), опреде­лении сроков замены оборудования.

Метод «сценариев»

Методы подготовки и со­гласования представлений о проблеме или анализируе­мом объекте, изложенных в письменном виде , получили название сценариев. Первоначально этот метод предпо­лагал подготовку текста, содержащего логическую после­довательность событий или возможные варианты реше­ния проблемы, развернутые во времени. Однако позднее обязательное требование временных координат было снято, и сценарием стали называть любой документ , со­держащий анализ рассматриваемой проблемы и предло­жения по ее решению или по развитию системы, неза­висимо от того, в какой форме он представлен. Как пра­вило, на практике предложения для подготовки подоб­ных документов пишутся экспертами вначале индивиду­ально, а затем формируется согласованный текст.

Метод сценариев имеет в своей основе все тот же механизм письменного опроса экспертов, перед которыми ставится задача описания возможного развития процесса, системы, каких-то ее особенностей и т. п.

В современном понимании сценарий - это имеющее низкий уровень форматизации структурированное текстовое описание некоторой проблемы и путей ее решения, представленное в виде совокупности разделов, между которыми установлены опреде­ленные логические отношения.

В ходе разработки сценария , под которым, как это было от­мечено выше, понимается гипотетическая картина последова­тельного развития во времени и пространстве событий, состав­ляющих в совокупности эволюцию прогнозируемого процесса , экспертам приходится отвечать на следующие основные группы вопросов.

1. Как элементы и характер связи между ними влияют на структуру изучаемого процесса?

2. Каков характер взаимодействия элементов с внешней сре­дой?

3. Какова цель развития процесса и какие моменты являются определяющими при ее формировании?

4. Какие тенденции развития ожидаются у элементов и ка­кими факторами и условиями они определяются?

5. Какие проблемные ситуации могут встретиться в развитии процесса в направлении предполагаемой (заданной) цели?

6. В какой степени возможно управление развитием, каковы ожидаемые последствия различных вариантов управления?

По результатам ответов на подобные вопросы разрабатыва­ется описательная (дескриптивная) модель процесса, которая обычно формализуется, и на ней просматриваются возможные альтернативные варианты его развития.

Таким образом, сценарий является некоторой условной оцен­кой возможного пути развития достаточно сложного процесса, поскольку он разрабатывается в рамках предположений о его будущих состояниях, которые однозначно непредсказуемы.

Сценарий предусматривает не только содержатель­ные рассуждения, помогающие не упустить детали, ко­торые невозможно учесть в формальной модели (в этом собственно и заключается основная роль сценария), но и содержит, как правило, результаты количественного тех­нико-экономического или статистического анализа с предварительными выводами. Группа экспертов, подго­тавливающая сценарий, пользуется обычно правом по­лучения необходимых справок от предприятий и органи­заций, необходимых консультаций.

На практике по типу сценариев разрабатывались прог­нозы в отраслях промышленности. Разновидностью сце­нариев можно считать комплексные программы научно-техническою прогресса и его социально-экономических Последствий,

Роль специалистов по системному анализу при подго­товке сценария - помочь привлекаемым ведущим спе­циалистам соответствующих областей знаний

Выявить общие закономерности системы;

Проанализировать внеш­ние и внутренние факторы, влияющие на ее развитие и формирование целей;

Определить источники этих факто­ров;

Проанализировать высказывания ведущих специали­стов в периодической печати, научных публикациях и других источниках научно-технической информации;

Соз­дать вспомогательные информационные фонды (лучше автоматизированные), способствующие решению соответ­ствующей проблемы.

В последнее время понятие сценария все больше расширяется в направлении как областей применения, так и форм представления и методов их разработки: в сценарий вводятся количественные параметры и уста­навливаются их взаимозависимости, предлагаются мето­дики подготовки сценария с использованием ЭВМ (ма­шинных сценариев), методики целевого управления подготовкой сценария.

Сценарий позволяет создать предварительное пред­ставление о проблеме (системе) в ситуациях, когда не удается сразу отобразить ее формальной моделью. Но все же сценарий - это текст со всеми вытекающими по­следствиями (синонимия, омонимия, парадоксы), свя­занными с возможностью неоднозначного его толкова­ния разными специалистами. Поэтому такой текст сле­дует рассматривать как основу для разработки более формализованного представления о будущей системе или решаемой проблеме.

МИНИСТЕРСТВО ЭКОНОМИЧЕСКОГО РАЗВИТИЯ И ТОРГОВЛИ РОССИЙСКОЙ ФЕДЕРАЦИИ

НИЖЕГОРОДСКИЙ КОММЕРЧЕСКИЙ ИНСТИТУТ

Реферат на тему:

МЕТОД «ДЕЛЬФИ»

Выполнила:

Студентка 4-1ЭФ гр.

Мальцева Я.В.

Проверила:

Желонкин В.В.

Нижний Новгород

Введение

Метод Дельфи - многоэтапный метод, предусматривающий первоначальное изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.

Получаемые посредством данных методик оценки носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам при составлении прогноза доли рынка на последующие периоды. Кроме того, метод внутреннего и внешнего экспертного прогнозирования характеризуется определенной степенью субъективности.

Надежность метода "Дельфи" считается высокой при прогнозировании на период как от 1 до 3 лет, так и на более отдаленный период времени. В зависимости от цели прогноза для получения экспертных оценок может привлекаться от 10 до 150 экспертов.

Качественный подход позволяет оценить специфику каждой конкретной ситуации. В некоторых случаях внимательное исследование различных специфических элементов, определяющих ситуацию, может быть более важным, чем проведение систематической количественной оценки. Большим недостатком этого метода является чрезмерная субъективность оценок. Старые стереотипы иностранного общества могут сыграть роковую роль при принятии решений. Дж. Саймон оценил этот подход как “спорадический, основанный на селективном, неконтролируемом восприятии или идеологических и личностных пристрастиях”.

Область применения экспертных методов.

Методы экспертных оценок нашли широкое применение в прогнозировании и перспективном планировании, там, где отсутствуют достаточно достоверные статистические данные об изучаемом вопросе, где имеется несколько вариантов решений и необходим выбор наиболее предпочтительного из них. Также эти методы применяются при разработке новых программ в отраслях промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках.

При анализе и прогнозировании экономической ситуации возникает ряд трудностей:

Невозможность точного предсказания последствий принимаемых решений;

Неповторяемость и невозможность экспериментальной проверки предполагаемого хода и результатов решения;

Наличие факторов, которые не поддаются контролю со стороны принимающего решения;

Наличие нескольких возможных путей решения и необходимость выбора одного из них;

Неполнота исходной информации, на основе которой приходится формировать проблему и принимать решение (часто исходная информация имеет качественный характер и не поддается количественному измерению).

Предпосылками использования экспертизы являются:

Недостаточность и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;

Стохастический (вероятностный) характер объекта информации;

Сложность и новизна проблем.

Организация экспертизы проводится в несколько этапов:

1.Определение целей и задач экспертизы.

2.Выбор процедуры проведения экспертизы.

3.Отбор и формирование группы экспертов.

4.Организация самой процедуры экспертизы;

5.Обработка информации.

6.Принятие решения по результатам экспертизы.

Определение целей и задач экспертизы

Сначала ставится проблема – определяется предыстория, рассматриваются доводы в пользу ее решения, происходит обсуждение со всеми заинтересованными лицами. Главное здесь – распознать мнимые проблемы. Поэтому при постановке проблемы необходима гласность и обсуждение.

После того как проблема обоснована определяются границы ее существования, совокупность внутренних и внешних факторов, влияющих на проблему. Для этого выделяется центральный вопрос и расщепляется на подвопросы. При этом пытаются ограничить поле только теми вопросами, без которых нельзя получить ответ на центральный вопрос. Далее формулируются цели и задачи реализации выбранной проблемы. Таким образом, выбираются главные события, факторы, центральные и второстепенные вопросы.

Необходимо иметь в виду – с увеличением детализации – увеличивается точность экспертизы, НО снижается согласованность мнений экспертов.

Организаторы проведения экспертизы выбирают процедуру осуществления экспертизы. Известны различные подходы к этому вопросу. Можно проводить

-индивидуальный или групповой опрос,

-очный или заочный;

-открытый или закрытый.

Индивидуальный опрос заключается в интервьюировании эксперта и позволяет максимально использовать способности и знания каждого эксперта.

Групповой – при этом методе эксперты могут обмениваться мнениями, могут учесть упущенный момент каждым из них, скорректировать свою оценку. Недостаток группового мнения заключается в сильном влиянии авторитетов на мнения большинства участников экспертизы, в трудности публичного отказа от своей точки зрения, психологической несовместимости некоторых участников экспертизы.

Из методов группового опроса используют:

различные модификации метода Дельфи.

Методы Дельфи характеризуются следующими чертами:

· анонимность мнений экспертов;

· регулируемая обработка, связь, которая осуществляется аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;

· групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и наиболее часто используется в технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции. Это групповой метод при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет анонимно, т.е. личные контакты экспертов и коллективные обсуждения исключаются. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Применение метода Дельфи можно проиллюстрировать на следующем примере №1 : компания, занимающаяся морским нефтяным промыслом хочет получить информацию о том, когда можно будет использовать роботов вместо водолазов для проверки платформ под водой. Для начала прогнозирования по этому методу компания должна войти в контакт с рядом экспертов. Эти эксперты должны быть представителями самых разных областей данной отрасли промышленности, включая водолазов, инженерно-технических работников из нефтяных компаний, капитанов кораблей, инженеров по техобслуживанию и конструкторов роботов. Им объясняется стоящая перед компанией задача, и каждого эксперта спрашивают, когда по его мнению можно будет заменить водолазов роботами. Первые ответы дадут, вероятно, очень большой разброс данных, например, от 2000 до 2050 года. Эти ответы обрабатываются и возвращаются экспертами. При этом каждого эксперта просят пересмотреть свою оценку в свете ответов других экспертов. После повторения этой процедуры несколько раз мнения могут сблизиться, так что около 80% ответов даст срок от 2005 до 2015 года, что будет достаточным для целей планирования производства и реализации роботов.

Метод Дельфи назван в честь дельфийского оракула в Древней Греции. Он разработан Олафом Хельмером, видным математиком из корпорации “РЭНД”, и его коллегами и вероятно поэтому, по сравнению с другими творческими подходами, дает достаточную точность прогноза.

Метод Дельфи относится к классу количественных методов групповых экспертных оценок. Опрос экспертов проводится в 3-4 тура, состоящих из серии анкет, вопросы конкретизируются от тура к туру. Для проведения этого метода необходимо также создать аналитическую группу, которая после каждого тура производит статистическую обработку полученной информации.

Прежде всего, аналитики определяют область предпочтительных количественных значений объектов.

После такой проверки проводится очередной тур. Процедуру экспертного опроса по методу "Дельфи" можно выделить в несколько этапов.

ЭТАП 1. ФОРМИРОВАНИЕ РАБОЧЕЙ ГРУППЫ

Задача рабочей группы заключается в организации процедуры экспертного опроса.

ЭТАП 2. ФОРМИРОВАНИЕ ЭКСПЕРТНОЙ ГРУППЫ.

В соответствии с методом "Дельфи" группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

ЭТАП 3. ФОРМУЛИРОВАНИЕ ВОПРОСОВ

Формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

ЭТАП 4. ПРОВЕДЕНИЕ ЭКСПЕРТИЗЫ

Метод "Дельфи" предполагает повторение нескольких шагов проведения опроса.

ЭТАП 5. ПОДВЕДЕНИЕ ИТОГОВ ОПРОСА

Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель квартиль. Значение квартиля равно ¼ разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как минимальная оценка минус значение квартиля, максимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку.

Пример № 2 : Проблема – оценить уровень спроса на товар А в 2003 году. Приглашены 10 экспертов. Каждый эксперт получил анкету с описанием товара и предполагаемого рынка сбыта. Экспертам предложено дать себе индивидуальную самооценку в баллах в диапазоне от 0 до 10. Уровень спроса предлагается оценить в % (процентах) в диапазоне от 0 до 100.

Каждый эксперт работает самостоятельно и анонимно. После 1-го тура от экспертов были получены следующие результаты:

Аналитическая группа проводит следующий расчет:

Среднегрупповая самооценка равна = (10+8+…+9,9) : 10 = 8,61

Среднее значение спроса (простая оценка) равна (90+100+…+80) :10 =83,5%

Медиана в данном случае при четном числе экспертов рассчитывается как среднеарифметическое значение между серединными оценками и будет равна Ме = (80+80):2=80 [замечание: оценки экспертов по уровню спроса располагаются по возрастанию]

Область доверительности рассчитается следующим образом:

Определяется минимальная оценка из набора экспертизы – 60%;

максимальная оценка -100%.

Квартиль будет равна (100-60):4=10%.

Следовательно, нижняя граница доверительной области будет равна 60+10=70%,

верхняя граница будет равна 100-10=90%.

Рис. Область доверительности

Все полученные результаты предлагаются на рассмотрение экспертам. Если эксперты считают целесообразным откорректировать свое мнение, то они передают свои коррективы аналитической группе. И аналитическая группа рассчитывает новые результаты по тому алгоритму, который был рассмотрен выше.

Итоговое обобщенное мнение является основой для прогноза по уровню спроса на данный товар А.

При использовании метода «Дельфи» следует учитывать следующее:

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов должно быть не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

Метод Дельфи применим практически в любой ситуации, требующей прогнозирования, в том числе если для принятия решения недостаточно информации.

Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.

Но у него есть недостатки - например, субъективность мнений специалистов, участвующих в опросе, он не позволяет сталкивать в споре мнения экспертов и на него затрачивается много времени.

Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса. Техническая реализация такой системы основана на использовании ЭВМ с внешними терминалами (дисплеями). ЭВМ обеспечивает представление вопросов экспертам (общающимся с ней через их персональные дисплеи), сбор и обработку результатов ответов, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.

Кроме того, некоторые специалисты считают, что «предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано». Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.

Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия. За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом.

В частности, в нашей стране данный метод применялся для определения основных направлений научных исследований в области средств вычислительной техники и прогнозирования их характеристик, для оценки перспектив развития отраслей. В последнем случае с помощью данного метода могут быть решены следующие задачи:

Определение сроков выполнения работ от выдачи технического задания на работу до начала эксплуатации объекта;

Определение приоритетных направлений развития предприятий отрасли (по технологии производства, важнейшим экономическим характеристикам - объему производства, числу занятых, объемам фондов и т.п.);

Определение критериев оценок значимости научных разработок и др. От метода Дельфи по организации работы экспертов принципиально отличается метод, получивший название «мозговой штурм», который также называют методом «мозговой атаки», методом коллективной генерации идей. Этот метод подразумевает получение решения как продукта коллективного творчества специалистов в ходе заседания-сеанса, проводимого по определенным правилам, и последующего анализа его результатов. Его сущность состоит в том, что при обосновании прогноза дифференцированно решаются две задачи:

Генерирование новых идей в отношении возможных вариантов развития процесса;

Анализ и оценка выдвинутых идей.

Обычно все специалисты в ходе заседания разделяются на две группы, состоящие из одних и тех же или разных представителей так, что одна группа генерирует идеи, а вторая - их анализирует. При этом в ходе заседания запрещается высказывать любые критические оценки ценности идеи; приветствуется выдвижение как можно большего их количества, поскольку предполагается, что вероятность появления действительно ценной идеи повышается с увеличением их общего числа; поощряется свободный обмен мнениями, т.е. высказанные мысли должны подхватываться и развиваться и т.п. Ходом заседания руководит беспристрастный ведущий. Его задача состоит в том, чтобы направлять развитие дискуссии в нужное русло, к достижению заданной цели, не сбиваясь на беседу, соревнование в остроумии и т.п. В то же время он не должен навязывать участникам дискуссии свое мнение, ориентировать их на определенный способ мышления.

Для России формулирование целей и отработка методов отбора приоритетов государственной научно-технологической политики имеет особое значение. Хотя составление комплексных прогнозов научно-технического развития страны и мира в СССР началось еще в начале 1970-х годов, основными ориентирами для них служили интересы оборонного сектора и партгосаппарата. В настоящее время цели развития безусловно расширились, но соответствующая им процедура выбора приоритетов не разработана, не согласована, не имеет нормативной базы и традиций. В этих условиях при выборе приоритетов и получении соответствующей финансовой и правовой поддержки могут возобладать смещенные и узкие интересы ведомств, ВПК, регионов или чьи либо иные, в то время как интересы государства в целом не будут приниматься в расчет. В этих условиях отработка процедуры выбора приоритетов и изучение опыта других стран крайне важны.

В большинстве развитых стран для определения приоритетов научно-технического развития в процессе прогнозирования и принятия решений о финансировании крупных государственных программ используются следующие методы:

o Составление перечня критических технологий.

o Экспертиза

Технологический прогноз, основанный на методе Дельфи , - это попытка предсказать развитие той или иной технологии на длительную перспективу (20-30 лет). Разработанная впервые в 50-х годах RAND Corp., техника метода Дельфи была использована впервые для целей национального и отраслевого технологического прогнозирования Японией (с 1970 г. выполнено уже 6 исследований), а впоследствии, и в значительной степени по японскому образцу, Германией, Францией, Великобританией, Испанией, Австрией, Южной Кореей преимущественно в течение последнего десятилетия (можно говорить о буме этого метода в 90-е годы).

Метод Дельфи заключается в оценке технологий экспертами, (их число различалось от 123 человек в Испании, до 25 тысяч на первом этапе - в Южной Корее) на основе предлагаемых схем, включающих несколько позиций, в том числе уровень научно-исследовательской активности по данному направлению, участие в создании национального богатства, повышении качества жизни и конкурентоспособности, ожидаемые сроки реализации новых достижений. Двух-четырехступенчатая процедура оценки позволяет экспертам уточнить или пересмотреть свою точку зрения с учетом мнения коллег и выработать в результате согласованную, действительно коллективную позицию по всему кругу поставленных вопросов, число которых на первом этапе, как правило, превышает тысячу.

Прогнозирование по методу Дельфи оказывается эффективным и в достижении ряда других, принципиально важных для выявления приоритетов, результатов. Это познавательный эффект, обучение и расширение кругозора экспертов - участников опроса, картирование компетенций в отдельных дисциплинах, технических областях и странах, выработка консенсуса представителей различных секторов научно-технической сферы и, что не менее важно, стимулирование широкого обсуждения научной общественностью тенденций научно-технологического развития своей страны и мира.

Япония имеет не только наиболее длительную историю прогностических оценок технологического развития своей страны и мира, но и наиболее эффективную практику использования этих прогнозов для общей ориентации национальной научно-технической сферы, тем более интересную, поскольку доля государства в финансировании национальной науки никогда не превышала 20-25%. Управление науки и техники, координирующее через стратегические исследовательские программы фундаментальные и прикладные исследования других ведомств, несет ответственность и за технологическое прогнозирование.

Опрос по методу Дельфи проводится каждые пять лет с временным диапазоном до 30 лет, постепенно охватывая все области науки и техники. Если первый опрос, прогнозировавший на период 1970-2000 гг., смог охватить 5 направлений и 644 темы, то последний, охватывающий период 1996-2025 гг., уже включал 14 направлений и 1072 темы:

o материалы и их обработка;

o информатика;

o электроника;

o науки о жизни;

o здравоохранение и социальное обеспечение;

o изучение и использование космического пространства;

o науки о Земле и океанология;

o энергетика и природные ресурсы;

o экология;

o сельское хозяйство, лесная промышленность и рыбоводство;

o промышленное производство;

o урбанизация и строительство;

o транспорт.

Респондентам последнего опроса предлагалось оценить технологические темы с точки зрения их вклада в социально-экономическое развитие, улучшение качества жизни и решение экологических проблем, а также их значение в целом. Участники опроса должны были определить временной диапазон, в течение которого перечисленные технологии будут реализованы как в Японии, так и других ведущих странах, а также очертить круг мер, которые необходимо для этого предпринять государственным властным структурам.

Во Франции в начале 1994 г. при использовании метода Дельфи было проведено широкое обследование перспектив развития 15 основных научно-технических направлений (электроника, физика элементарных частиц, проблемы окружающей среды, урбанизации и т.д.). Для экспертных оценок было привлечено свыше 1 000 специалистов из различных секторов экономики - 45% представители промышленной науки, 30% государственных НИИ и 25% сотрудники университетов, что в целом отражало структуру научного сектора экономики Франции. Этому же принципу следовали при формировании групп экспертов и большинство стран, начинающих работу над прогнозами и приоритетами.

В 1991 г. Министерство исследований и технологии Германии провело сравнительный анализ оценок японских и немецких экспертов, используя японский вопросник. Результаты в целом показали сходство позиций экспертов для двух стран относительно развития перспективных технологий, хотя и выявились определенные различия, отражающие национальную культурную и промышленную специфику этих стран.

В Великобритании с 1994 г. также началось использование метода Дельфи для выбора национальных научно-технических приоритетов. Однако, в отличие от Германии и Франции, страна не пошла по пути копирования японского опыта (например, во Франции при опросе ученых-экспертов в качестве приоритетного ставился вопрос о перспективах исследований по проблемам рисоводства, напрямую заимствованный из японской методики).

Новый механизм определения приоритетов государственной научной политики Великобритании получил название “Предвидение” (“Forеsight”). Программа предусматривает совместное с промышленностью определение перспективных рынков и технологий на ближайшие 10-20 лет, а также мероприятий, которые позволят использовать новые возможности в целях повышения качества жизни и ускорения экономического роста. Цели “Предвидения”: во-первых, собрать необходимую для принятия решений информацию о состоянии и направлениях финансируемых государством НИОКР, во-вторых, создать новую культуру взаимодействия между учеными и бизнесом, в-третьих, определить ресурсы, необходимые для достижения поставленных задач.

Отличительные особенности нового подхода - определение не конкретных технологий, а направлений развития, многовариантность сценариев, непрерывность этапов программы по времени. Программа “Предвидение 1” действовала в 1994-1999 гг. и перешла в “Предвидение II” - 1999-2004 гг. Каждая программа представляет собой три “взаимоперетекающих” этапа - анализ, распространение информации и применение результатов, подготовка к следующей программе. “Предвидение” определяет государственные приоритеты в научно-технических программах, в подготовке кадров, в методах государственного регулирования. Вместе с тем, “Предвидение” не является жестким руководством для госсектора, а для частной промышленности оно служит “приглашением к действию” как в области участия в кооперационных программах, так и в сфере стратегического планирования.

На первом этапе 16 тематических групп, в состав которых входят эксперты из промышленности и госсектора, проанализировали широкий круг рынков и технологий. Практически все группы возглавляются представителями крупных компаний и действуют в следующих областях: сельское хозяйство; природные ресурсы и окружающая среда; химические продукты; средства связи; строительство; оборонная и аэрокосмическая промышленность; энергетика; финансовые услуги; пищевые продукты; здравоохранение и науки о жизни; образование и досуг; производственные процессы и предпринимательство; материалы; розничная торговля; транспорт; морские технологии). Эксперты с использованием метода Дельфи проанализировали точки зрения 1000 человек. На основе этих материалов группы представили отчеты, содержащие оценку будущих рынков и мероприятий, необходимых для сохранения международной конкурентоспособности Великобритании.

Головная группа, возглавляемая Главным научным консультантом правительства, на основе 360 рекомендаций, сформулированных отраслевыми группами, выделила 6 межсекторских стратегических тем:

Коммуникации и компьютеры;

Новые организмы, генетические продукты и процессы;

Достижения в материаловедении, инженерии и технологии;

Повышение эффективности производственных процессов и

Необходимость сохранения окружающей среды и ресурсов;

Совершенствование понимания и использования социальных

факторов;

В рамках этих 6 стратегических направлений головная группа выделила 27 общих приоритетных направлений для сотрудничества научного и промышленного сообщества.

Головная группа также сформулировала 5 крупных приоритетов в области инфраструктуры:

Необходимость поддержки высокого уровня образования и профессионального обучения (особое значение придается уровню подготовки школьных учителей в области науки и техники, от которого зависит квалификация следующего поколения ученых, инженеров и технологов);

Дальнейшее поддержание высокого уровня фундаментальных исследований (особенно в мультидисциплинарных областях);

Развитие коммуникационной инфраструктуры, которая позволит Великобритании быть в центре информационных потоков;

Поддержка инновационного предпринимательства (финансовые институты и правительство должны постоянно пересматривать политику долгосрочного финансирования малого инновационного предпринимательства и изучать влияние финансового климата на инновационную активность);

Необходимость постоянной ревизии государственной политики и законодательных рамок (в первую очередь в таких областях, как защита прав интеллектуальной собственности в электронных средствах связи, разработка новых генетических организмов, инвестиции в прогрессивные коммуникационные инфраструктуры).

В разработке приоритетов участвуют практически все субъекты сферы НИОКР страны. Приоритеты определяются как бы “снизу” и, в результате, не являются “чуждыми” для научных организаций, что, как считает Управление науки и технологии (Office of Science and Technology), облегчает и ускоряет сам процесс переориентации исследований.

Метод Дельфи как попытка предвосхитить будущее путем коллективной процедуры имеет и ряд недостатков. Это сомнения в достоверности результатов, полученных путем прямолинейного агрегирования индивидуальных мнений, в качестве выборки группы экспертов, представляющей научное сообщество, а также размытость целей и результатов, высокая вероятность выработки детерминистского и пассивного взгляда на будущее, а также прямое некритичное копирование зарубежного опыта.

На более низком уровне агрегирования – региональном, отраслевом или проблемном - в ряде стран, например в Германии проводится изучение перспективных приоритетов по методу Мини-Дельфи.

Так, хотя метод Дельфи очень популярен, его влияние на реальную структуру приоритетов в большинстве развитых стран следует все же считать ограниченным. Во многих странах этот и другие методы выявления приоритетов часто попадают “на бесплодную почву”, то есть либо не обеспечены механизмами реализации, либо уступают место другим приоритетам, выбранным в соответствии с политическими или какими-либо лоббистскими интересами.

Заключение

Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.

Список использованной литературы

1. Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико– математические методы и модели для руководителя. М.: Экономика 1998 г.

2. Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1997 г.

3. Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. М.: Экономика, 1997 г.

4. Л.П. Владимирова. Прогнозирование и планирование в условиях рынка.,учебное пособие (второе издание). М.: 2001 г.

Введение

Метод Дельфи -- многоэтапный метод, предусматривающий первоначальное изолированное вынесение экспертами своих суждений и дальнейшую многократную их корректировку на базе ознакомления каждого эксперта с суждениями других экспертов до тех пор, пока величина разброса оценок не будет находиться в рамках заранее устанавливаемого желаемого интервала варьирования оценок.

Получаемые посредством данных методик оценки носят статичный и одноразовый характер, в результате чего возникает необходимость повторного обращения к экспертам при составлении прогноза доли рынка на последующие периоды. Кроме того, метод внутреннего и внешнего экспертного прогнозирования характеризуется определенной степенью субъективности.

Надежность метода "Дельфи" считается высокой при прогнозировании на период как от 1 до 3 лет, так и на более отдаленный период времени. В зависимости от цели прогноза для получения экспертных оценок может привлекаться от 10 до 150 экспертов.

Качественный подход позволяет оценить специфику каждой конкретной ситуации. В некоторых случаях внимательное исследование различных специфических элементов, определяющих ситуацию, может быть более важным, чем проведение систематической количественной оценки. Большим недостатком этого метода является чрезмерная субъективность оценок. Старые стереотипы иностранного общества могут сыграть роковую роль при принятии решений. Дж. Саймон оценил этот подход как “спорадический, основанный на селективном, неконтролируемом восприятии или идеологических и личностных пристрастиях”.

Область применения экспертных методов.

Методы экспертных оценок нашли широкое применение в прогнозировании и перспективном планировании, там, где отсутствуют достаточно достоверные статистические данные об изучаемом вопросе, где имеется несколько вариантов решений и необходим выбор наиболее предпочтительного из них. Также эти методы применяются при разработке новых программ в отраслях промышленности, подверженных сильному влиянию новых открытий в фундаментальных науках.

При анализе и прогнозировании экономической ситуации возникает ряд трудностей:

Невозможность точного предсказания последствий принимаемых решений;

Неповторяемость и невозможность экспериментальной проверки предполагаемого хода и результатов решения;

Наличие факторов, которые не поддаются контролю со стороны принимающего решения;

Наличие нескольких возможных путей решения и необходимость выбора одного из них;

Неполнота исходной информации, на основе которой приходится формировать проблему и принимать решение (часто исходная информация имеет качественный характер и не поддается количественному измерению).

Предпосылками использования экспертизы являются:

Недостаточность и недостоверность информации о состоянии тех или иных условий, в которых осуществляется создание и развитие продукции;

Стохастический (вероятностный) характер объекта информации;

Сложность и новизна проблем.

Организация экспертизы проводится в несколько этапов:

1. Определение целей и задач экспертизы.

2. Выбор процедуры проведения экспертизы.

3. Отбор и формирование группы экспертов.

4. Организация самой процедуры экспертизы;

5. Обработка информации.

6. Принятие решения по результатам экспертизы.

Определение целей и задач экспертизы

Сначала ставится проблема - определяется предыстория, рассматриваются доводы в пользу ее решения, происходит обсуждение со всеми заинтересованными лицами. Главное здесь - распознать мнимые проблемы. Поэтому при постановке проблемы необходима гласность и обсуждение.

После того как проблема обоснована определяются границы ее существования, совокупность внутренних и внешних факторов, влияющих на проблему. Для этого выделяется центральный вопрос и расщепляется на подвопросы. При этом пытаются ограничить поле только теми вопросами, без которых нельзя получить ответ на центральный вопрос. Далее формулируются цели и задачи реализации выбранной проблемы. Таким образом, выбираются главные события, факторы, центральные и второстепенные вопросы.

Необходимо иметь в виду - с увеличением детализации - увеличивается точность экспертизы, НО снижается согласованность мнений экспертов.

Организаторы проведения экспертизы выбирают процедуру осуществления экспертизы. Известны различные подходы к этому вопросу. Можно проводить

-индивидуальный или групповой опрос,

-очный или заочный;

-открытый или закрытый.

Индивидуальный опрос заключается в интервьюировании эксперта и позволяет максимально использовать способности и знания каждого эксперта.

Групповой - при этом методе эксперты могут обмениваться мнениями, могут учесть упущенный момент каждым из них, скорректировать свою оценку. Недостаток группового мнения заключается в сильном влиянии авторитетов на мнения большинства участников экспертизы, в трудности публичного отказа от своей точки зрения, психологической несовместимости некоторых участников экспертизы.

Из методов группового опроса используют:

различные модификации метода Дельфи.

Методы Дельфи характеризуются следующими чертами:

· анонимность мнений экспертов;

· регулируемая обработка, связь, которая осуществляется аналитической группой за ряд туров опроса, причем результаты каждого тура сообщаются экспертам;

· групповым ответом, который получается с помощью статистических методов и отображает обобщенное мнение участников экспертизы

Метод Дельфи является наиболее формальным из всех методов экспертного прогнозирования и наиболее часто используется в технологическом прогнозировании, данные которого используются затем в планировании производства и сбыта продукции. Это групповой метод при котором проводится индивидуальный опрос группы экспертов относительно их предположений о будущих событиях в различных областях, где ожидаются новые открытия или усовершенствования.

Опрос проводится с помощью специальных анкет анонимно, т.е. личные контакты экспертов и коллективные обсуждения исключаются. Полученные ответы сопоставляются специальными работниками, и обобщенные результаты снова направляются членам группы. На основе такой информации члены группы, по-прежнему сохраняя анонимность, делают дальнейшие предположения о будущем, причем этот процесс может повторяться несколько раз (так называемая многотуровая процедура опроса). После того как начинает появляться совпадение мнений, результаты используются в качестве прогноза.

Применение метода Дельфи можно проиллюстрировать на следующем примере №1 : компания, занимающаяся морским нефтяным промыслом хочет получить информацию о том, когда можно будет использовать роботов вместо водолазов для проверки платформ под водой. Для начала прогнозирования по этому методу компания должна войти в контакт с рядом экспертов. Эти эксперты должны быть представителями самых разных областей данной отрасли промышленности, включая водолазов, инженерно-технических работников из нефтяных компаний, капитанов кораблей, инженеров по техобслуживанию и конструкторов роботов. Им объясняется стоящая перед компанией задача, и каждого эксперта спрашивают, когда по его мнению можно будет заменить водолазов роботами. Первые ответы дадут, вероятно, очень большой разброс данных, например, от 2000 до 2050 года. Эти ответы обрабатываются и возвращаются экспертами. При этом каждого эксперта просят пересмотреть свою оценку в свете ответов других экспертов. После повторения этой процедуры несколько раз мнения могут сблизиться, так что около 80% ответов даст срок от 2005 до 2015 года, что будет достаточным для целей планирования производства и реализации роботов.

Метод Дельфи назван в честь дельфийского оракула в Древней Греции. Он разработан Олафом Хельмером, видным математиком из корпорации “РЭНД”, и его коллегами и вероятно поэтому, по сравнению с другими творческими подходами, дает достаточную точность прогноза.

Метод Дельфи относится к классу количественных методов групповых экспертных оценок. Опрос экспертов проводится в 3-4 тура, состоящих из серии анкет, вопросы конкретизируются от тура к туру. Для проведения этого метода необходимо также создать аналитическую группу, которая после каждого тура производит статистическую обработку полученной информации.

Прежде всего, аналитики определяют область предпочтительных количественных значений объектов.

После такой проверки проводится очередной тур. Процедуру экспертного опроса по методу "Дельфи" можно выделить в несколько этапов.

ЭТАП 1. ФОРМИРОВАНИЕ РАБОЧЕЙ ГРУППЫ

Задача рабочей группы заключается в организации процедуры экспертного опроса.

ЭТАП 2. ФОРМИРОВАНИЕ ЭКСПЕРТНОЙ ГРУППЫ.

В соответствии с методом "Дельфи" группа экспертов должна включать 10-15 специалистов в данной области. Компетентность экспертов определяется путем анкетирования, анализом уровня реферирования (количества ссылок на работы данного специалиста), использованием листов самооценки.

ЭТАП 3. ФОРМУЛИРОВАНИЕ ВОПРОСОВ

Формулировки вопросов должны быть четкими и однозначно трактуемыми, предполагать однозначные ответы.

ЭТАП 4. ПРОВЕДЕНИЕ ЭКСПЕРТИЗЫ

Метод "Дельфи" предполагает повторение нескольких шагов проведения опроса.

ЭТАП 5. ПОДВЕДЕНИЕ ИТОГОВ ОПРОСА

Для проведения первого тура экспертам предлагаются вопросы. Ответы должны быть представлены в виде количественных оценок на поставленный вопрос. Ответ должен быть обоснован экспертом.

Аналитическая группа проводит статистическую обработку полученной от всех экспертов информации. Для этого рассчитывается среднее значение исследуемого параметра, средневзвешенное значение исследуемого параметра, определяется медиана как средний член общего ряда чисел, полученных от экспертов и область доверительности. Область доверительности целесообразнее рассчитывать через показатель квартиль. Значение квартиля равно ј разницы между максимальной и минимальной оценок ряда. Сама область доверительности будет равна как минимальная оценка минус значение квартиля, максимальная оценка плюс значение квартиля.

Эксперты должны обязательно познакомиться с результатами и выводами аналитиков, после чего проводится второй (очередной) тур. Эксперты по результатам представленных расчетов могут увидеть, как корреспондируется их мнение с мнением всей группы экспертов. Они могут изменить свои мнения или оставить прежними, но в этом случае выдвинуть контраргументы в свою пользу. При этом строго соблюдается принцип анонимности. Таким образом проводится 2-3 тура. В итоге получаем довольно точную групповую оценку.

Пример № 2 : Проблема - оценить уровень спроса на товар А в 2003 году. Приглашены 10 экспертов. Каждый эксперт получил анкету с описанием товара и предполагаемого рынка сбыта. Экспертам предложено дать себе индивидуальную самооценку в баллах в диапазоне от 0 до 10. Уровень спроса предлагается оценить в % (процентах) в диапазоне от 0 до 100.

Каждый эксперт работает самостоятельно и анонимно. После 1-го тура от экспертов были получены следующие результаты:

Аналитическая группа проводит следующий расчет:

Среднегрупповая самооценка равна = (10+8+…+9,9) : 10 = 8,61

Среднее значение спроса (простая оценка) равна (90+100+…+80) :10 =83,5%

Cредневзвешенная оценка спроса равна (10х90 +8х100+…+9,9х80) : (10+8+…+9,9) =84,1%

Медиана в данном случае при четном числе экспертов рассчитывается как среднеарифметическое значение между серединными оценками и будет равна Ме = (80+80):2=80 [замечание: оценки экспертов по уровню спроса располагаются по возрастанию]

Область доверительности рассчитается следующим образом:

Определяется минимальная оценка из набора экспертизы - 60%;

максимальная оценка -100%.

Квартиль будет равна (100-60):4=10%.

Следовательно, нижняя граница доверительной области будет равна 60+10=70%,

верхняя граница будет равна 100-10=90%.

Рис. Область доверительности

Все полученные результаты предлагаются на рассмотрение экспертам. Если эксперты считают целесообразным откорректировать свое мнение, то они передают свои коррективы аналитической группе. И аналитическая группа рассчитывает новые результаты по тому алгоритму, который был рассмотрен выше.

Итоговое обобщенное мнение является основой для прогноза по уровню спроса на данный товар А.

При использовании метода «Дельфи» следует учитывать следующее:

1. Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

2. Время между турами опросов должно быть не более месяца.

3. Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.

4. Число туров должно быть достаточным, чтобы обеспечить всех участников возможностью ознакомиться с причиной той или иной оценки, а также и для критики этих причин.

5. Должен проводиться систематический отбор экспертов.

6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

7. Нужна формула согласованности оценок, основанная на данных самооценок.

Метод Дельфи применим практически в любой ситуации, требующей прогнозирования, в том числе если для принятия решения недостаточно информации.

Существует несколько модификаций метода Дельфи, в которых основные принципы организации экспертизы имеют много общего. Различия связаны с попытками усовершенствовать метод за счет более обоснованного отбора экспертов, введения схем оценки их компетентности, улучшенных механизмов обратных связей и т.п. Для удобства обработки информации все модификации, как правило, предполагают возможность выражения ответа в виде числа, количественной оценки.

Но у него есть недостатки - например, субъективность мнений специалистов, участвующих в опросе, он не позволяет сталкивать в споре мнения экспертов и на него затрачивается много времени.

Некоторые недостатки метода Дельфи связаны с нехваткой времени, которое отведено эксперту на обдумывание проблемы. В этом случае эксперт может согласиться с мнением большинства, чтобы уйти от необходимости объяснения, в чем заключается отличие его решения от остальных вариантов. Эти недочеты устраняются совершенствованием организации экспертиз путем создания автоматизированных систем обработки результатов опроса. Техническая реализация такой системы основана на использовании ЭВМ с внешними терминалами (дисплеями). ЭВМ обеспечивает представление вопросов экспертам (общающимся с ней через их персональные дисплеи), сбор и обработку результатов ответов, запрос и выдачу аргументации и другой необходимой информации для подготовки ответов.

Кроме того, некоторые специалисты считают, что «предположение о том, чтобы те, кто резко расходится с мнением большинства, обосновали свою точку зрения, может привести к усилению эффекта приспособления, а не уменьшить его, как это было задумано». Но все же многие ученые утверждают, что метод Дельфи превосходит «обычные» методы прогнозирования, по крайней мере, при разработке краткосрочных прогнозов.

Метод Дельфи впервые был описан в «Докладе об изучении долгосрочного прогнозирования» американской корпорации «Рэнд» в 1964 г. Объектами исследования явились: научные прорывы, рост населения, автоматизация, исследование космоса, возникновение и предотвращение войн, будущие системы оружия. За истекший период круг прогнозируемых процессов с помощью метода Дельфи значительно расширился, но несомненно, что наибольшее применение этот метод нашел в областях, связанных с научно-техническим прогрессом.

В частности, в нашей стране данный метод применялся для определения основных направлений научных исследований в области средств вычислительной техники и прогнозирования их характеристик, для оценки перспектив развития отраслей. В последнем случае с помощью данного метода могут быть решены следующие задачи:

Определение сроков выполнения работ от выдачи технического задания на работу до начала эксплуатации объекта;

Определение приоритетных направлений развития предприятий отрасли (по технологии производства, важнейшим экономическим характеристикам -- объему производства, числу занятых, объемам фондов и т.п.);

Определение критериев оценок значимости научных разработок и др. От метода Дельфи по организации работы экспертов принципиально отличается метод, получивший название «мозговой штурм», который также называют методом «мозговой атаки», методом коллективной генерации идей. Этот метод подразумевает получение решения как продукта коллективного творчества специалистов в ходе заседания-сеанса, проводимого по определенным правилам, и последующего анализа его результатов. Его сущность состоит в том, что при обосновании прогноза дифференцированно решаются две задачи:

Генерирование новых идей в отношении возможных вариантов развития процесса;

Анализ и оценка выдвинутых идей.

Обычно все специалисты в ходе заседания разделяются на две группы, состоящие из одних и тех же или разных представителей так, что одна группа генерирует идеи, а вторая -- их анализирует. При этом в ходе заседания запрещается высказывать любые критические оценки ценности идеи; приветствуется выдвижение как можно большего их количества, поскольку предполагается, что вероятность появления действительно ценной идеи повышается с увеличением их общего числа; поощряется свободный обмен мнениями, т.е. высказанные мысли должны подхватываться и развиваться и т.п. Ходом заседания руководит беспристрастный ведущий. Его задача состоит в том, чтобы направлять развитие дискуссии в нужное русло, к достижению заданной цели, не сбиваясь на беседу, соревнование в остроумии и т.п. В то же время он не должен навязывать участникам дискуссии свое мнение, ориентировать их на определенный способ мышления.

Для России формулирование целей и отработка методов отбора приоритетов государственной научно-технологической политики имеет особое значение. Хотя составление комплексных прогнозов научно-технического развития страны и мира в СССР началось еще в начале 1970-х годов, основными ориентирами для них служили интересы оборонного сектора и партгосаппарата. В настоящее время цели развития безусловно расширились, но соответствующая им процедура выбора приоритетов не разработана, не согласована, не имеет нормативной базы и традиций. В этих условиях при выборе приоритетов и получении соответствующей финансовой и правовой поддержки могут возобладать смещенные и узкие интересы ведомств, ВПК, регионов или чьи либо иные, в то время как интересы государства в целом не будут приниматься в расчет. В этих условиях отработка процедуры выбора приоритетов и изучение опыта других стран крайне важны.

В большинстве развитых стран для определения приоритетов научно-технического развития в процессе прогнозирования и принятия решений о финансировании крупных государственных программ используются следующие методы:

o Составление перечня критических технологий.

o Экспертиза

Технологический прогноз, основанный на методе Дельфи , -- это попытка предсказать развитие той или иной технологии на длительную перспективу (20-30 лет). Разработанная впервые в 50-х годах RAND Corp., техника метода Дельфи была использована впервые для целей национального и отраслевого технологического прогнозирования Японией (с 1970 г. выполнено уже 6 исследований), а впоследствии, и в значительной степени по японскому образцу, Германией, Францией, Великобританией, Испанией, Австрией, Южной Кореей преимущественно в течение последнего десятилетия (можно говорить о буме этого метода в 90-е годы).

Метод Дельфи заключается в оценке технологий экспертами, (их число различалось от 123 человек в Испании, до 25 тысяч на первом этапе -- в Южной Корее) на основе предлагаемых схем, включающих несколько позиций, в том числе уровень научно-исследовательской активности по данному направлению, участие в создании национального богатства, повышении качества жизни и конкурентоспособности, ожидаемые сроки реализации новых достижений. Двух-четырехступенчатая процедура оценки позволяет экспертам уточнить или пересмотреть свою точку зрения с учетом мнения коллег и выработать в результате согласованную, действительно коллективную позицию по всему кругу поставленных вопросов, число которых на первом этапе, как правило, превышает тысячу.

Прогнозирование по методу Дельфи оказывается эффективным и в достижении ряда других, принципиально важных для выявления приоритетов, результатов. Это познавательный эффект, обучение и расширение кругозора экспертов -- участников опроса, картирование компетенций в отдельных дисциплинах, технических областях и странах, выработка консенсуса представителей различных секторов научно-технической сферы и, что не менее важно, стимулирование широкого обсуждения научной общественностью тенденций научно-технологического развития своей страны и мира.

Япония имеет не только наиболее длительную историю прогностических оценок технологического развития своей страны и мира, но и наиболее эффективную практику использования этих прогнозов для общей ориентации национальной научно-технической сферы, тем более интересную, поскольку доля государства в финансировании национальной науки никогда не превышала 20-25%. Управление науки и техники, координирующее через стратегические исследовательские программы фундаментальные и прикладные исследования других ведомств, несет ответственность и за технологическое прогнозирование.

Опрос по методу Дельфи проводится каждые пять лет с временным диапазоном до 30 лет, постепенно охватывая все области науки и техники. Если первый опрос, прогнозировавший на период 1970-2000 гг., смог охватить 5 направлений и 644 темы, то последний, охватывающий период 1996-2025 гг., уже включал 14 направлений и 1072 темы:

o материалы и их обработка;

o информатика;

o электроника;

o науки о жизни;

o здравоохранение и социальное обеспечение;

o изучение и использование космического пространства;

o науки о Земле и океанология;

o энергетика и природные ресурсы;

o экология;

o сельское хозяйство, лесная промышленность и рыбоводство;

o промышленное производство;

o урбанизация и строительство;

o транспорт.

Респондентам последнего опроса предлагалось оценить технологические темы с точки зрения их вклада в социально-экономическое развитие, улучшение качества жизни и решение экологических проблем, а также их значение в целом. Участники опроса должны были определить временной диапазон, в течение которого перечисленные технологии будут реализованы как в Японии, так и других ведущих странах, а также очертить круг мер, которые необходимо для этого предпринять государственным властным структурам.

Во Франции в начале 1994 г. при использовании метода Дельфи было проведено широкое обследование перспектив развития 15 основных научно-технических направлений (электроника, физика элементарных частиц, проблемы окружающей среды, урбанизации и т.д.). Для экспертных оценок было привлечено свыше 1 000 специалистов из различных секторов экономики -- 45% представители промышленной науки, 30% государственных НИИ и 25% сотрудники университетов, что в целом отражало структуру научного сектора экономики Франции. Этому же принципу следовали при формировании групп экспертов и большинство стран, начинающих работу над прогнозами и приоритетами.

В 1991 г. Министерство исследований и технологии Германии провело сравнительный анализ оценок японских и немецких экспертов, используя японский вопросник. Результаты в целом показали сходство позиций экспертов для двух стран относительно развития перспективных технологий, хотя и выявились определенные различия, отражающие национальную культурную и промышленную специфику этих стран.

В Великобритании с 1994 г. также началось использование метода Дельфи для выбора национальных научно-технических приоритетов. Однако, в отличие от Германии и Франции, страна не пошла по пути копирования японского опыта (например, во Франции при опросе ученых-экспертов в качестве приоритетного ставился вопрос о перспективах исследований по проблемам рисоводства, напрямую заимствованный из японской методики).

Новый механизм определения приоритетов государственной научной политики Великобритании получил название “Предвидение” (“Forеsight”). Программа предусматривает совместное с промышленностью определение перспективных рынков и технологий на ближайшие 10-20 лет, а также мероприятий, которые позволят использовать новые возможности в целях повышения качества жизни и ускорения экономического роста. Цели “Предвидения”: во-первых, собрать необходимую для принятия решений информацию о состоянии и направлениях финансируемых государством НИОКР, во-вторых, создать новую культуру взаимодействия между учеными и бизнесом, в-третьих, определить ресурсы, необходимые для достижения поставленных задач.

Отличительные особенности нового подхода -- определение не конкретных технологий, а направлений развития, многовариантность сценариев, непрерывность этапов программы по времени. Программа “Предвидение 1” действовала в 1994-1999 гг. и перешла в “Предвидение II” -- 1999-2004 гг. Каждая программа представляет собой три “взаимоперетекающих” этапа -- анализ, распространение информации и применение результатов, подготовка к следующей программе. “Предвидение” определяет государственные приоритеты в научно-технических программах, в подготовке кадров, в методах государственного регулирования. Вместе с тем, “Предвидение” не является жестким руководством для госсектора, а для частной промышленности оно служит “приглашением к действию” как в области участия в кооперационных программах, так и в сфере стратегического планирования.

На первом этапе 16 тематических групп, в состав которых входят эксперты из промышленности и госсектора, проанализировали широкий круг рынков и технологий. Практически все группы возглавляются представителями крупных компаний и действуют в следующих областях: сельское хозяйство; природные ресурсы и окружающая среда; химические продукты; средства связи; строительство; оборонная и аэрокосмическая промышленность; энергетика; финансовые услуги; пищевые продукты; здравоохранение и науки о жизни; образование и досуг; производственные процессы и предпринимательство; материалы; розничная торговля; транспорт; морские технологии). Эксперты с использованием метода Дельфи проанализировали точки зрения 1000 человек. На основе этих материалов группы представили отчеты, содержащие оценку будущих рынков и мероприятий, необходимых для сохранения международной конкурентоспособности Великобритании.

Головная группа, возглавляемая Главным научным консультантом правительства, на основе 360 рекомендаций, сформулированных отраслевыми группами, выделила 6 межсекторских стратегических тем:

Коммуникации и компьютеры;

Новые организмы, генетические продукты и процессы;

Достижения в материаловедении, инженерии и технологии;

Повышение эффективности производственных процессов и

Необходимость сохранения окружающей среды и ресурсов;

Совершенствование понимания и использования социальных

факторов;

В рамках этих 6 стратегических направлений головная группа выделила 27 общих приоритетных направлений для сотрудничества научного и промышленного сообщества.

Головная группа также сформулировала 5 крупных приоритетов в области инфраструктуры:

Необходимость поддержки высокого уровня образования и профессионального обучения (особое значение придается уровню подготовки школьных учителей в области науки и техники, от которого зависит квалификация следующего поколения ученых, инженеров и технологов);

Дальнейшее поддержание высокого уровня фундаментальных исследований (особенно в мультидисциплинарных областях);

Развитие коммуникационной инфраструктуры, которая позволит Великобритании быть в центре информационных потоков;

Поддержка инновационного предпринимательства (финансовые институты и правительство должны постоянно пересматривать политику долгосрочного финансирования малого инновационного предпринимательства и изучать влияние финансового климата на инновационную активность);

Необходимость постоянной ревизии государственной политики и законодательных рамок (в первую очередь в таких областях, как защита прав интеллектуальной собственности в электронных средствах связи, разработка новых генетических организмов, инвестиции в прогрессивные коммуникационные инфраструктуры).

В разработке приоритетов участвуют практически все субъекты сферы НИОКР страны. Приоритеты определяются как бы “снизу” и, в результате, не являются “чуждыми” для научных организаций, что, как считает Управление науки и технологии (Office of Science and Technology), облегчает и ускоряет сам процесс переориентации исследований.

Метод Дельфи как попытка предвосхитить будущее путем коллективной процедуры имеет и ряд недостатков. Это сомнения в достоверности результатов, полученных путем прямолинейного агрегирования индивидуальных мнений, в качестве выборки группы экспертов, представляющей научное сообщество, а также размытость целей и результатов, высокая вероятность выработки детерминистского и пассивного взгляда на будущее, а также прямое некритичное копирование зарубежного опыта.

На более низком уровне агрегирования - региональном, отраслевом или проблемном -- в ряде стран, например в Германии проводится изучение перспективных приоритетов по методу Мини-Дельфи.

Так, хотя метод Дельфи очень популярен, его влияние на реальную структуру приоритетов в большинстве развитых стран следует все же считать ограниченным. Во многих странах этот и другие методы выявления приоритетов часто попадают “на бесплодную почву”, то есть либо не обеспечены механизмами реализации, либо уступают место другим приоритетам, выбранным в соответствии с политическими или какими-либо лоббистскими интересами.

Заключение

Метод Дельфи имеет несомненные преимущества по сравнению с методами, основанными на обычной статистической обработке результатов индивидуальных опросов. Он позволяет уменьшить колебания по всей совокупности индивидуальных ответов, ограничивает колебания внутри групп. При этом, как показывают проводимые эксперименты, наличие малоквалифицированных экспертов оказывает менее сильное влияние на групповую оценку, чем простое усреднение результатов ответов, поскольку ситуация помогает им исправить ответы за счет получения новой информации от своей группы.

Список использованной литературы

Авдулов П.В., Гойзман Э.И., Кутузов В.А. и др. Экономико- математические методы и модели для руководителя. М.: Экономика 1998 г.

Агафонов В.А. Анализ стратегий и разработка комплексных программ. М.: Наука, 1997 г.

Математические методы в планировании отраслей и предприятий / Под ред. И.Г. Попова. М.: Экономика, 1997 г.

Л.П. Владимирова. Прогнозирование и планирование в условиях рынка., учебное пособие (второе издание). М.: 2001 г.

Здравствуйте, уважаемые читатели! Метод дельфи это особый инструмент, позволяющий разработать оптимальные решения какой-либо сложности, а также провести качественную оценку этих решений и, конечно же, спрогнозировать дальнейшие события.

Немного истории

Название взяло начало благодаря Дельфийскому Оракулу. Изначально этот метод был создан Олафом Хэлмером, Норманом Дэлки и Николасом Решером для того чтобы предугадать, какое влияние окажут научные открытия будущего на способы ведения военных действий. Это случилось примерно в 1950—1960 годы в Санта Монике.

Учёные трудились в исследовательском центре «RAND», пытаясь изобрести инструмент, позволяющий прогнозировать точные события. Когда его удалось закончить, именно Каплан (он был сотрудником и профессором Калифорнийского университета) дал ему такое название. Если помните, храм Делфи являлся местом, где систематизировалась и аккумулировалась информация, её записывали на специальные пластины и считали истинной и единственно верной.

По такому же принципу строилась работа и современного оракула. Только информация о будущем появляется не благодаря провидцам, а от обычных людей, компетентных в той сфере, где возникла сложность. Происходит это с помощью анкетирования, в письменном или в электронном виде.

Структура

  1. Изначально подбирается группа экспертов. Количество участников не ограничено, но рекомендуется не более 20 человек, иначе получение результатов значительно затянется, да и усложнится процесс работы.
  2. Когда экспертный состав готов, каждый из специалистов получает одинаковую задачу – обработав тему вопроса, составить план исследования и вопросник, или же просто разбить проблему на более мелкие сложности.
  3. Далее подбирается группа аналитиков, которые рассматривают все созданные экспертами списки и выделяют из них схожие моменты. После чего создают уже новый вопросник, на основе полученных общих данных и отправляют обратно.
  4. Теперь эксперты вносят дополнения и свои коррективы в обновлённый общий список. То есть мы получаем, к примеру, 20 разнообразных мнений и взглядов на одну и ту же проблему.
  5. Скорректированный вопросник отсылается опять к аналитикам, которые пытаются обнаружить схожести в ответах, чтобы создать обновления и отправить обратно, чтобы группа на этот раз разработала свои пути решения проблемы. В этот период оценивается эффективность и актуальность предложенных способов, а также осуществляется проверка ресурсов, необходимых для реализации задуманных действий.
  6. Аналитики опять пытаются проанализировать ответы. Если они обнаруживают кардинально различные точки зрения, то обязательно выносят их на обсуждение, чтобы предыдущая группа, в свою очередь, или привела аргументы в защиту своих идей, или пересмотрела их адекватность и уместность.
  7. Каждый шаг будет повторяться до тех пор, пока не исчезнут все риски и «слабые места», и, конечно же, пока все специалисты не придут к единому мнению. Желательно, чтобы таких туров было не более 5, иначе утратится большая часть необходимой и ценной информации. А промежуток между ними – не более одного месяца.

Вариации

Вышеописанный метод считается классическим, но существуют ситуации, когда решение необходимо принять в максимально краткие сроки, поэтому активной популярностью пользуется «Экспресс — Делфи». Он позволяет проанализировать проблему и прийти к единому мнению буквально за несколько часов, необходимо только подготовить хорошую техническую базу.

То есть, у каждого участника должен быть компьютер, подключённый к одной общей сети. Весь процесс анализа и выбора наиболее оптимального варианта проводится ускоренно, без глубокой обработки предоставленного материала. Несмотря на то, что этот метод очень удобный и эффективный, у него есть один недостаток, существенно влияющий на результат – из-за ограниченности по времени, специалисты не успевают тщательно обдумать стоящую перед ними задачу и дать объективную оценку заключениям остальных.

Тут даже не стоит приводить какой-то пример, вы и сами знаете, чем обычно заканчивается спешка и невнимательность к деталям. Поэтому, если от этого способа будет зависеть чья-то жизнь или здоровье, то лучше воспользоваться традиционной пошаговой инструкцией с соблюдением временных рамок.

  • Привлекать рекомендуется компетентных специалистов, которые обладают знаниями касательно возникшей проблемы. Только не общей направленности, а из разных сфер, тогда можно будет рассмотреть вопрос под разными углами, согласовав выводы экспертов.
  • Прежде, чем начинать работу, используя метод Делфи, необходимо уточнить такую информацию:
    — Как именно будет строиться работа? То есть, где будут находиться участники, каким образом они будут анализировать информацию и куда отправлять результаты.
    — Кто будет ответственным за принятие окончательного решения? Кто решит, что достаточно и пора завершать этот процесс?
    — Существуют ли ещё способы, с помощью которых возможно было бы проконтролировать и перепроверить результаты?
    — Примерно, какие варианты вы ожидаете получить в итоге? Чего именно добиваетесь?
  • Предоставляйте специалистам время для того чтобы подумать над своими выводами, а также приобрести новые знания по теме.

В каких случаях применяется?

Дельфи позволяет осуществлять прогнозирование путём систематизации мнений о какой-либо ситуации различных групп людей. Поэтому применяется, в основном для того чтобы произвести оценку долгосрочных проблем, идентифицировать тему и построить суждение на основе различных утверждений.

В комплексе с другими техниками окажется прекрасным инструментом, на который можно будет опираться в дальнейшем. Используется чаще всего для того чтобы рассмотреть как личные перспективы в будущем, так и технические, организационные.

Преимущества и недостатки

Участники не пересекаются между собой, они даже могут быть не знакомы друг с другом и не иметь понятия, с кем согласовывают своё мнение в процессе. А это удобно для тех, кто испытывает чрезмерное напряжение от самой мысли, что придётся с кем-то общаться и отстаивать своё мнение, аргументировать точку зрения и прочее. К тому же имеет влияние и тип темперамента на качество работы, ведь каким бы ни был профессионалом своего дела человек с интровертной акцентуацией характера, ему будет намного легче дать свою оценку происходящему, не вступая в прямой контакт с остальными участниками процесса.
+ Отсутствует давление на экспертов, с целью добиться определённых выводов. Поэтому исследование будет проходить без подтасовки результатов, что важно для получения максимально честных и объективных суждений.



THE BELL

Есть те, кто прочитали эту новость раньше вас.
Подпишитесь, чтобы получать статьи свежими.
Email
Имя
Фамилия
Как вы хотите читать The Bell
Без спама