Перед началом экспертного опроса следует четко определить его цели, сформулировать требующую разрешения проблему. Часто оказывается, что проблема разбивается на ряд специфических подпроблем, требующих решений, относящихся к различным областям маркетинга (ценообразование, реклама, разработка продукта). Для их решения требуются эксперты различных направлений.
1. Определение количества привлекаемых экспертов. Можно произвести расчет количества экспертов по методам статистики (на основе разброса мнений и требуемой точности). Однако чаще используется практический подход.
Он основывается на следующих соображениях.
- Экспертов не должно быть мало, чтобы не было сильного влияния отдельного эксперта на общий результат.
- Большая численность экспертной группы не всегда повышает достоверность оценок.
- Высококвалифицированных экспертов достаточно мало.
- Нижняя граница количества экспертов соответствует общепринятому правилу представительности: оно должно быть не меньше, чем количество принимаемых решений. Верхняя граница определяется количеством экспертов, которых может пригласить фирма, организующая опрос.
2. Квалификация приглашаемых экспертов оценивается исследователями, проводящими исследования, лицом, которому предстоит принять решение на основе полученных экспертных оценок, коллегами-экспертами. Можно использовать и самооценку.
Оценка квалификации эксперта обычно представляет собой некоторое число. Оно используется в качестве веса при определении итоговой оценки как средневзвешенной индивидуальных оценок.
Для определения весов используется ряд способов.
- В простейшем случае все веса равны 1.
- Если лицо, принимающее решения, более доверяет одним экспертам и осторожно относится к мнению других, веса могут быть различны. Таким образом, исследователь устанавливает веса на основе мнения лица, принимающего решения.
- Наилучший путь повысить объективность назначения весов при повторных экспертизах – сравнить оценки каждого эксперта с действительным развитием событий. Эксперты, которые дали плохие оценки, в дальнейшем могут вообще не привлекаться к экспертизам.
- Оценка экспертов исследователями, проводящими опрос. Выбирается ряд показателей, характеризующих квалификацию эксперта. Это могут быть уровень образования, опыт практической работы, широта кругозора. Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале. Общая оценка эксперта представляет собой сумму проставленных баллов.
- Самооценка. В анкету включаются вопросы об общем стаже, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. В США опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью прогнозов.
- Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.
Для обобщения всех полученных оценок автор предлагает вычислять вес эксперта по формуле:
где vi,И, vi,C, vi,O – балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами, соответственно; VИ, VC, VО – максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки, данные коллегами, соответственно.
Эта формула удобна тем, что результирующие веса находятся в пределах от 0 (совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок;
3. Проведение опроса. Помимо общих требований к опросам, таких, как
- соответствие задаваемых вопросов целям исследования;
- удобство работы с анкетой;
- удобная для экспертов организация проведения опроса,
имеется ряд правил именно для экспертных опросов. К их числу относятся:
- предоставление экспертам всей требуемой информации;
- проведение коллективных обсуждений, если это целесообразно;
- обеспечение независимости мнений экспертов;
- анонимность ответов для членов экспертной группы.
Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить оцениваемые вопросы, согласовать порядок проведения опросов.
Затем экспертам направляются анкеты с пояснительной запиской.
На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.
Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.
4. Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять такие характеристики, как моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее), медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).
При получении количественных оценок применяется обычная формула средневзвешенного значения:
где Xэксп – общая экспертная оценка; vi – вес каждой оценки (значимость эксперта).
5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства. Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками.
Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением экспертиз.
Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции.
***
Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить более или менее точные решения плохо формализуемых задач.
1. Определение количества привлекаемых экспертов. Можно произвести расчет количества экспертов по методам статистики (на основе разброса мнений и требуемой точности). Однако чаще используется практический подход.
Он основывается на следующих соображениях.
- Экспертов не должно быть мало, чтобы не было сильного влияния отдельного эксперта на общий результат.
- Большая численность экспертной группы не всегда повышает достоверность оценок.
- Высококвалифицированных экспертов достаточно мало.
- Нижняя граница количества экспертов соответствует общепринятому правилу представительности: оно должно быть не меньше, чем количество принимаемых решений. Верхняя граница определяется количеством экспертов, которых может пригласить фирма, организующая опрос.
2. Квалификация приглашаемых экспертов оценивается исследователями, проводящими исследования, лицом, которому предстоит принять решение на основе полученных экспертных оценок, коллегами-экспертами. Можно использовать и самооценку.
Оценка квалификации эксперта обычно представляет собой некоторое число. Оно используется в качестве веса при определении итоговой оценки как средневзвешенной индивидуальных оценок.
Для определения весов используется ряд способов.
- В простейшем случае все веса равны 1.
- Если лицо, принимающее решения, более доверяет одним экспертам и осторожно относится к мнению других, веса могут быть различны. Таким образом, исследователь устанавливает веса на основе мнения лица, принимающего решения.
- Наилучший путь повысить объективность назначения весов при повторных экспертизах – сравнить оценки каждого эксперта с действительным развитием событий. Эксперты, которые дали плохие оценки, в дальнейшем могут вообще не привлекаться к экспертизам.
- Оценка экспертов исследователями, проводящими опрос. Выбирается ряд показателей, характеризующих квалификацию эксперта. Это могут быть уровень образования, опыт практической работы, широта кругозора. Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале. Общая оценка эксперта представляет собой сумму проставленных баллов.
- Самооценка. В анкету включаются вопросы об общем стаже, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. В США опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью прогнозов.
- Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.
Для обобщения всех полученных оценок автор предлагает вычислять вес эксперта по формуле:
где vi,И, vi,C, vi,O – балльные оценки, данные эксперту исследователями, проводящими опрос, балльные самооценки и балльные оценки, данные коллегами, соответственно; VИ, VC, VО – максимально возможные оценки, даваемые организаторами опроса, самооценки, и оценки, данные коллегами, соответственно.
Эта формула удобна тем, что результирующие веса находятся в пределах от 0 (совершенно некомпетентный эксперт) до 1 (максимально компетентный). Можно предложить и другие способы оценки, например, использование общей суммы баллов или среднеарифметического частных оценок;
3. Проведение опроса. Помимо общих требований к опросам, таких, как
- соответствие задаваемых вопросов целям исследования;
- удобство работы с анкетой;
- удобная для экспертов организация проведения опроса,
имеется ряд правил именно для экспертных опросов. К их числу относятся:
- предоставление экспертам всей требуемой информации;
- проведение коллективных обсуждений, если это целесообразно;
- обеспечение независимости мнений экспертов;
- анонимность ответов для членов экспертной группы.
Обычно вначале происходит индивидуальный разговор с экспертами. Он имеет целью уточнить оцениваемые вопросы, согласовать порядок проведения опросов.
Затем экспертам направляются анкеты с пояснительной запиской.
На последнем этапе, после получения результатов опроса проводят дополнительные индивидуальные консультации с целью уточнения данных и обоснования оценок.
Групповые встречи проводятся с целью рассказать экспертам о целях опроса и порядке его проведения, показать образцы товаров, провести предварительное обсуждение проблемы, осуществить мозговую атаку.
4. Определение суммарных оценок. Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять такие характеристики, как моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее), медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).
При получении количественных оценок применяется обычная формула средневзвешенного значения:
где Xэксп – общая экспертная оценка; vi – вес каждой оценки (значимость эксперта).
5. Оценка достоверности полученной общей оценки базируется на предположении, что достоверность достигается при согласованности мнений экспертов. Однако это не всегда так. Известны случаи, когда правильные оценки давались экспертами, не согласными с мнением большинства. Еще одна проблема – заинтересованность экспертов. Любой руководитель исследовательского подразделения на вопрос, сколько времени может занять исследование, даст завышенную оценку, чтобы не быть ограниченным жесткими сроками.
Способ определения устойчивости оценок (повторяемости оценок при повторной экспертизе) применяется достаточно редко из-за организационных и финансовых трудностей, связанных с проведением экспертиз.
Для оценки согласованности экспертных оценок применяют коэффициент конкордации или ранговой корреляции.
***
Таким образом, получение экспертных оценок – достаточно сложная процедура, которая, однако, позволяет получить более или менее точные решения плохо формализуемых задач.
Источник: Н. В. Павлов, Санкт-Петербург, Издательство СПбГТУ, 2005
Авторское право на материал
Копирование материалов допускается только с указанием активной ссылки на статью!
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.
Похожие статьи