На результаты измерений в маркетинговых исследованиях, которые проводятся в основном путем опросов или наблюдений, оказывает влияние целый ряд факторов.

- Действительные отличия в измеряемых характеристиках.

- Отличия в других относительно стабильных характеристиках респондентов: например, некоторые дают либо хорошие ответы, либо никаких.

- Переменные факторы: настроение, состояние здоровья, усталость, болезнь.

- Ситуационные факторы. На вопрос о роли мужа и жены в покупке автомобиля муж скажет одно, жена – другое, они вместе – третье.

- Характеристики интервьюера и его поведение.

- Формулировка вопросов анкеты. Например, в понятие «большой человек» входит рост, вес, объем талии и, может быть, что-то еще?

- Погрешности инструмента измерения: сложные, двусмысленные вопросы, неясные для самого интервьюера моменты.

- Механические факторы (например, сломанный карандаш).

Итак,

Xo=Xt+Xs+Xr,

где Xo – результаты наблюдений или измерений; Xt – истинное отличие в характеристиках; Xs – систематическая (постоянная) ошибка; Xr – случайная ошибка.

Валидность (точность, правильность) это степень, в которой разница в результатах отражает действительную разность измеряемых параметров, а не ошибки. Валидность означает, что Xo=Xt.

Предсказательная валидность делает упор на ценность инструмента для предсказания некоторой характеристики или поведения. Для проверки этой валидности требуется оценить корреляцию между результатами теста и предсказываемой характеристикой. Например, успешно прошедшие тест профессиональной пригодности должны хорошо работать.

Валидность совпадения – соответствие измеряемого и фактического параметра в данный конкретный момент времени. Например, температура больного была измерена точно.

Валидность содержания. Это адекватность, с которой измеряются характеристики. Например, тест правописания, включающий только хоккейные термины, скорее всего, выявит отношение к хоккею, а не грамотность.

Валидность по отношению к конструкциям определяет, какая конструкция, идея, концепция измеряется. Концепция определяется через набор наблюдаемых атрибутов. Например, для определения удовлетворенности работой измеряется не сама эта удовлетворенность, а ожидаемые перспективы повышения в должности, отношение к величине заработной платы, отношения с руководством и пр.

Валидность конвергенции и валидность отличия определяют, соответственно, что тó, что должно совпадать, совпадает, а то, что должно отличаться – отличается. Например, имеется гипотеза о связи текучести кадров с удовлетворенностью работой. Предполагается, что если удовлетворенность работой высока, то текучесть кадров низка и наоборот. Результаты измерения текучести кадров и удовлетворенности работой должны отражать эту зависимость: на всех предприятиях, где высока степень удовлетворенности работой, должна быть низка текучесть кадров. Если на одном предприятии степень удовлетворенности работой высока, а на другом низка, то должна также различаться и текучесть кадров.

Часто валидность оценивается косвенно через надежность, так как надежность легче измерить.

Надежность это отсутствие случайной ошибки в измерениях. Надежность означает, что Xr=0.

Поскольку Xo=Xt+Xs+Xr, измерение может быть надежно, но не валидно. В то же время валидность автоматически означает надежность. Таким образом,

- из валидности следует надежность;

- из ненадежности следует невалидность.

Для проверки надежности определяются стабильность и эквивалентность.

Стабильность это повторяемость результатов исследований, проведенных повторно.

Пусть респондент, не найдя нужного ему товара в универмаге, дал в анкете низкую оценку ассортименту. Респонденту могут перезвонить через одну-две недели (если он выразил согласие на повторный опрос и оставил свой телефон). В типовом случае в телефонном разговоре производится опрос по ряду дополнительных аспектов, связанных с тем же исследованием. Среди прочих можно повторно задать и вопрос об ассортименте. Если плохое отношение к ассортименту подтверждается, то оценка респондента стабильна.

Иногда интервьюер в конце опроса повторяет критические вопросы. Он обычно говорит:

– Давайте проверим, правильно ли я все записал.

На самом деле проверяется стабильность ответов респондента.

Исследование стабильности – достаточно трудная задача. Если опрос повторить через малое время, то респонденты будут помнить предыдущий опрос, что исказит картину. Если же время между опросами слишком велико, то за это время изменяется сама контролируемая характеристика.

Эквивалентность более пригодна для оценки надежности. Пусть несколько вопросов должны относиться к одной и той же характеристике. Требуется это проверить. Для такой проверки может использоваться метод деления пополам. Набор вопросов разделяется на две части (случайно или по принципу четных/нечетных). По совпадению ответов на каждую половину вопросов судят о внутренней состоятельности теста. Правда, это метод используется достаточно редко. Причина этого видна из примера. Пусть оценивается надежность теста для проверки знаний студентов. Он проходит в двух группах. Средний балл при ответах составил 3. Однако в одной группе все получили 3, а в другой – половина получила 4, а половина – 2. Это было неудачное разделение. Таким образом, метод деления пополам не дает гарантии надежности теста.

В заключение следует отметить, что методы анализа надежности исследуют только величину случайной составляющей, не касаясь систематичесой ошибки.