Вначале проверяется общая приемлемость данного способа измерения. Если она не обеспечивается, то дальнейшая разработка данного инструмента и его проверка просто не нужны. Необходимо разрабатывать новый инструмент или радикально переделывать имеющийся. Существует ряд недостатков анкеты, снижающих валидность. Наиболее легко выявляются недостатки, снижающие дифференцирующую способность анкеты (возможность различать респондентов по результатам анкетирования).

1. Отсутствие разброса ответов. Это бывает, если выбраны неудачные варианты ответов, не соответствующие имеющимся мнениям по данному вопросу, или если респонденты отвечают на вопрос, выражая общепринятое мнение. Такой вопрос полностью непригоден для анкетирования.

Аналогичная ситуация может возникнуть, если для проверочного опроса были выбраны респонденты с похожими характеристиками. Если, например, тест предназначен для проверки знаний студентов, то его следует проверять на респондентах, имеющих различную успеваемость, чтобы убедиться в его дифференцирующей способности. В данном случае, так как размер выборки сравнительно невелик, более пригодна детерминированная выборка по квотам.

2. Использование части шкалы ответов. Пусть для ответа на некоторый вопрос была предложена шкала

Очень плохо , плохо , удовлетворительно , хорошо , очень хорошо .

Часто оказывается, что респонденты используют только ее часть. Например, в пробном исследовании встречаются только последние три ответа. В этом случае респонденты не считают, что дело обстоит плохо.

Такой вопрос нуждается в перепроектировании, так как разница во мнениях становится не столь заметной, если используются только три градации из пяти. Обычно те градации, на которые падает менее 5% ответов, удаляются (конечно, если нет особых соображений по их сохранению).

То же относится и к количественным оценкам. Например, в анкете о курении может быть вопрос:

Сколько сигарет Вы выкуриваете в день?
Одну , две , три…пять , шесть…десять , более .

Может оказаться, что большинство респондентов ответило более, лишь часть – шесть… десять, два человека – три…пять, а остальные ответы не выбрал никто. В данном случае шкала ответов была выбрана неправильно. Ее следует перепроектировать.

Не стоит поддаваться соблазну дать полный набор ответов, охватывающих весь мыслимый диапазон значений. Во-первых, нереальные ответы подорвут доверие к опросу, а во-вторых, большое число вариантов ответа затруднит его. Для выбора диапазона ответов рекомендуется предварительное исследование, например, по вторичным данным или по литературным источникам.

3. Неравномерное использование отдельных пунктов шкалы. Если предлагается десятибалльная шкала ответов, то многие респонденты считают ее вариантом пятибалльной и предполагают, что 10 это 5, 8 это 4 и т. д. При обработке ответов окажется, что ответы 10, 8, 6, 4, 2 встречаются значительно чаще.

Существует и другой тревожный симптом. Пусть предлагаются пять вариантов ответа, выраженных словесно, но имеющих порядковую природу. Например,

Данная модель – одна из лучших___________________ ;
данная модель не хуже многих_____________________ ;
данная модель не хуже и не лучше других___________ ;
есть много моделей лучше этой____________________ ;
данная модель хуже многих других_________________ .

Если оказывается, что третий ответ используется значительно реже других, в то время как имеется много как лучших, так и худших мнений, то это говорит о неудачной формулировке данного ваиранта ответа. Действительно, в понятие «другие» модели можно включить и хорошие, и плохие. Тогда становится непонятной суть третьего ответа. Для таких ситуаций существует рекомендация: ответ считается плохим, если его значения сильно отличаются от соседних.

4. Решение по обработке выбросов. Выбросы вносят большие искажения в результаты анализа. Хотя в принципе большие отклонения от средних значений могут быть обусловлены и действительными различиями мнений респондентов, их обычно исключают из рассмотрения. Пороговое значение для выброса устанавливается в соответствии с некоторым уровнем значимости. В дальнейшем можно исследовать исключенные значения отдельно. Часто оказывается, что они наиболее интересны. Например, единственный покупатель очень большой партии товара может стать постоянным и выгодным партнером.