При проектировании эксперимента, анкеты или теста и обработке полученных результатов исследователь обычно учитывает поддающиеся учету ошибки по их типам и источникам. В данном разделе изучается надежность и валидность всего инструмента измерения в целом.

Конечно, всегда существует опасность того, что респондент сам не имеет четкого мнения и от этого его ответы будут недостоверны. Но, во-первых, на респондента нельзя повлиять и исследователю остается только проверить сам инструмент, а во-вторых, надо так разработать инструмент исследования, чтобы он мог выявить эту нечеткость мнений. Как было показано выше, введение пункта нет мнения – лишь очень примитивная мера для этого. Поэтому здесь расматриваются меры по проверке и улучшению свойств самого инструмента исследования – анкеты или теста.

Первым шагом является кабинетный анализ анкеты. Лучше, если, кроме автора, его выполнят один-два опытных рецензента.

Затем целесообразно провести обсуждение в фокусной группе (оно может предваряться докладом автора анкеты и рецензентов). При этом обычно выявляется большое число неточностей, а опыт коллег поможет избежать типовых ошибок.

Но эти шаги не могут являться окончательной проверкой. Необходимо пробное исследование нового инструмента. Оно может охватывать от 30 до 100…200 респондентов. По результатам такого пробного опроса можно сделать окончательные выводы о пригодности разработанного инструмента. Анализ рекомендуется проводить согласно схеме, предложенной в [8]. При этом вначале используются более простые формальные методы, а затем, при положительном результате – более сложные, эвристические и экспертные.