Итак, тесты обычно являются частью исследования, связанного с некоторой психологической гипотезой. Для их проектирования существуют специальные методы.

Для проверки грамотности, например, требуется проверить знание испытуемым всех слов, но это очень долго и дорого. Поэтому возникает задача выбора не очень большого числа «хороших», показательных образцов слов. Та же ситуация наблюдается при измерении сихологических атрибутов. Нельзя просто спросить, коммуникабельны ли вы, так как ответ, скорее всего, будет неверен. Требуется задать респонденту целый ряд вопросов, с разных сторон освещающих коммуникабельность. Но этих вопросов не должно быть слишком много. Чтобы понять, какими должны быть задаваемые вопросы, следует изучить соответствующую литературу, чтобы понять, что подразумевается под изучаемым понятием, из каких аспектов оно состоит.

Коммуникабельность – это дружелюбие с определенной целью: подвигнуть людей в желательном для Вас направлении.

Это может быть соглашение о новой маркетинговой стратегии или энтузиазм по поводу новой продукции.

Из этой же работы можно выделить и черты, свойственные коммуникабельному человеку. Это целая система свойств и оттенков эмоционального аспекта личности.

- широкий круг знакомств;

- убежденность в пользе широкого круга знакомств;

- умение найти общие темы для разговора с разными людьми;

- ясное понимание того, что ничто важное не делается в одиночку;

- понимание собственных эмоций;

- умение контролировать их;

- эмпатия чувствам других;

- оптимизм;

- умение увлечь своим оптимизмом других.

Коммуникабельность можно распознать в действии по многим признакам, продолжает автор [6]. Это

- умение хорошо руководить командами (эмпатия в действии);

- умение искусно уговаривать (проявление самоосознанности, саморегуляции и эмпатии);

- знание того, когда лучше обратиться к эмоциям собеседник, а когда – к разуму;

- пубично видимая мотивация деятельности (энтузиазм), которая распространяется и на окружающих.

От такого перечня уже можно перейти к вопросам. В простейшем случае задается по одному вопросу на каждый из перечисленных аспектов, но несложно предложить ряд ситуаций, в которых проявляется та или иная черта личности и задать вопросы о предпочтительных действиях в каждой из них. Часто описание таких ситуаций можно найти в литературе.

Итак, для отбора вопросов теста, применяется следующая последовательность действий.

Шаг 1. Четко определяется, чтó подлежит измерению, (например, коммуникабельность), а что – нет (лень, проявляющаяся в том, чтобы поболтать с коллегами вместо того, чтобы работать).

Шаг 2. На основе обзора литературы, обзора опыта, проведения фокус-групп, то есть методами поисковых исследований генерируется набор из достаточно большого количества (порядка 100) вопросов, позиций, определяющих характеристику с различных сторон. Предполагается, что каждый вопрос имеет количественный ответ. Если разрабатывается тест на грамотность, то правильно написанному слову присваивается оценка 1, неправильно – 0. Если задается вопрос о коммуникабельности, например,

Как Вы оцениваете свой круг знакомств?

то обычно предлагаются три ответа:

У меня много знакомых, и я рад каждому новому знакомому;
он не очень широк, в нем только те, кто мне приятен;
он мал, так как я трудно схожусь с людьми.

Общий результат теста для респондента будет подсчитан как сумма ответов на каждый вопрос.

Шаг 3. Вопросы предварительно проверяются. Явно плохие сразу же отбрасываются. Например, при контроле грамотности не следует предлагать при опросе узкоспециальные термины. Бесполезно включать в тест грамотности и слишком простые слова.

Однако число оставшихся вопросов все равно велико. Поэтому требуется использовать специальные методы для отбора только сравнительно небольшого числа наилучших вопросов.

Шаг 4. Собираются данные от определенной выборки. Если, например, предполагается разработать тест коммуникабельности для менеджеров среднего звена, то выборка может производиться среди работающих в фирмах, аналогичных тем, где предполагается проводить исследование, и занимающих аналогичные должности. Как обычно для «сырых» анкет, используется личное интервью или опрос с приглашением респондентов в лабораторию. Ответив на все вопросы, респонденты обычно получают небольшое вознаграждение.

Шаг 5. Для окончательного выбора на основе полученных данных используется так называемая модель доменов.

Основное допущение, на котором строится процесс отбора, заключается в том, что сумма ответов по большому числу вопросов и есть истина. Истина – сумма ответов на все возможные вопросы (чтобы проверить грамотность, надо проверить правильность написания всех возможных слов; чтобы оценить коммуникабельность, надо провести респондента через все возможные испытания), а реально имеется только выборка примерно из 100 вопросов из всех возможных. Но она признается достаточно большой, чтобы допустить, что результат будет близок к истине.

Принимается, что Xо=Xt+Xr, то есть результаты опроса Xo слагаются из измерения психологической характеристики (коммуникабельности) плюс случайная составляющая[231]. Тогда увеличение количества вопросов повышает долю истинной компоненты. Если взять сумму результатов многих вопросов, охватывающих разные аспекты проблемы, то случайная составляющая различных ответов компенсируется, и можно считать, что математическое ожидание ошибки будет равно нулю для суммы ответов. Поэтому сумма ответов и принимается за истину.

Надежность теста можно количественно оценить как

надежность = ,

то есть как долю различия по измеряемой характеристике в общих различиях, включающих и ошибки тестирования.

Надежность теста возрастает с ростом количества вопросов.

Второе допущение заключается в том, что не существует ни одного вопроса, который полностью определил бы исследуемую характеристику (грамотность нельзя проверить по одному слову). Иначе достаточно было бы задать этот единственный вопрос. Каждый вопрос рассматривает исследуемую психологическую характеристику под некоторым особым углом зрения, касается различных аспектов общей концепции (грамотный человек должен правильно писать слова с безударными гласными, с суффиксами и т. д., коммуникабельный – обладать всеми вышеперечисленными характеристиками).

Цель процедуры отбора – определить полезность каждого вопроса для установления истины и выбрать лучшие, то есть наиболее полезные, вопросы.

Так как в опросе участвовало несколько человек, то имеются ряды значений ответов на каждый вопрос по всем отвечавшим, а также ряд суммарных оценок всех отвечавших.

Для начала вычисляются корреляции ответов на каждый вопрос и сумм баллов, полученных респондентами.

Если вопросы касаются какой-то одной концепции, то между ответами существует более или менее занчительная положительная корреляция.

Если корреляция ответов на какой-то вопрос и сумм ответов мала, то вопрос не связан с общей тематикой теста (согласно допущению – с установленем истины) и его следует убрать. Для опредления того, мала корреляция или нет, следует вспомнить коэффициент детерминации (квадрат коэффициента корреляции), который показывает, насколько одна величина определяется другой. Так, если коэффициент корреляции ответов на некоторый вопрос и суммы ответов равен 0,1, то это означает, что данный вопрос определяет результат теста на 0,01, что, конечно, мало (обычный для исследоваинй уровень случайной ошибки составляет 0,05).

При проектировании тестов могут появиться вопросы, имеющие большую отрицательную корреляцию с суммарным результатом[232]. Они сильно влияют на итоги тестирования. Если их достаточно много, то возникают сомнения в истинности суммарной оценки по всем ответам. Для таких вопросов можно использовать инвертирование ответов (как в шкале Ликерта). В простейшем случае при наличии трех ответов с разными весами в ключе теста следует поменять местами минимальный и максимальный веса, оставив среднее значение веса без изменений. Более радикальным является удаление данного вопроса. Начинать слдедует с вопроса, имеющего максимальное абсолютное значение отрицательной корреляции, и после каждого преобразования пересчитывать суммы ответов и все значения корреляций.

После устранения вопросов с большой отрицательной корреляцией, для опроса из k пунктов, в котором участвовало n человек, вычисляется показатель

,

где a – коэффициент надежности Кронбаха; Di – дисперсия ответов на i-й вопрос; Dt – дисперсия сумм результатов теста по всем участникам.

Если действуют только случайные факторы, то дисперсия суммы равна сумме дисперсий и a = 0. Если же тест совсем не содержит случайной составляющей, то все ответы идентичны и a = 1.[233]

Если a мала, то требуется либо добавить новые вопросы, либо убрать неудачные.

Программная система Statistica for Windows вычисляет корреляцию ответов на каждый вопрос с суммарным результатом. Кроме того, вычисляется a всего теста, а главное – для каждого вопроса выводится то значение a, которое будет иметь тест, если из него изъять данный пункт. Таким образом, отбор вопросов следует осуществлять либо по корреляции (убирать те пункты, которые имеют малую корреляцию с суммарным результатом), либо по a (удалять те вопросы, при изъятии которых a увеличивается). Этот процесс можно повторить несколько раз до тех пор, пока изъятие любого оставшегося вопроса не будет ухудшать надежность теста.

Шаг 6. Проверка того, какую характеристику измеряет получившийся набор вопросов.

После корректировки теста образуется домен – набор вопросов, которые освещают одну и ту же проблему. Правда, возникает вопрос, какую же проблему они освещают. Ответ на него может дать только анализ валидности. Валидность должна проверяться всеми доступными способами.

Например, если существует корреляция между результатами теста на коммуникабельность и умением руководить, то это повышает нашу уверенность в том, что тест измеряет именно коммуникабельность. Реально проверка валидности тестов – длительная процедура. Валидность теста профпригодности может быть проверена только через несколько лет по успехам принятых на работу с предварительным тестированием