Измерение неявных знаний

Наше исследование преследовало цель показать, что неявные знания способствуют успешной деятельности в различных областях. Таким образом, мы стремимся установить степень взаимосвязи между обладанием неявными знаниями и деятельностью человека. Но как создать тест, который бы оценил уровень неявных знаний? Эта глава посвящена разработке способов, позволяющих измерить неявные знания, получаемые человеком в различных сферах деятельности. Мы представим некоторые подходы к оценке приобретенной в опыте компетентности, которые связаны с действиями индивида в процессе решения реальных задач, а также со способами измерения, применяемыми при оценке основных знаний. Затем укажем, какие тесты по определению неявных знаний следует использовать, и отметим основные позиции в разработке и валидизации этих тестов.

Методы измерения реальных способностей

Подход к рассмотрению практического интеллекта с учетом неявных знаний базируется на нескольких методах оценки реальных способностей. Они предполагают использование методов критической ситуации (critical incident technique), имитационных тестов (simulation) и тестов на оценку ситуации (situational judgment tests). Вкратце рассмотрим каждый из этих методов, а затем обсудим, какие аспекты этих методов подходят для измерения неявных знаний.

Метод критической ситуации

Это способ, определяющий поведение человека, которое можно охарактеризовать как эффективную деятельность. В соответствии с концепцией Фленегана (Flanagan, 1954), критические ситуации описывают поведение, обстановку, в которой реализуется это поведение, и его последствия. Критические ситуации создаются следующим образом. Людей — как правило, это специалисты в данной области — просят привести примеры эффективного и неэффективного поведения. То есть специалистов опрашивают либо в процессе интервью, либо задавая вопросы, не имеющие завершения, в результате чего им предлагается описать несколько критических ситуаций, в которых эти эксперты или другие люди выбирали правиль-

Методы измерения реальных способностей

ную линию поведения, чтобы разрешить возникшую проблему. Также они рассказывают об эпизодах, в которых кто-либо повел себя, с их точки зрения, абсолютно неверно (Flanagan, 1954; McClelland, 1976). Боязис (Boyatzis, 1982) использовал различные приемы критических ситуаций, называемые интервью об эпизодах поведения (behavioral event interview). На их основе он выделил критические ситуации, ранее оцениваемые индивидами как имеющие высокую, среднюю или низкую степень эффективности. Затем этот ученый оценил критические события, предложенные той или иной группой опрашиваемых, чтобы идентифицировать характерные признаки и навыки, определяющие различие эффективно и неэффективно работающих менеджеров.

Критические ситуации, извлеченные в процессе наблюдений, опросов или интервью, были проанализированы, чтобы выявить природу способностей, значимых для успешного решения задачи в заданной области. Критические эпизоды сгруппировали на основе схожести элементов поведения. Например, эпизод, относящийся к назначению задания подчиненным, и эпизод, связанный с контролем над его выполнением, могут быть отнесены к одной категории ситуаций -управления подчиненными. Эти категории применяются, чтобы дать заключение о поведении, которое характеризует эффективные и неэффективные действия.

Ограничивает сферу рассматриваемых приемов предположение о том, что люди предлагают события, являющиеся решающими для описания успеха в их собственной служебной деятельности, и о том, что качественный анализ вполне достаточен для определения основных способностей — компетентности. Однако ценность приема критической ситуации заключается в том, что он помогает идентифицировать стратегии различных людей, применяемые в выполнении разного рода задач и для оценки специфических, ситуативно значимых аспектов поведения. Эти приемы оказываются весьма подходящими для создания инструментов оценки служебной деятельности, включая рейтинговые шкалы, основанные на поведенческих «якорях» (behaviorally anchored rating scales — BARS) (Smith & Kendall, 1963), и тесты на оценку ситуации (situationaljudgment tests — SJTs) (Mo-towidlo, Dunnette & Carter, 1990). Последние более детально описаны в соответствии с имитационными тестами.

Имитационные тесты

Имитационные тесты применимы как инструмент оценки и как метод обучения. Они нацелены на непосредственную оценку поведения на рабочем месте. Они предполагают наблюдение за людьми в эпизодах, которые созданы, чтобы имитировать аспекты действительной рабочей ситуации. Считается, что реагирование на них соответствует реальной реакции, проявляемой человеком в самой жизни. Имитационные тесты могут представлять собой тесты, которые называются «папка руководителя» (basket test), ситуационные интервью, групповые дискуссии, тесты на оценку ситуации (SJTs), а также они могут проводиться в специально предназначенных для этого центрах по оценки. Мотовидло и др. (Motowidlo et al., 1990) выделили имитационные тесты большей и меньшей точности. В первом случае респондентам предъявляются такие стимулы, которые копируют действительные. Реагирование опрашиваемых очень похоже на реакции в реальной жизни. Во втором случае стимулы предъявляют в письменной или в устной форме. При этом респондентов просят описать, как бы они отреагировали на такую ситуацию, а не предпринимать какие-либо конкретные действия.

Самыми точными имитационными тестами являются тесты, выполненные в центрах по оценке. В этих центрах небольшие группы тестируемых выполняют различные задания: папка руководителя, имитационные интервью и имитационные групповые дискуссии (Вгау, 1982; Thornton & Byham, 1982). Преимущество имитационного подхода состоят в том, что он адекватно воспроизводит характер служебной деятельности. Однако не всегда понятно, какие аспекты работы нужно отобрать для создания имитационных тестов или как эти аспекты оценивать.

Степень адекватности тестов, которые представлены в виде папки руководителя, средняя. В этих случаях респондент сталкивается с различными материалами (служебными записками, финансовыми отчетами, письмами) и его просят ответить на них (Frederiksen, 1966; Frederiksen, Saunders & Wand, 1957). Однако время, отведенное респонденту на то, чтобы разобраться с проблемами подобного типа, ограничено. В реальных рабочих ситуациях это создаст определенную напряженность. Действия тестируемого оцениваются по тому, как он справляется с ситуацией, например предоставляет ли участник опроса точную и полную информацию в ответ на письмо финансового директора, требующего финансовый отчет за четвертый квартал.

Тесты на оценку ситуации относятся к имитационным тестам меньшей точности (Motowidlo et al., 1990). Они выглядят как описание ситуаций, обычно связанных со служебной деятельностью, при исполнении которой возникают данные проблемы (Chan & Schmitt, 1998; Legree, 1995; Motowodlo et al., 1990). Эти описания представляют действительные или близкие к реальным ситуации, имеющие отношение к определенной сфере (например, продавец, настойчиво предлагающий товар по телефону). Ситуации обычно отбираются посредством анализа критических случаев. Каждой ситуации соответствует набор опций (т. е. стратегий), необходимых для решения проблемы. Респондентов просят одобрить ту или иную опцию. Они могут это сделать, выбрав, на их взгляд, лучшую и худшую из числа нескольких стратегий или оценив рейтинг эффективности каждой из предложенных альтернатив. Традиционно тестирование с помощью SJTs оценивается посредством присуждения баллов на основе правильного указания наилучшей и наихудшей опции (Motowidlo et al., 1990) или на основе оценки экспертов, одобряющих выбор (Chan & Schmitt, 1998).

Метод оценки неявных знаний

Данный подход разработан на базе уже рассмотренных методов, чтобы произвести оценку процедурных знаний, обусловленных конкретной областью деятельности, какие люди приобретают, решая повседневные проблемы. Он основан на теоретических и практических выводах о том, что количество и организация знаний, которыми обладают эксперты и новички, различаются (Chi et al., 1988; Ericsson, 1996; Ericsson & Smith, 1991), а также о том, что это различие отражает различие в развитии способностей специалистов и новичков (Sternberg, 1998a, in press-b).

Методы измерения реальных способностей

В том, что касается выявления примеров неявных знаний, приобретенных при решении реальных проблем, метод оценки неявных знаний базируется на методе критических ситуаций. Иными словами, мы интервьюируем специалистов в конкретных областях деятельности с тем, чтобы выявить ситуации, отражающие важные уроки, и просим их описать своими словами те знания, которые можно извлечь из данных ситуаций. Мы не полагаемся исключительно на людей, разрабатывающих критические эпизоды для определения того, какие знания, извлеченные из таких ситуаций, являются более, а какие менее эффективными. Последовательно анализируя ситуацию, мы определяем те ее особенности, которые являются критическими для данного рода деятельности.

Рассматриваемый подход подобен приемам имитации, поскольку оценка практически значимого поведения в тестовых ситуациях частично зависит от того, в какой степени задание схоже со случаями, встречающимся в повседневной жизни. Таким образом, мы попытались в нашем измерении учесть достаточное количество деталей, чтобы обеспечить респондентам реалистическую картину ситуации. Однако мы в первую очередь полагались на письменный формат представления этой информации, а не на имитации мотивов практического плана, за исключением задачи, определяющей приобретение неявных знаний, связанных с продажами (Sternberg et al., 1993). В качестве условия мы избрали большой охват сфер деятельности, ценных в создании имитационных тестов меньшей точности. Однако в дальнейшем тестировании мы обратились к оценке, связанной с действиями, применяемыми в решении задач, и к имитации высокой точности.

Метод оценки неявных знаний более тесно связан с тестами на оценку ситуации (SJTs). Мы представляем описание ситуаций, в основе которых часто лежат действительные случаи, с которыми сталкивались определенные должностные лица, и в качестве ответных опций предлагаем несколько возможных вариантов. Их число варьируется от 5 до 20. Опрашиваемых просят оценить качество или правильность каждого ответа относительно проблемы, представленной в ситуации, по шкале Ликерта (Likert Scale).

Вот гипотетический пример. Помощник администратора обнаруживает фактическую ошибку в служебной записке, написанной его боссом. Однако эта записка должна быть немедленно отправлена по назначению. Начальник в данный момент находится на закрытом совещании. Респондента просят оценить несколько вариантов возможных действий для решения этой проблемы (обычно по шкале, где 1 соответствует самой низкой оценке, а 9 — самой высокой). Примеры возможных действий предполагают возможность прервать закрытое совещание и показать ошибку начальнику, самому ее исправить и немедленно отправить служебную записку, исправить ошибку, но все же не отправлять служебную записку до тех пор, пока помощник не проконсультируется со своим начальником.

Для оценки неявных знаний индивида в конкретной области используется набор рейтингов, полученных им по всем тестам. Как и в случае с применением тестов на оценку ситуации (SJTs), результаты оценки часто зависят от мнения экспертов в данной сфере. В основном эти тесты на неявные знания оцениваются одним из трех способов: по степени корреляции ответов респондентов со средним индексом различных групп (т. е. групп экспертов, специалистов среднего уровня и новичков); путем установления степени, в которой ответы респондентов соответствуют «правилу большого пальца»1; определение отличий между ответами респондента и прототипом специалиста. Для лучшего понимания того, что же измеряют тесты на неявные знания, рассмотрим последние как оцениваемый конструкт.

Неявные знания как оцениваемый конструкт

Описывая в шестой главе ключевые признаки неявных знаний и когнитивную модель, мы рассматривали эти знания как некий конструкт, который можно измерить. Другими словами, что же должно оцениваться с помощью тестов на неявные знания и вопросов, содержащихся в них?

На этот вопрос можно ответить, обратив внимание на традиционное различие между тестированием достижений и интеллекта. Считается, что в первом случае разделы теста служат примерами измерения конструкта (например, знания о всемирной истории), однако они не рассматриваются в качестве основы, на которой выстраиваются предположения о дальнейшем поведении респондента. Например, когда респонденты из многих вариантов ответа на вопрос о всемирной истории выбирают верный, считается, что им уже до этого был известен исторический факт, о котором спрашивали, либо же они обладали знаниями подобного характера, которые помогли им отбросить неверные варианты ответов. Мы не рассматриваем исторические вопросы как предсказание реакции респондентов на те или иные задания. При тестировании интеллекта, напротив, все позиции служат прогнозированию дальнейшей деятельности человека, но не рассматриваются в качестве элементов измеряемого конструкта. Например, когда человек правильно решает задачу на аналогию фигур, мы не считаем, что он уже обладает некими знаниями об аналогичных отношениях, предполагаемых в вопросе. Однако мы рассматриваем задания такого рода как прогноз поведения человека при выполнении других тестов или задач в процессе оценки генеральной способности.

Является ли измерение неявных знаний тестом на определение достижений или это тест на уровень интеллекта? Показав различие между двумя видами тестирования, отметим, что ни один из них не существует в чистом виде (Sternberg, 1998а). Все тесты, выявляющие достижения индивида, оценивают и основные способности, если только возможно продемонстрировать совершенное владение проверяемым содержанием. Следовательно, такой тест ценен для предсказания дальнейших действий индивида. Подобным же образом все тесты на интеллект оценивают качественные изменения знаний, если только возможно прочувствовать некоторые позиции и установки тестирования. Это говорит о содержании знаний индивидов, обладающих высоким или низким уровнем генерального интеллекта. Все эти тесты измеряют формы развивающегося опыта (Sternberg, 1998a). Тесты на неявные знания разрушают искусственные границы между тестированием, определяющим уровень достижений, и тестированием способностей.

Измерения неявных знаний являются тестами основных знаний, разработанными с помощью теории человеческого интеллекта (Sternberg, 1995с). Они созда-

Разработка опросника неявных знаний

ны для определения и практических знаний, укорененных в опыте индивида, и основных способностей, которые обеспечивают приобретение и применение этих знаний. Таким образом, подсчеты в тестировании неявных знаний прогнозируют деятельность человека при выполнении тестов или контрольных заданий. Эта деятельность выявляет либо наличие неявных знаний, либо умственные способности, обеспечивающие их развитие и применение. Предположительно, данные способности отличаются от тех, что связаны с так называемым генеральным фактором человеческого интеллекта g, измеряемым часто приблизительно в виде IQ Исследования Стернберга и его коллег доказали гипотезу, что способности, ассоциируемые с деятельностью при тестировании неявных знаний, отличаются от тех, что подразумеваются, когда оценивается фактор g (Hedlund et al., 1999; Sternberg et al., 1993; Sternberg et al., 1995).

Поскольку признано, что разделы тестов неявных знаний измеряют как приобретенные знания, так и практические способности, тестирование прольет свет и на их содержание, и на тот опыт, благодаря которому они были получены. Немногие станут спорить с тем, что аспекты неявных знаний отражают уже имеющиеся знания респондентов, от которых эти аспекты были получены (в ходе бесед, сфокусированных на личном опыте). Эти аспекты пришли из воспоминаний и, таким образом, отражают содержание памяти. Остается лишь определить меру оценки приобретенных и примененных неявных знаний теми, кто не создавал их, но, скорее, использовал или оценивал вопросы тестов. Это вопрос многих исследований, которые проводятся как в гражданской, так и в военной области. Мы рассмотрим их в следующих главах.

Разработка опросника, используемого для оценки неявных знаний

Мы разработали тесты, чтобы определить уровень неявных знаний в области университетской психологии, обучения в начальной школе, бизнес-менеджмента, продаж, на начальном уровне деятельности в различных организациях, при обучении в колледже и для командного состава армии. В этой главе мы предлагаем структуру разработки тестов на определение неявных знаний в том формате, что был описан выше. Она базируется на приемах, использованных при измерении неявных знаний в тех областях, изучением которых мы занимались.

Разработка опросника неявных знаний может быть осмыслена как продуктивный процесс. Он начинается с обработки сырого материала, каким являются неявные знания, полученные в результате личного опыта, выявленные в деятельности практиков, добившихся высот в определенных сферах. Этот процесс достигает кульминации при сверке и уточнении опросника. На каждой ступени посредством дополнительного исследования и анализа производится оценка результатов. Рисунок 2 схематично иллюстрирует основные фазы этого процесса, особенность исследовательской деятельности в рамках каждой фазы и тот информационный продукт, что образуется на различных стадиях.

Термин перспективный применяется для обозначения подмножества неявных знаний, наиболее способствующих получению результата, и тех из них, которые предполагается использовать при составлении вопросов для тестирования. Взятые вместе, они служат валидизации оценки неявных знаний респондентов, имеющих отношение к данной области деятельности. Эта последовательность шагов выработана в результате проведения различных исследовательских проектов и применима для идентификации и измерения неявных знаний в любой области деятельности. Мы изложим содержание каждой стадии этого процесса: от идентификации примеров неявных знаний до создания окончательного варианта опросника.

Идентификация знаний

Как правило, начинаем с литературы, относящейся к определенной служебной области (например, справочники о продажах, армейские профессиональные публикации), чтобы определить начальный уровень неявных знаний, обусловленный опытом, для соответствующей профессии (например, продавец или офицер армии). Эти обзоры литературы дают полезную информацию для составления опросника по неявным знаниям и помогают составить начальное представление о системе организации знаний, или структуре категорий. Например, исследуя деятельность менеджеров, Вагнер и Стернберг (Wagner & Sternberg, 1986) предложили структуру практического интеллектуального поведения, которая включала неявные знания о том, как управлять собой, людьми и как делать карьеру.

Обычно обзор литературы не предоставляет существенное число примеров, на основе которых можно выработать критерий оценки или которые содержали бы достаточное количество деталей, благодаря которым можно определить неявные знания в том виде, как это представляется нам. Мы обнаружили, что практические советы, содержащиеся в профессиональной литературе, часто оторваны от контекста и являются преобразованными в семантические знания. Нам также представляется, что в издаваемой профессиональной литературе умалчивают некоторые неявные знания, например противоречащие принятой теории. Таким образом, следующий этап — это опросы тех, кто уже какое-то время с успехом работает в данной области. Интервью с ними позволяют накопить огромный объем информации, на основе которой можно разрабатывать опросник по неявным знаниям. Опишем метод для проведения таких интервью.

Метод извлечения неявных знаний. Отбирая участников интервью, нужно определить, кто мог бы послужить эталоном, обладателем несомненных неявных знаний. Мы искали людей, которые имеют опыт работы в конкретной области и добились в ней успеха. Индивиды, добившиеся больших достижений, очевидно, обладают более ценными неявными знаниями, чем другие. Более того, люди, занятые в практической области интересующей нас сферы, имеют больше неявных знаний, чем занимающие другие должности (например, руководители) или ранее бывшие на других постах. Вполне возможно, что эти индивиды оценивают иные знания, которые оказываются существенными в рамках совершенно других перспектив. Как только будет определен резерв практикующих специалистов, устанавливаются эксперты в заданной области. Это происходит формальным образом (на основе мнений коллег или руководителей) или путем отбора по критериям их деятельности (таким, как профессиональный рост, зарплата). Стернберг и его коллеги (Hedlund et al., 1999; Sternberg et al., 1993; Sternberg et al., 1995; Wagner, 1987) интервьюировали университетских психологов. Критерием их успешной работы являлись занимаемые ими в течение длительного времени должности и членство в научных организациях (например, профессора Йельского университета). Кроме того, опрашивали бизнес-менеджеров, определив тех, кто достиг успеха на основе занимаемого ими положения в компании. Когда речь шла о продавцах, их уровень оценивался по результатам деятельности в области продаж. Успешно обучающихся студентов колледжа отбирали, обращая внимание на их оценки и различные школьные достижения. Добившихся успеха офицеров определяли по званиям и должностям.

Всех этих экспертов просили указать, что является важным для достижения заметного положения в их области, и предложить типичные ситуации, связанные с их деятельностью, а также возможные реакции на эти ситуации, показывающие их уровень неявных знаний. В последующих исследованиях мы уточнили структуру интервью, благодаря чему участники обеспечены более подробными инструкциями о том, какого плана знания мы пытаемся установить, и о том, что необходимо отметить самые неочевидные реакции.

Мы опирались на интервью, которые проводили «команды», состоящие из двух людей; один из них являлся главным интервьюером, а другой фиксировал уточняющую информацию и замечания. Первый проводил интервью, а второй член команды делал записи, просил пояснить ситуации, задавал уточняющие вопросы. Когда это было возможно, интервью с согласия опрашиваемых записывали на пленку, поэтому возникали дополнительные вопросы и нужно было сделать ряд уточнений, когда интервью завершилось. Также важно, чтобы один из интервьюеров был хотя бы немного осведомлен в конкретной области, чтобы понимать технический язык или профессиональный жаргон того, с кем проводится интервью.

Ниже мы предлагаем протокол для проведения интервью. В нем использованы конкретные примеры, полученные нами в работе с офицерами армии, для иллюстрации последовательности шагов.

1. Введение. Когда собираются участники интервью, члены команды, проводящей опрос, представляются и предлагают в качестве стандартного введения рассказ об исследованиях и о предстоящем интервью. Во введении нужно сообщить о назначении исследования, чтобы устранить возможность недопонимания и настроить участников на тему интервью. Например:

Мы стремимся определить те ключевые уроки, которые извлекают руководители из своего опыта работы. Если эти уроки можно идентифицировать, попытаемся найти пути их применения, чтобы способствовать развитию навыков лидера.

Это не оценка вас как руководителя. Это не сравнение руководителей вашей организации с руководителями другой организации.

Мы хотим найти характерные примеры неформальных знаний о руководстве на вашем уровне. Мы стремимся отыскать те детали из сферы руководства, о которых не пишут в книгах и которым не обучают в школе. Мы считаем, что эти знания чаще всего не обсуждаются, но, тем не менее, они применяются руководителями, как только возникает служебная потребность в них. Эти знания вы могли получить, когда вам пришлось столкнуться с той или иной проблемой. Вы также могли их получить, следя за успехом или неудачей принятого кем-либо решения.

Нас не интересует частный образ действий или личная вера. Нас также не интересуют чисто технические детали, которым вы научились опытным путем, например как настраивать двигатель. Нам интересны только те проблемы, с которыми вы имели дело, и те выводы относительно руководства на вашем уровне, к которым вы пришли в результате этого опыта.

2. Выработка требований к рассказам. Целью интервью является извлечение из опыта респондентов подходящих историй и случаев и исследование словесно невыраженных практических знаний, которые были получены или отражены в этих случаях. Мы обращаемся к участникам интервью с просьбой, например, такой: «Расскажите нам историю из вашего опыта руководства, которая вас чему-либо научила». Цель — сфокусировать внимание опрашиваемого именно на случаях, а не на теориях или общих заявлениях об эффективной деятельности. Так, ответы респондентов оказываются более тесно взаимосвязанными с конструктом неявных знаний (т. е. со знаниями, основанными на личном практическом опыте). Поскольку смысл припоминаемых случаев не всегда ясен, мы обращаемся за помощью к самим рассказчикам и просим их рассказать об ощущениях, испытанных ими в сообщенной истории, и определить, какой именно урок они из нее извлекли.

3. Дополнительные вопросы. Они помогают сосредоточить внимание опрашиваемого на ключевых контекстуальных моментах в его рассказе (например, «расскажите нам более обстоятельно о психологическом климате в вашем подразделении»); цели и альтернативной линии поведения (например, «что именно вы намеревались сделать?», «что еще вы учитывали в своих действиях?»). Вопросы также могут касаться определения практических знаний широкой сферы применения (например, полученных уроков), выявленных в конкретной истории, описывающей приобретенный опыт (например, «чему вы научились на этом опыте?» и «как он повлиял на ваши подходы к руководству?»). Как только становится понятным, что никакой полезной информации из истории извлечь больше нельзя, интервьюер может попросить респондента рассказать другую историю из его личного опыта работы.

По завершении каждого интервью член исследовательской команды, делающий пометки, резюмирует интервью. Такая сжатая версия должна содержать следующую информацию: данные об участнике (т. е. его должность, период работы, раса, пол), резюме предложенной им истории, аннотацию каждой истории, основанную на дополнительных вопросах, и некоторые комментарии интервьюера. Будет полезно, если составляющий эту сжатую версию предложит человеку, проводившему опрос, просмотреть ее. Это исключит разночтения в деталях интерпретации интервью.

Идентификация неявных знаний не заканчивается на этапе составления резюме. Даже если участники опроса знают, с какой целью проводится интервью, не все истории, приведенные ими, являются примерами получения неявных знаний. Таким образом, резюме предлагаются на рассмотрение экспертам в данной области, которые знакомы и с конкретной областью деятельности, и с конструктом неявных знаний. Этих экспертов просят дать заключение, являются ли представленные в кратком изложении знания, которые тесно связаны с деятельностью, важными для достижения индивидом его целей. Их также просят дать заключение, получены ли эти знания благодаря посторонней поддержке и связаны ли они с изучаемой сферой человеческой деятельности (университетская психология, военное руководство).

Результаты интервью. Ими являются расшифровка и резюме тех интервью, которые содержат потенциальные примеры неявных знаний. Эти резюме служат двум целям в разработке инструментария. Во-первых, элементы неявных знаний (существенные детали сообщения) могут быть извлечены из резюме и проанализированы. Во-вторых, сами по себе эти резюме (включающие в себя рассказы профессионалов, которые те связывают с приобретением своего опыта) могут использоваться для создания перечня.

В качестве промежуточного этапа служит обращение к экспертам (членам исследовательской группы или специалистам-практикам, знакомым с конструктом неявных знаний) с просьбой определить, отвечают ли выявленные в интервью знания критериям неявных. Критерии таковы:

1) знания получены при минимальной поддержке со стороны;

2) они соотносимы с действиями;

3) они важны для достижения тех целей, которые обладают для индивида значимостью.

Часто примеры знаний, проанализированные экспертами, отвергаются как не соответствующие одному из перечисленных выше критериев. Рассмотрим историю, рассказанную офицером:

В моем подчинении служил лейтенант, который был очень рассеян. Он мог унести домой чувствительные приборы — например, оружие, приборы ночного видения и т. д. Даже терял их. Он потерял пистолет, но вместо того, чтобы остановиться и поискать, продолжил выполнение операции. Насколько я знаю, когда вы теряете такую технику, вы прекращаете все другие действия и пытаетесь отыскать ее.

Эта история не отвечает критериям неявных знаний. Сам рассказчик указывает, что знания, на которые он ссылается, известны руководству. Они отражены в официальной процедуре. Таким образом, нет никаких оснований считать, что знания, имеющиеся у офицера, имеют отношение к его практике работы с чувствительными приборами и их утратой. Для сравнения рассмотрим еще одну историю подобного содержания, рассказанную другим офицером:

Для командира важно знать, когда можно сообщать плохие новости начальству, а когда лучше умалчивать о них. Было установлено, что орудие потеряли около полуночи. Командир подразделения сказал мне, что оно было на своем штатном месте, поскольку тот видел его, когда проходила контрольная проверка с помощью высокоточной техники. Я поговорил с каждым членом подразделения и установил, что орудие было на позиции. Мы искали его с полуночи до трех часов ура. В этот промежуток времени я посчитал, что не стоит докладывать командиру батальона о случившейся потере, поскольку был убежден, что орудие мы найдем. Однако в 4 часа предстояла проверка всей имеющейся техники, и по соображениям этики я доложил в 3 часа командиру батальона, что орудие потеряно. Я рассказал, что предпринял для поисков техники, уточнив, что был уверен в обнаружении пропажи за ночь. Командир не выглядел расстроенным. Мы обнаружили орудие через 10 минут после восхода солнца, и командир батальона был доволен, что мы проделали все предусмотренные процедуры в случае потери боевой единицы.

Командир батальона заметил, что командиры подразделений настолько желали добиться успеха, что брались за выполнение заданий, непосильных для их подразделения. Таким образом, подразделения и командиры прилагали много усилий и времени для выполнения этих заданий, не прибегая к помощи батальона, чтобы военачальники смогли продемонстрировать свое мастерство. Командир батальона поручил одному из своих подчиненных задание, на выполнение которого силами его подразделения у того ушло 2 недели. Командир понял, что это поручение можно было выполнить за 2 дня, если бы офицер, возглавлявший подразделение, запросил дополнительные батальонные ресурсы. После этого случая командир батальона взял за правило просить своих подчиненных реально оценивать возможности их подразделений, прежде чем те возьмутся за выполнение очередного поручения. Командир батальона чувствовал, что все командиры стремились достичь успеха и добиться высокой оценки из-за сильного соперничества, царящего в современной армии. Кодированный пример

ЕСЛИ ваши командиры подразделений стремятся достичь успеха и добиться высокой оценки своих действий И

ЕСЛИ они берутся за выполнение поручений, требующих привлечения больших ресурсов, чем имеет их подразделение, И

ЕСЛИ они неохотно обращаются за помощью к своему руководству, чтобы получить дополнительные ресурсы,

ТОГДА нужно требовать от командиров произвести оценку возможностей их подразделений, прежде чем те возьмутся за выполнение очередного задания,

ПОТОМУ ЧТО точная оценка возможностей подразделения покажет, сможет оно или не сможет выполнить возложенную на него миссию. Эта оценка должна предостеречь командиров от выполнения задания, которое слишком трудно для их подразделений.

орудия). Он узнал, что в некоторых обстоятельствах лучше повременить и не докладывать сразу о проблеме, пока это не станет необходимым. И в то же время стоит предпринять все необходимые шаги для ее разрешения.

Кодирование выводов из интервью. После определения того, какие из предложенных примеров отвечают критериям неявных знаний, следует преобразовать резюме в более пригодную для дальнейшего анализа форму. Мы использовали формат, основанный на процедурных признаках определения неявных знаний. Таким образом, таковые выражались как соответствие ряда предшествующих условий и последующих действий. Пример эпизода, содержащего неявные знания, и сделанных из него выводов показан в табл. 1.

Знания представлены одним или несколькими предшествующими условиями (утверждениями в форме ЕСЛИ), одним или несколькими последующими действиями (утверждениями в форме ТОГДА) и краткими объяснениями (утверждениями ПОЧЕМУ). Логические операции И/ИЛИ используются для кодирования отношений конъюнкции и дизъюнкции. Оператор ИНАЧЕ (ELSE) — оператор альтернативного выбора — задействуется при кодировании для того, чтобы замкнуть цепь «условие—действие», связывая их в более сложные процедуры. Каждый индивидуальный образец неявных знаний переписывается в процедурном виде. Это кодирование позволяет исследователям проанализировать содержание изучаемых знаний для идентификации их категорий и выбора тех образцов, которые могут быть оценены как разделы в перечне неявных знаний. Результатом этой фазы является ряд закодированных образцов неявных знаний.

Затем такие примеры подвергаются сортировке для того, чтобы идентифицировать основные категории неявных знаний. Эту сортировку можно провести, попросив группу экспертов определить самим требуемые разделы. Результаты такого независимого пересмотра могут быть проанализированы с применением иерархического или кластерного анализа — тех приемов, которые помогают раскрыть естественные группировки в ряде данных (Hartigan, 1975). Этот тип анализа дает иерархически организованные кластеры разделов, какие можно представить в виде дерева. Эти кластеры интерпретируются экспертами и наделяются «ярлыками», соответствующими различным категориям неявных знаний. Категории являются показателями основных областей знаний, которые встречаются в соответствующей сфере деятельности конкретного человека. Структура категорий также способствует выбору разделов тестирования, что обеспечивает широкое представление областей человеческой деятельности.

Отбор примера

Хотя можно разработать вопросы для теста на основе примеров неявных знаний, извлеченных из интервью, по ряду причин бывает необходим процесс дальнейшего отбора. Во-первых, анализ интервью подчас предоставляет слишком много примеров неявных знаний, какие могут быть включены в опросник, однако тот должен иметь объем, соответствующий тому контексту, в котором данный тест применяется. Во-вторых, нельзя только на основе интервью определить, какие из неявных знаний являются показателями опыта человека или предсказывают его деятельность в данной области, и наоборот, какие не отвечают таким критериям. Например, менеджеры могут усвоить, что подчиненные станут чаще обращаться к ним, если они всегда готовы их принять. Однако насколько подобная практика способствует успеху менеджера, остается не вполне ясным. Если менеджер готов принять у себя любого человека, он может столкнуться с тем, что к нему будут обращаться с любыми проблемами. В том числе ему придется разбираться с вопросами, за которые отвечают другие менеджеры, сохраняющие дистанцию в отношениях с подчиненными. В-третьих, результатов предварительной сортировки данных, полученных с помощью интервью, может быть недостаточно для определения внутренней структуры конструкта неявных знаний, характерных для этой области. Значит, чтобы создать тест, необходимы другие обоснования структуры деятельности в данной области, дабы убедиться, что ее разделы представляют собой типичные случаи. По этой причине требуется дополнительный этап, чтобы

Если учебное мероприятие, определенное командиром вашего батальона, противоречит тому, что приказал исполнить ваш непосредственный начальник, и если последнее потенциально более значимо с учебной точки зрения, то рискните и посчитайте приоритетным то мероприятие, что запланировано вашим непосредственным командиром. Рискнув и предоставив вашим солдатам лучший вариант обучения, вы завоюете больше доверия с их стороны.

Следующее звено в процессе отбора примеров для выработки инструментария имеет скорее количественное, чем качественное значение. Оно предполагает обзор должностей, чтобы оценить каждый образец неявных знаний. Чтобы разработать анкету, адресованную тем, кто занимает руководящие должности, надо эти образцы представить в концентрированной, сжатой форме. Например, если мы хотим, чтобы профессионалы оценили 100 примеров проявления неявных знаний, не надо просить их прочитать все 100 историй, аналогичных по форме той, что представлена в табл. 1. Нужно сделать выжимку и дать их в сокращенном виде. Такого рода концентрация предполагает извлечение только наиболее важной информации. Можно также сделать ее более понятной для прочтения, но сохранить смысл, который вкладывал в свой рассказ опрашиваемый, когда описывал полученные знания. На примере «сжатых» образцов неявных знаний, какие связаны с опытом военного руководства (табл. 2), можно показать, что процедурная структура, будучи характеристикой неявных знаний, предстает в переработанном виде.

Отобранные («сжатые») примеры неявных знаний составили исследование, которое мы представляем как ИНЗ — исследование неявных знаний (Tacit Knowledge Survey, TKS) (табл. 2). Оно отличается от опросника неявных знаний, в котором респондентов просят оценить качество знаний, полученных в прошлом, здесь же им предлагают уточнить качество реакций на соответствующую проблему в настоящем. Руководителям предлагают оценить каждый пример на основе заданного ряда цифр (как показано в табл. 2). Мы использовали четыре семиточечных шкалы для следующих суждений:

1. Насколько хорош, по мнению респондента, предложенный совет?

2. Насколько известен этот совет?

3. Как часто руководители сталкиваются с такой проблемой, какая описана?

4. В какой степени предлагаемый совет совпадает с концепцией самого респондента о служебной деятельности?

Каждая из шкал предоставляет различного рода информацию об оцениваемом виде неявных знаний. Шкала, предусматривающая вопрос «насколько хорошо», способствует оценке общих свойств рассматриваемых неявных знаний. Шкала с вопросом «насколько известен» предназначена для оценки возможного индекса непроявленности (приобретение неявных знаний предполагает меньшую обеспеченность со стороны внешних условий, информация, которую они содержат, может быть менее известна окружающим, чем какая-либо другая). Шкала, включающая вопрос «как часто», предполагает оценку генеральной способности или применимости примера знаний в рамках различных должностей, существующих в данной сфере. И наконец, шкала с ключевым словом «концепция» оценивает имплицитные теоретические установки в деятельности респондентов. Вместе четыре шкалы помогают составить полную, но не перегруженную деталями картину неявных знаний по каждой позиции, чтобы оценить потенциальный вклад каждой из них в составление тестовых вопросов на выявление этих знаний.

Нас интересуют в первую очередь те случаи, которые:

1) оценены как лучшие теми, кто считается преуспевающим в интересуемой сфере деятельности;

2) не рассматриваются как общие знания, присущие людям, работающим в этой области;

3) оценены как характерные ситуации, с которыми приходится сталкиваться человеку в данной сфере;

4) соответствуют деятельности, которой занимаются люди, достигшие успеха в данной области.

Чтобы идентифицировать примеры, которые были одобрены экспертами, мы получили данные о критерии соответствующей деятельности. В исследованиях, проведенных с офицерами армии, нами выявлены два критерия измерения, характеризующие оценку опыта и деятельности. Первый был выражен как диапазон различий между действиями эксперта и новичка, деятельность же измерена на основе того, как эффективность работы данного офицера была оценена другими командирами. Ответы, данные в ИНЗ, были проанализированы по этим критериям, чтобы определить примеры неявных знаний для включения в опросник. В результате анализа получена статистика примеров, которая была использована в процессе отбора.

Мы применяли дискриминантный анализ, чтобы определить пункты, по которым возможно разделить людей, имеющих больший и меньший опыт (Hedlund et al., 1999). В результате такого анализа установлена линейная комбинация дискрими-нантных величин (например, исследование примеров неявных знаний), что увеличивает разницу между группами (например, между опытными специалистами и новичками). Функция этих величин привлекается для того, чтобы установить значимость определений, если ее переменные отражают различия между группами. Дополнительно высчитывается корреляция между дискриминантными величинами и канонической дискриминантой функцией с тем, чтобы оценить их роль (например, исследование примеров неявных знаний).

Мы применили точечно-бисериальные корреляции между рейтингами примеров и рейтингами эффективной деятельности для идентификации примеров, в которых отразились ответы эффективно действующих специалистов. Статистика их может быть использована при разработке структуры категорий на этапе интервью для отбора примеров, в большей степени объясняющих успех исполнения работы и в большей степени охватывающих неявные знания, свойственные данной области деятельности.

Создание инструментария

Фазы идентификации знаний и отбора примеров для разработки опросника неявных знаний приводят к очевидному результату, служащему материалом для этапа окончательного моделирования инструментария. Эти результаты предполагают расшифровку интервью и выводов из них; структура категорий выводится в результате отбора информации экспертами и посредством кластерного анализа; для опросника привлекаются и примеры, определенные посредством статистики, а также примеры знаний, включенные в базовую структуру категорий, и те, что получены после статистической обработки анкет. На следующей фазе разработки теста вопросы предварительного опросника конструируются как на основе отобранных примеров знаний, так и на основе выводов. Вопросы, нацеленные на выявление неявных знаний, содержат описание ситуации, после чего следует несколько возможных откликов на нее. Хотя пример знания, представленный в «сжатом» виде, полезен при описании ситуации, все же предпочтительнее подключать детали реальной ситуации, чтобы обеспечить более полное описание проблемы. Использование в вопросе большего объема контекстуально и ситуативно обусловленной информации предоставляет респонденту больше оснований, по которым он может оценить уместность той или иной потенциальной реакции на заданную ситуацию. Реальная же история также является источником для разработки вариантов реагирования на нее.

В том случае, если исследователи удовлетворены предварительным опросником неявных знаний, полезно показать его экспертам в соответствующей области деятельности. Один из методов обратной связи — это привлечение особой группы специалистов, цель которых — рассмотреть и обсудить опросник1.

1 Эта группа специалистов в конкретной области обсуждает тот или иной вопрос, при этом за ней ведется скрытое наблюдение и все замечания и высказывания данных специалистов тщательнейшим образом фиксируются и затем обрабатываются. — Примем, перев.

Проводя исследования, мы ознакомили участников такой группы с целями проекта и кратко разъяснили конструкт неявных знаний, не обращаясь к научной терминологии. Их просили оценить соотнесенность вопросов анкеты с конструктом. При этом они должны были уточнить, каждый ли вопрос связан со знаниями, полученными на основе личного опыта, и способствует ли он определению неявных знаний. Кроме этого, специалистов попросили заполнить лакуны, внеся дополнения в предложенный опросник. Точнее, их попросили предложить дополнительные правдоподобные варианты ответов на некоторые вопросы, определить примеры, недостаточно ясные или вообще темные, идентифицировать проблемы полового, расового и этнического характера, а также выявить то, что кажется им неправдоподобным в вопросах анкеты.

Исследователи благодаря работе группы специалистов получили данные «обратной связи» и воспользовались ими, чтобы скорректировать опросник. Например, вопросы, относительно которых суждения специалистов не были единодушными и утвердительными, могли быть исключены из него. Аналогично, вариант ответа или сценарий действия, против которого возражают два или более участников, отклоняется. Данная экспертная группа может предложить дополнительные опции отклика или сценарий поведения, которые будут добавлены в опросник. Конечным результатом такого процесса разработки теста является проверенный опросник по неявным знаниям, применимый к людям, занимающим самые разные должности. Он пригоден для дальнейших исследований, касающихся, например, валидности конструкта, выведенной на основе разных критериев.

Создание опросника неявных знаний: выводы

Этапы, которые мы описывали выше, помогают при разработке тестов на неявные знания. Примеры последних были получены в результате интервью, и их можно назвать сырьем для разработки теста. В течение этого процесса они подвергались качественному (распределение по категориям) и количественному (оценка свойств) анализу. Различные этапы позволяют ответить на два основных вопроса о совокупности неявных знаний, после чего и можно разработать инструментарий для их определения. Во-первых, какие из примеров неявных знаний более всего подходят для разработки вопросов теста? Во-вторых, что поясняет структура, репрезентируемая примерами неявных знаний, относительно структуры конструкта, связанного с данной областью деятельности, и почему наши тесты на неявные знания охватывают данную сферу? Результатом этого процесса является, опросник, который с большей вероятностью обладает как внутренней, так и внешней валидностью. Данный вопрос рассматривается в последней части этой главы.

Определение валидности опросника

Важная часть в разработке любого теста — определение валидности его построения. В отличие от многих тестов, измеряющих уровень интеллекта, мы не полагаемся исключительно на те условия, что предлагаемые образцы следует перегружать различными факторами и что они должны быть критериями внешней деятельности, подтверждая, что тестом измеряется интересующий нас конструкт. По замечанию Нанэли и др. (Nunally, 1970), подходы, основанные на валидности критерия, являются проблематичными, часто показывая недостаточно качественную методику оценки. Они ведут к появлению тестов, допускающих слабую внутреннюю согласованность, неразвитую структуру факторов, нестабильность по отношению к критериям, не являющимся основополагающими при выборе позиций тестирования.

Мы опираемся как на теоретическое, так и на эмпирическое обоснование, чтобы обеспечить валидность тестов, определяющих неявные знания. Для этого привлечена унифицированная модель Мессика (Messick, 1995), чтобы показать теорию неявных знаний и этапы разработки теста, которые мы схематично изложили. Модель Мессика обращена к традиционным, автономным формам валидности (содержание, конструкция и критерии) как аспектам более общей валидности конструкта. Соответственно важнейшей целью валидизации тестов является утверждение интерпретации подсчетов в рамках теста и их использования. Осуществляется это благодаря сочетанию рациональных теоретических и эмпирических доказательств.

Содержательный аспект

Данный аспект валидности подтверждает, что содержание теста является значимым и показательным для конструкта, о котором идет речь. Он соотносится с теми значениями, что подпадают под традиционное название валидности содержания. В контексте разработки теста для определения неявных знаний целеполагание приемлемости конструкта заставляет выработать такие вопросы, которые бы обладали восприимчивостью к знаниям, типичным для рассматриваемого конструкта, и были бы несущественными относительно областей знаний, рассмотрение которых в данный момент не предполагается. Первым шагом в процессе разработки теста оказывается этап идентификации, берется интервью у руководителей. В этом случае мы ориентируем участников на их личный опыт, уводя от формальных принципов или от официально существующих в данной области деятельности теоретических догм. Вторым этапом является отбор. На этой фазе руководителей просят оценить качества предложенных им примеров, неявных знаний. Эта оценка (т. е. средняя величина и ее колебания) может подтвердить значимость указанных примеров для основного конструкта. Например, примеры неявных знаний, получившие низкую оценку (те, что респонденты посчитали малоинформативными), могут вовсе не иметь отношения к достижению успеха в работе. Или примеры, в оценке которых эксперты незначительно расходятся (когда респонденты в целом единодушно высказывались относительно качеств — соответствующих или плохих — тех знаний, что отражены в примере), могут не отражать знания, полученные в опыте индивида, если те в целом оцениваются как показательные. Помимо этого, задача обосновать приемлемость конструкта осуществляется и за счет того, что на различных стадиях разработки теста обращаются к экспертам в соответствующей области и просят оценить важность примеров неявных знаний для их конструкта.

Задача его репрезентативности требует таких примеров неявных знаний, которые являются типичными в рамках рассматриваемой области деятельности.

Первичным этапом в решении данной задачи оказывается идентификация при интервьюировании ряда руководителей, представляющих различные направления деятельности в пределах рассматриваемой области. Например, армейские командиры, занимающие одну и ту же должность (например, командир взвода), могут внести пояснения к одному из многих родов войск (пехота или инженерные войска). Поэтому мы рассматривали интервью с офицерами, представляющими различные рода войск, чтобы обеспечить высокую репрезентативность отмеченных знаний. Второй ступенью служит фаза отбора. На этом этапе участников просят оценить, как часто может возникнуть ситуация, служащая примером получения неявных знаний. Примеры, оцененные в среднем достаточно низко и обладающие слабой вариативностью, можно считать случаями, которые большинство руководителей относит к маловероятным или практически не происходящим в их сфере деятельности. Поэтому они не репрезентируют неявные знания в данной профессиональной области. Категории, выявленные в результате кластерного анализа, также подтверждают репрезентативность конструкта. Примеры выбираются, чтобы отразить каждую категорию неявных знаний из большого их числа, чем достигается оптимальный объем конструкта. И наконец, на некоторых ступенях разработки тестов учитываются экспертные заключения относительно конструкционной репрезентативности предлагаемых примеров. После первичного списка потенциальных разделов неявных знаний, полученного на основе интервью, экспертов просят критически оценить репрезентативность каждого из них, а также исключить те примеры, которые, на их взгляд, имеют очень узкую или слишком техническую направленность (например, как сохранить запасы химического оружия). Их просят исключить и те примеры знаний, что лишь в незначительной степени имеют отношение к их руководящей работе (например, как избежать стрессов на работе, если ты родитель-одиночка). Экспертов снова просят оценить репрезентативность предложенных примеров, после разработки предварительных вопросов теста.

Субстантивный аспект

Под субстантивным аспектом валидности понимают теоретическую сущность неявных знаний и ее связь в выполнением задания (или теста). Шагом в достижении субстантивной валидности являются наша когнитивная модель и характеристика неявных знаний, изложенные в шестой главе. Модель показывает, как приобретаются неявные процедурные знания и как их можно применить в решении повседневных проблем. Модель позволяет показать, как обладание ими благоприятствует (по сравнению с приобретением явных процедурных знаний) способности реагировать на контекстуально обусловленные проблемы реальной сложности. Характерные признаки неявных знаний (полученных в результате личного опыта, имеющих процедурный характер и обладающих ценностью инструментария) потенциально соотносятся с успешной деятельностью. Их когнитивная модель, на основе которой происходит идентификация и измерение этих знаний, теоретически обусловливает исполнение теста. Следовательно, она напрямую служит обеспечению субстантивной валидности. Последняя может быть подкреплена также выявлением (благодаря эмпирическим исследованиям) меры, в которой участники полагались на свой личный опыт, а не на полученные знания при выполнении повседневных задач реального характера.

Структурный аспект

Структурный аспект валидности относится к степени соответствия внутренней структуры теста и внутренней структуры конструкта. Это связано со спорными вопросами относительно репрезентативности конструкта. Первым этапом обеспечения структурной валидности является сбор интервью и определение знаний руководящих работников во всех областях, репрезентирующих сферу их деятельности. Например, исследуя деятельность армейских офицеров, мы брали интервью с военными трех основных родов войск, существующих в армии (пехота, артиллерия и войска инженерно-технического обеспечения). Структурная валид-ность также достигается путем контроля методики измерения (например, ИНЗ). Используя примеры, предложенные руководителями, надо избежать того, чтобы наши анализы и разработки тестов соответствовали лишь ограниченному подмножеству неявных знаний. Конечно, структурный аспект валидности скорее относится к статистическим приемам, таким как кластерный анализ и многомерное ранжирование, которые выявляют внутреннюю структуру предлагаемых примеров. Исследуя ее, мы получаем более широкую схему выборки примеров неявных знаний. Таким образом, оправдываются пути в разработке тестов, отражающих структуру конструкта (области практических, ориентированных на действия знаний, которые люди получают посредством собственного опыта).

Обобщающий аспект

Он свидетельствует о той степени, в какой множество свойств и интерпретаций являются общими для всех групп, условий и задач. Обобщающий аспект включает в себя элементы, которые обычно характеризуют достоверность. В контексте разработки теста на неявные знания данный аспект валидности предполагает определение такого множества этих знаний, которое было бы общезначимым в организации, применении теста и его альтернативных форм. Разрабатывая тест, мы стремились учесть содержательный, субстантивный, структурный и обобщающий аспекты валидности. Выявляя отличительные признаки конструкта и оценивая его, а не только исследуя соотношение с внешними критериями, мы смогли достичь большей валидности числа интерпретаций нашего теста на неявные знания.

Внешний аспект

Внешний аспект связан с критериями валидности. Это означает подтверждение того, что тесты соотносятся с внешними критериями. Целью оказывается получение подтверждения конвергентной и дискриминантной валидности. Определение последней показывает, что подсчет в рамках теста на неявные знания больше коррелирует (конвергирует) с теоретически соотносимым конструктом, таким как исполняемая деятельность, и слабее (дивергенция) с теоретически отличным, таким как генеральный интеллект или формальные служебные знания.

Разработка теста позволяет детально описать и оценить конструкт неявных знаний и выбрать критерии валидности. Например, руководителей просили указать важные уроки, полученные ими в процессе своей работы, а не те знания, которые они приобрели в школе. Эти требования увеличивают вероятность того, что примеры неявных знаний будут связаны с критериями деятельности, о которой идет речь, и отличаться от официально полученных знаний. Исследование, проведенное на стадии отбора, означало тщательную оценку связи предлагаемых примеров с внешним критерием. Этот шаг помог идентифицировать примеры неявных знаний, являющиеся показательными для успешной деятельности.

Помимо таких усилий, предпринятых в процессе разработки теста, дополнительным шагом становится подтверждение конвергентной и дискриминантной валидности. В случае с тестами на неявные знания вероятным дискриминантным подтверждением может быть то, что уменьшается воздействие генерального интеллекта, способность истолковывать и значение официально полученных знаний. Достижение конвергентной валидности означает корреляцию подсчетов в рамках тестов на неявные знания с такими величинами, как ощутимая эффективность работы, степень карьерного роста и его оценка, действия при выполнении служебных заданий. Чтобы получить эти доказательства, требуется исследовать подтверждение валидности, при этом измерения указанных величин либо контролируются индивидом, либо получены от него самого. Например, проводя исследования менеджеров и военных руководителей, мы использовали опросник неявных знаний наряду со способами измерения генерального интеллекта и связанных с ним конструктов. Мы обнаружили различные критерии исполнения служебных обязанностей, например рейтинги руководителей, зарплата и продуктивность. Для определения конвергентной и дискриминантной валидности использованы корреляционный и иерархический регрессивный анализ. Конвергентная валидность подкрепляется тем, что существует значимая взаимосвязь между подсчетами по тестам на неявные знания и критериями деятельности (например, оценкой начальства). Дискриминантная валидность подтверждалась нулевой или очень слабой корреляцией с такими измерениями, как уровень генерального интеллекта и основные должностные знания, а также возрастающей валидностью подсчетов по тестам на неявные знания вне этих измерений.

Результирующий аспект

Им называется оценка предполагаемого множества интерпретаций как основы для действий. Поскольку тесты на неявные знания могут быть полезны для оценки работников, важно рассмотреть, какие знания, подразумеваемые в вопросах теста, совпадают с культурой и правилами организации. Например, если их пример отвечает всем критериям неявных знаний, упомянутых нами (например, соответствует определению «неявный», демонстрирует существенную позитивную корреляцию с эффективной деятельностью), но противоречит культуре, господствующей в организации (например, предположение о том, что у женщин меньше ответственности, чем у мужчин), или фиксирует неповиновение имеющимся предписаниям (например, предположение о том, что финансовые результаты могут быть подделаны), тогда он не годится для включения в тест. Обращение к экспертам, просматривающим примеры неявных знаний во время разработки теста, помогает убедиться в том, что выводы, связанные с результирующим аспектом валидности, имеют адресный характер.

Резюме

Цель выработки теста, схематически представленного в этой главе, заключается в том, чтобы установить конструкцию валидного измерения неявных знаний. Наша теоретическая модель, описанная в шестой главе, является, как мы надеемся, шагом в направлении достижения данной цели. Уточним, что, рассматривая неявные знания на теоретическом уровне, мы определяем стадию, на которой более детально рассматривается содержание примеров, — стадию отбора. Таким образом, мы увеличиваем субстантивную валидность наших тестов. Анализ рейтингов примеров и данных о деятельности представляет собой второй этап измерения конструкта. Определяя те примеры, которые наиболее связаны с критерием действия, мы точнее отберем примеры и соответственно вопросы для нашего теста, ярче всего демонстрирующие, что обладание неявными знаниями является важным преимуществом в процессе человеческой деятельности. Анализ основной структуры, производимый путем распределения предложенных примеров по категориям, представляет собой третий этап на пути разработки теста. Оценивая структуру области неявных знаний (на основе данных из приводимых нами примеров), мы можем принимать более обоснованные решения о распределении содержания разделов в нашем тесте и таким образом увеличить структурную и обобщающую валидность интерпретаций. И наконец, проведя исследования валидности, мы убеждаемся в том, что неявные знания являются важными для понимания деятельности в рассматриваемых нами областях, а также демонстрируют, что это понимание находится за пределами традиционных показателей деятельности. В восьмой и девятой главах мы рассмотрим вопросы разработки тестов, измеряющих неявные знания как в гражданской, так и в военной сфере, и вопросы определения валидности этих тестов.