Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

• содержательная валидность. В какой мере содержание теста (его вопросы, задания) покрывает измеряемую область: область знаний, психологическое качество;

• конструктная валидность. В какой мере тест действительно измеряет тот теоретический конструкт, который заявлен;

• критериальная валидность. В какой мере результаты теста прогнозируют необходимые события.

Содержательная валидность

Содержательная валидность отражает, в какой мере содержание заданий теста подобно задачам, которые человек выполняет или будет выполнять в своей работе. Приведу примеры, как разработчики тестов повышают содержательную валидность разных видов тестов.

Способы повышения содержательной валидности разных видов тестов

Содержательная валидность связана с очевидной (англ. face) валидностью. Очевидная валидность отражает, в какой мере участники верят, что задания теста измеряют то, для оценки чего они предназначены. В качестве примера приведу опросники благонадежности. Если мы прямо спрашиваем участника, как часто он выпивает, участник понимает, как задание опросника связано с измеряемой склонностью к алкоголизму. Для участника такое задание обладает очевидной валидностью, и это хорошо. Если же мы предъявляем задание с выбором двух изображений — одно отражает склонность к алкоголизму, а другое нет, — участник скорее не поймет, как оно связано с измеряемым качеством. Как следствие, он, при наличии выбора, с меньшей вероятностью пройдет опросник до конца — и менее охотно примет результаты тестирования.

Содержательная валидность редко измеряется, чаще провайдер объясняет, как содержание заданий связано с работой. Если провайдер и измеряет содержательную валидность, то только в процессе разработки заданий теста. Это делают эксперты-разработчики теста — они ставят каждому заданию числовую оценку, отражающую связь с измеряемым качеством. В этом случае уровень содержательной валидности — это усредненные оценки экспертов. Задания с низкой содержательной валидностью исключаются из теста еще до апробации теста на реальной выборке.

Содержательная валидность обеспечивает основу для двух других типов валидности — конструктной и критериальной.

Конструктная валидность

Это то, в какой мере тест оценивает необходимые психологические качества (конструкты). Конструктная валидность оценивается через связь с другими тестами, которые оценивают такие же качества, или близкие к ним, или противоположные. Например, мы хотим создать тест критического мышления. Разрабатываем задания, с нашей точки зрения, требующие от человека этой способности. А далее мы можем оценить, действительно ли тест оценивает то, что в сообществе психологов принято называть критическим мышлением. Мы проводим на одной выборке и наш тест, и другие аналогичные тесты.

Другой пример — мы разработали опросник деструкторов. Для проверки его конструктной валидности мы берем другие опросники, измеряющие «темные стороны» личности, например Темную тетраду или собственно деструкторы. Наш опросник с этими опросниками должен коррелировать — по крайней мере в части шкал, которые имеют одинаковый смысл. И также мы можем взять опросники, измеряющие, наоборот, «светлую сторону» личности — Большую пятерку, HEXACO или другие модели личностных факторов. Наш опросник с ними должен, напротив, коррелировать отрицательно, так как измеряет противоположные качества.

В связи с этим выделяется два вида конструктной валидности — конвергентная и дивергентная. Конвергентная валидность отражает как раз связь с другими похожими тестами; дивергентная — с противоположными.

Оптимальный уровень конвергентной валидности — в интервале 0,3–0,7. Более низкая корреляция указывает на то, что тест оценивает слишком отличные друг от друга качества. А более высокая — что результаты вашего теста уже близки к дублированию старого теста.

На одной конференции известный оценочный провайдер презентовал свой новый тест. В числе преимуществ теста представитель провайдера назвал конструктную валидность в 0,9. Внимательные слушатели конференции отметили, что такая высокая корреляция указывает на повторение результатов бесплатного теста (в сравнении с которым как раз проверялась конструктная валидность). В связи с этим возник вопрос, зачем нужен данный тест, если он не привносит ничего нового по сравнению со старым — да еще и бесплатным. Иными словами, очень высокий уровень конвергентной валидности указал на бесполезность нового теста.

Требования к дивергентной валидности ниже — от –0,2 до –0,6. Это связано с тем, что наша психика может держать в себе одновременно достаточно противоположные явления. Например, у конкретного человека могут присутствовать одновременно мотивация достижения успеха и мотивация избегания неудач. Поэтому добиться высоких отрицательных корреляций между какими-то явлениями достаточно трудно.

Конструктная валидность — самая «забытая» валидность в оценке персонала. Она проверяется реже критериальной, по сравнению с содержательной валидностью слабо учитывается при разработке тестов. Причина состоит в том, что для практиков не так важна идейная преемственность в создании инструментов. А именно на это указывает конструктная валидность: мы используем опыт наших предшественников. В оценке персонала важнее создать новые конструкты, которые могут хорошо предсказывать поведение.

Тем не менее исследовательская традиция сильна в оценке персонала, поэтому конструктную валидность продолжают проверять. Приведу основные подводные камни при таких проверках.

Главная проблема в конструктной валидности как раз в тестах, с помощью которых мы проверяем валидность. Как мы можем быть уверены, что эти тесты тоже обладают конструктной валидностью? Или что они в целом являются колько-нибудь работающими инструментами? Иными словами, это вопрос «А судьи кто?». Поэтому для проверки конструктной валидности принято брать тесты, получившие наибольшее признание в исследовательской среде.

Исследовательские тесты, которые можно использовать для проверки конструктной валидности

Необходимо учесть, что большая часть исследовательских тестов разработана для ситуации консультирования (low-stakes) и поэтому они не защищены от социальной желательности. В связи с этим конструктную валидность нужно проверять также в ситуации консультирования, а не отбора.

Важно очень точно сопоставлять смысл шкал теста, у которых проверяется конструктная валидность. Может быть так, что шкалы в опросниках называются одинаково, при этом имеют разное содержание. Поэтому шкалы нужно сопоставлять не на уровне названий или даже их интерпретаций, а на уровне заданий.

Критериальная валидность

Главный вид валидности в оценке персонала — это критериальная валидность. Когда спрашивают: «Какова валидность данного теста?», практически всегда имеют в виду критериальную валидность. Она отражает, в какой мере результаты теста связаны с внешними критериями — какими-то событиями или результатами в жизни человека. Для тестов есть два вида внешних критериев.

• Поведение, проявляемое человеком на работе. В этом случае проверяется, насколько «кооперативность», которую человек показал в тесте, на самом деле проявляется в жизни.

• Бизнес-показатели — результативность, карьерный рост, уход из компании. Так оценивается связь тестов с объективными и измеримыми показателями, важными для компании.

Виды внешних критериев для проверки критериальной валидности

Оптимальный показатель критериальной валидности — 0,15–0,5. Показатели немного ниже допускаются — вплоть до 0,1, но только если тест предполагается использовать на больших «тысячных» выборках. Например, в отборе массового персонала или крупных кадровых конкурсах.

Когда я только начинал разрабатывать тесты, мне случилось быть на переговорах с одной международной сетью отелей. Напротив меня и моей коллеги сидел HR-директор российского офиса. Когда переговоры практически