Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

подошли к концу, HR-директор спросила, какова валидность предлагаемого теста. Я набрал полную грудь воздуха и с гордостью выпалил: «Две сотых (0,02)». Ошибся я ровно на порядок — реальная валидность теста была две десятых (0,2). Волнение взяло свое. Я уже был готов исправиться, но увидел, что HR-директор осталась довольна ответом и записала две сотых в свою записную книжку. Спустя неделю мы узнали, что компания будет использовать тест.

Этот случай иллюстрирует, что термин «валидность» действительно стал использоваться в оценке персонала, но в ряде случаев — декларативно.

Показатели критериальной валидности выше 0,5 (или выше 75% в процентном отношении) должны вызывать подозрение. В техническом отчете по тесту одного провайдера было написано: «Мы подтвердили результаты исследования и получили прогностическую валидность от 87% до 100% как для прогноза личной эффективности, так и для прогноза межличностных взаимодействий». Очень высокие показатели критериальной валидности указывают на ложь со стороны провайдера.

Это связано с тем, что человек слишком сложное существо — люди обманывают себя, пытаются обмануть тест, иногда не обладают мотивацией к заполнению теста и поэтому проходят его спустя рукава. Да и сам тест не может быть идеальным с точки зрения заданий: всегда есть некоторая погрешность. Поэтому инструменты оценки — и тесты на самом деле не исключение — редко достигают настолько высокой точности.

4.2. Надежность

На результаты тестирования влияет большое количество помех.

• Настроение и состояние участника. Он может заполнять тест в хорошем настроении и будучи отдохнувшим, а может, наоборот, в уставшем или болезненном состоянии.

• Внешние факторы — обстановка, в которой участник проходит тест, ответы администратора. Тест можно проходить в тесном и душном помещении офиса, можно дома с отвлекающими домочадцами, а можно в удобном и спокойном месте. Администратор тоже может неосознанно давать подсказки и помогать участникам, а может снабжать только необходимой информацией.

• Наконец, не все задания теста являются идеальными. Иногда в тест попадают откровенно неудачные задания. В первую очередь это касается пилотных версий теста. Далее они «вычищаются» из теста; но и оставшиеся задания можно выстроить в рейтинг — от самых сильных и качественных к более слабым.

Все эти помехи называют случайными, потому что приводят к непредсказуемым изменениям в результатах. Из-за них участник может получить как более высокий балл, так и более низкий.

Устойчивость теста к случайным помехам называют надежностью. Чем выше надежность теста, тем ниже его ошибка измерения — разница между гипотетическими «идеально точными» результатами и результатами, которые дает тест (и на которые повлияли случайные помехи). Иными словами, тест с высокой надежностью лучше защищен от случайных помех и поэтому его результат ближе к «идеально точному».

Существует два основных вида надежности, которые важны при выборе теста. Остальные виды надежности их дублируют.

Внутренняя согласованность

Каждая шкала теста должна оценивать одно качество, а не несколько, таким образом смешивая их. Это качество теста называют внутренней согласованностью. Внутренняя согласованность отражает то, в какой мере тест защищен от некачественного содержания — плохих заданий, непроработанной структуры шкал, неудачного формата заданий.

Общепринятый способ оценки внутренней согласованности — коэффициент альфа Кронбаха [14]. Не буду приводить формулу этого коэффициента — при желании его можно применить в специализированных статистических программах (SPSS, MATLAB, R и прочие). Максимальное значение согласованности — 1, а вот снизу коэффициент не ограничен. Впрочем, значения меньше 0 встречаются редко: как правило, они означают грубые ошибки в тесте.

При принятии решений используйте только те тесты, которые обладают необходимым уровнем согласованности. Это обязательный к проверке параметр теста, и он описывается в техническом отчете. Требования к согласованности зависят от вида теста.

Требования к внутренней согласованности

Согласованность теста зависит от многих факторов.

1. Связь заданий с одной шкалой. Задания должны оценивать только то одно качество, для оценки которого они предназначены. Это качество заданий называют дискриминативностью. Чем выше дискриминативность заданий, тем выше согласованность теста.

Дискриминативность показывает, насколько хорошо задание дифференцирует людей с низким и высоким баллом по тесту. Например, мы хотим узнать знание кандидатов в области подбора персонала. Мы создаем задания теста на знание источников поиска, включая сайты по поиску работы, подходы к ведению интервью, методы поиска на сложные вакансии. Эти задания относятся к одной содержательной теме, и поэтому они будут дискриминативными. Опытные и эффективные рекрутеры ответят на них верно, а начинающие или даже люди без опыта рекрутмента — неверно. Но если мы вдруг добавим задание про то, на сколько месяцев сотрудник мужского пола может уйти в отпуск по уходу за ребенком, тест станет менее согласованным. Потому что это задание отражает другую тему — кадровое делопроизводство, и в тесте на знание рекрутмента оно будет обладать низкой дискриминативностью. Иными словами, добавив это задание, мы как бы размоем ту область, которую оцениваем, сделаем ее менее цельной.

Чаще всего дискриминативность измеряется как корреляция между ответами на задание и баллом по шкале. После пилотных исследований в тестах остаются задания, которые коррелируют с баллом по шкале минимум на 0,2 — это нижний порог допустимого. Хороший уровень дискриминативности — от 0,3, отличный — от 0,4.

2. Понятность заданий. По исследованиям, удобочитаемость и понятность заданий положительно связаны с уровнем согласованности теста [87]. Участники дают более последовательные ответы, когда тест спрашивает про простые и понятные им вещи.

Это открытие было сделано в рамках такой области психометрики, как itemmetrics, изучающей создание заданий тестов [88]. Также в рамках itemmetrics было выявлено, что более короткие задания также работают лучше. Более того, участники чаще пропускают длинные задания, то есть не дают на них ответа [89]. Но здесь нужно искать баланс со сложностью заданий — чем они короче, тем проще будет угадать или дать социально желательный ответ.

3. Понятность оцениваемых качеств. Представим, что у нас есть шкалы личностного опросника. У каждой — одинаковое количество и качество вопросов. Самая высокая согласованность будет, например, у шкал «Следование правилам» и «Знакомство с новыми людьми». Более низкая согласованность — у шкал по типу «Внедрение изменений» и «Инициативное поведение». Мы с детства понимаем, что такое правила и что такое новые люди. А изменения и инициативность — более сложные понятия. Не все люди могут внедрять изменения или проявлять инициативу на своей работе, из-за отсутствия этого опыта им сложнее отвечать на соответствующие вопросы.

Иногда сложные и непонятные шкалы — это недоработка разработчика теста. Но иногда это требование заказчика. Топ-менеджер одного российского банка хотел оценивать у кандидатов «наличие экзистенциального смысла в управленческой работе» (формулировка сохранена в изначальном виде). Провайдер разработал три пилотные версии опросника, но все они были недостаточно надежными. Причина — термин «экзистенциальный» понятен не всем людям, из-за чего они