Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

что именно считают, и уметь прочитать отчет аналитика. Поэтому ниже я даю не формулы, а ориентиры: что показывает каждая метрика, какие значения считать рабочим результатом и какие подвохи бывают в интерпретации.

Корреляция

В самом начале книги я уже разбирал кратко, что такое корреляция и какие нормы — именно в критериальной валидности, а здесь речь о ней — для нее приняты:

• до 0,1 — нет корреляции;

• 0,1–0,19 — низкая;

• 0,2–0,29 — средняя;

• 0,3 и выше — высокая.

Корреляция выше 0,5 должна вас насторожить. Обычно в тестировании и оценке персонала таких корреляций не бывает. Если вы ее получили в исследовании критериальной валидности, скорее всего, где-то ошибка: например, оценщик знал результаты теста и опирался на них при оценке сотрудника или тест и внешний критерий измеряют практически одно и то же.

В 2013 г. мой коллега Евгений Лурье разобрал рекламу одного британского личностного опросника, который продвигался в России с валидностью 0,57 — очень большой цифрой для опросников. Мелкий шрифт технического отчета рассказывал другую историю. Валидационное исследование было устроено так: несколько сотен сотрудников заполнили сразу несколько личностных опросников — и опросник провайдера, и опросники его конкурентов. Руководители тем временем оценили этих же людей по специальной анкете, собранной по модели самого опросника. Затем посчитали, чьи шкалы сильнее коррелируют с оценками руководителей. Победил, конечно, опросник, по модели которого была сделана анкета: он совпадал с внешним критерием, а конкуренты, по сути, отвечали на чужие вопросы.

Также нужно помнить об уровне статистической значимости (та самая «p» рядом с корреляцией) — вероятности того, что такая связь могла бы возникнуть случайно, если бы на самом деле тест и критерий ничего не объединяло. Точнее говоря, насколько маловероятно получить такую или более сильную связь чисто случайно, если на самом деле тест никак не связан с критерием. Корреляцию принято считать значимой при p < 0,05.

Но статистическая значимость сильно зависит от размера выборки. На выборке 1000 человек значимой окажется уже корреляция 0,06 — практически бесполезная. На выборке 100 человек для значимости нужна корреляция около 0,2. Поэтому смотрите на обе цифры одновременно: корреляция должна быть и значимой, и достаточно большой по абсолютной величине.

Есть два основных вида корреляции — Пирсона и Спирмена. Корреляцию Пирсона используют, когда обе переменные числовые, а связь линейная (чем выше показатель теста, тем однозначно выше внешний критерий). Корреляцию Спирмена считают по рангам — она подходит для порядковых данных (например, уровни должности). Не рассчитывайте, что они всегда совпадут: расхождение между ними само по себе сигнал — о выбросах в данных или нелинейной связи.

Для простоты представления бизнес-заказчику корреляцию можно перевести в проценты по следующей формуле [159]:

50% (шанс случайного угадывания) + корреляция/2

По этой формуле максимальная точность теста — 100% (так как максимальное значение корреляции — 1) [43].

Отдельно — про посторонние переменные. Простая корреляция показывает связь «как есть», не разбираясь, чем она вызвана. Тест, где спрашивают, например, про советские дворовые игры, может прекрасно коррелировать с уровнем должности, но не потому что измеряет что-то полезное, а потому, что предсказывает возраст и стаж, а они и так связаны с должностью. Чтобы отделить вклад самого теста от таких «попутчиков», переходят от корреляции к регрессии: она оценивает связь теста с критерием, удерживая стаж, возраст и прочее постоянными.

Сравнение групп

Если внешний критерий — это категории (например, эффективные/неэффективные сотрудники), то вместо корреляции нужно считать разницу между средними баллами теста в этих группах.

Базовый метод здесь — t-критерий, он показывает, значимо ли отличаются средние двух групп (значимость трактуется так же, как у корреляции, p < 0,05). Сама же величина разницы выражается через размер эффекта — Cohen’s d, стандартизированную разницу средних (в долях стандартного отклонения). В одной из сносок в книге я приводил ориентиры для разницы средних, приведу еще раз:

• Меньше 0,2 — разница отсутствует;

• 0,2 — маленькая;

• 0,5 — средняя;

• 0,8 и выше — большая.

Для тестов в оценке персонала необходимый минимальный показатель — 0,4 и выше.

Тот же результат можно упаковать в AUC — это другая запись разницы между группами (d и AUC пересчитываются друг в друга), но в формате, который проще объяснить бизнес-заказчику. Эта метрика отвечает на простой вопрос: если случайно взять одного эффективного сотрудника и одного неэффективного, какова вероятность, что у эффективного балл по тесту окажется выше? AUC = 0,5 означает «тест работает как монетка», 1,0 — идеальный прогноз. Для тестов AUC около 0,6–0,65 — это уже нормальный рабочий результат.

Логистическая регрессия

Когда внешний критерий — это «да/нет»: ушел / остался в компании, нарушил правила / не нарушил, нужно использовать логистическую регрессию. Она оценивает, как балл теста влияет на вероятность события. На выходе вы получаете не корреляцию, а более интерпретируемые метрики.

Главная метрика — odds ratio (отношение шансов). Она отвечает на простой вопрос: во сколько раз выше шансы, что сотрудник уйдет или нарушит правила, если у него низкий балл по тесту (по сравнению с людьми с высоким баллом)? Например, OR = 2,5 означает, что у группы с низким баллом шансы события в 2,5 раза выше. Такой формат понятен большинству бизнес-заказчиков, в отличие от «корреляция 0,15».

И здесь также может применяться AUC — какова вероятность, что у случайно взятого ушедшего сотрудника балл по тесту окажется ниже, чем у случайно взятого оставшегося. Ориентиры те же: AUC около 0,6–0,65 — рабочий результат.

Для разговора с бизнес-заказчиком есть еще более простой способ показать тот же результат, без слов «шансы» и «вероятность». Разбейте людей по баллу теста на крайние группы (например, верхнюю и нижнюю трети) и посмотрите, как часто в каждой случился нужный исход.

Таблица ожиданий (на примере опросника благонадежности Integrity Profile)

Этот метод называется «таблица ожиданий». В российской оценке персонала его популяризировал Александр Шмелёв.

В таблице нужно суммировать ячейки, в которых тест «попал», — это и есть его точность. В примере выше тест попал в 69% случаев. Высокий балл означает, что тест считает человека неблагонадежным, — и таких людей, которых полиграф тоже не рекомендовал, 13% от всех оцененных. Низкий балл означает, что тест считает человека благонадежным, — и таких, которых полиграф рекомендовал, 56% от всех оцененных.

В обоих случаях тест и полиграф сошлись.

Две оговорки. Во-первых, это только формат подачи. Реальную силу связи берите из корреляции, odds ratio или AUC, а не из этой таблицы. Деление на крайние группы выбрасывает середину и делает разрыв визуально больше, чем он есть на всем диапазоне баллов. Во-вторых, в каждой группе должно быть достаточно людей с нужным исходом — при редком событии (нарушения у 1–3%)