Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

ячейки окажутся пустыми и таблица развалится. Также всегда указывайте, как именно вы поделили выборку (по середине, третям или четвертям), — от этого цифры заметно меняются.

Анализ выживаемости

Анализ выживаемости нужен, когда у вас есть лонгитюдные данные по текучести — то есть вы знаете не только факт ухода сотрудников, но и время от тестирования до ухода, и часть людей на момент анализа еще работает.

Использовать здесь логистическую регрессию рискованно. Если закодировать «еще работающих» как «оставшихся», результат окажется искаженным: сотрудники со стажем полгода и пять лет попадут в одну категорию, хотя их перспективы уйти заметно разные. Для этой проблемы разработан отдельный класс методов — анализ выживаемости.

В результатах этого метода обычно появляются два инструмента: кривые Каплана — Мейера (они показывают, какая доля сотрудников остается в компании по месяцам после тестирования, и позволяют сравнивать группы по баллам теста) и регрессия Кокса. Главная метрика на выходе регрессии Кокса — hazard ratio (отношение рисков), аналог odds ratio с учетом времени. Например, отношение рисков 2,0 означает, что у сотрудников с низким баллом теста риск уйти в каждый момент времени вдвое выше, чем у сотрудников с высоким.

Если же вы используете контрольную точку (например, шесть месяцев — срок окупаемости найма) и просто считаете, сколько сотрудников ее преодолели, — хватит логистической регрессии. Анализ выживаемости имеет смысл, когда хочется понимать динамику ухода во времени, а не только факт.

Что может занижать результаты

Прежде чем делать вывод о тесте по полученным цифрам, нужно помнить одну важную вещь: результаты валидационного исследования, как правило, занижены. Корреляция 0,18 в вашем отчете может означать, что тест на самом деле работает на уровне 0,3 — просто данные не позволяют это увидеть. Есть четыре главные причины, почему так происходит.

Первая — ограничение разброса. В выборку у вас попадают, как правило, только те сотрудники, которые уже прошли отбор по этому или похожему тесту. Представьте, что вы сопоставляете результаты теста с финансовой эффективностью продавцов. В данных вы, скорее всего, не увидите ни самых слабых (их не наняли или уже уволили), ни самых сильных (их повысили или они ушли в другую компанию). Остается середина — и на сузившемся диапазоне любая связь выглядит слабее, чем она есть на полной популяции. Корреляция занижается — иногда в полтора-два раза по сравнению с тем, что было бы получено на полной популяции кандидатов.

Вторая — надежность критерия. Если внешний критерий — это оценка одного руководителя или среднее по трем респондентам в «360 градусах», сам критерий уже несет значительный шум. Это создает потолок для корреляции: тест может прогнозировать реальное поведение очень хорошо, но если критерий измеряет это поведение плохо, корреляция между ними не сможет превысить определенного уровня. В HR-практике такой «потолок» часто составляет 0,3–0,5.

Здесь есть и обратная ловушка. Если тест целится в ту же оценку руководителя — и тест, и критерий отражают общее «нравится / не нравится», — связь, наоборот, окажется завышенной: вы измеряете не прогноз поведения, а согласие двух взглядов на одного человека. Поэтому критерий и тест должны быть независимыми источниками.

Третья — низкая частота события. Мы уже обсуждали это в разделе 11.5: если нарушения зафиксированы у 1–3% сотрудников или текучесть очень низкая, корреляции механически занижены. Или если ушел 1% сотрудников, тест, который по всем подряд говорит «останется», точен на 99% — и совершенно бесполезен. Эту базовую планку (долю самого частого исхода) называют no-information rate. Здесь спасение — переходить к odds ratio и AUC, они страдают от этой проблемы заметно меньше, чем корреляция.

Четвертая — временной разрыв. Чем больше времени прошло между тестированием и замером критерия, тем слабее ожидаемая связь. Для способностей и устойчивых личностных характеристик этот эффект меньше, для мотивационных и эмоциональных шкал — больше.

Что с этим делать. В академической среде корреляции принято корректировать на эти искажения по специальным формулам [160]. Скорректированные значения обычно на треть–четверть выше сырых (корреляция была 0,25, стала 0,33). Но поправки требуют данных — насколько срезана выборка, какова надежность критерия. Без них любая коррекция — додумывание. Я рекомендую в аналитическом отчете показывать обе цифры: сырая корреляция говорит, что мы реально увидели в данных, скорректированная — что, по нашей оценке, дал бы тест в идеальных условиях.

Отдельная оговорка — в сторону завышения показателей точности теста, а не занижения. Если задания теста отбирались на той же выборке, на которой вы теперь измеряете валидность, показатель будет завышенным: тест подгонялся под этих людей. Чтобы цифре можно было верить, валидность проверяют на другой выборке.

И важный вывод: не выбрасывайте тест с корреляцией 0,18, не разобравшись, что ее занижает. Возможно, дело не в тесте, а в данных. Но и не внедряйте сразу тест с корреляцией 0,58 — возможно, в данных тоже есть какая-то ошибка.

11.7. Принятие решений

Вы прошли весь этот большой путь, и теперь у вас есть данные. Нужно их проинтерпретировать — понять, хорошо сработал тест или нет, чтобы принять решение, что с ним делать.

Главное, что нужно понимать про эти цифры: они не пороги, выше которых тест «работает», а ниже которых «не работает». Это вход в рассуждение, а не ответ. Корреляция 0,15 может оправдывать использование теста, если других инструментов под задачу у вас нет, а цена ошибки высока — например, при отборе водителей пассажирского транспорта. И наоборот, корреляция 0,3 может означать «давайте искать что-то лучше», если на рынке есть инструменты с известной валидностью 0,4 и стоимость замены невысока. Решение зависит от двух вещей: есть ли альтернатива и какова цена ошибки отбора.

Если коротко, у вас есть три варианта. Первый — оставить тест как есть. Самый ясный случай — тест дает рабочий эффект: тогда его оставляют независимо от альтернатив и цены ошибки. Но «оставить» бывает верным и при слабом эффекте — если замены нет или она не лучше, а цена ошибки невысока: слабый тест все равно полезнее, чем никакого.

Второй — заменить тест. Главное условие здесь — есть конкретная альтернатива с проверенной валидностью. Если тест дает слабый эффект или не работает вовсе, а на рынке есть инструмент получше — тест меняют (иногда достаточно пересобрать батарею, а не менять все). Менять вслепую, на другой непроверенный инструмент, смысла нет — велик шанс получить тот же результат.

Третий — отказаться от тестирования на этом этапе вовсе. Это когда тест не дает эффекта, заменить его нечем, а цена ошибки невелика — продолжать тестирование значит терять время кандидатов и деньги компании. В этом случае задача отбора решается другими методами: интервью, пробным днем, центром оценки (а иногда и