Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

интеллект. Если задания генерирует языковая модель, этап экспертной проверки должен быть особенно обстоятельным. Модель уверенно создает правдоподобные, но часто неверные утверждения. Ни одно сгенерированное задание не должно попасть даже на пилотирование, пока его не прочитал живой эксперт.

Пилотирование заданий

Избыточный набор заданий должен пройти пилотирование. На этом этапе задания проверяются на адекватность — соответствие минимальным требованиям.

Большинство компаний пропускают этот этап. Часто случается так, что разработчик долго разрабатывал задания и он доволен результатом. Задания идут впрямую «на бой» — на оценку настоящих кандидатов и сотрудников. Но это ошибка — «неотпилотированные» задания могут на самом деле не работать. Они могут быть слишком трудными или простыми. Или просто не измерять знания в определенной профессии. Иными словами, тест знаний — это не просто набор вопросов, как может показаться на первый взгляд. Это инструмент, качество которого подтверждают специальные исследования.

Пилотирование проводится на выборке от 50 человек, лучше — 100 человек. В тесте проверяются следующие показатели:

• Трудность. Из теста должны быть исключены задания, на которые дают правильный ответ слишком много или, наоборот, слишком мало участников. Нижний порог всегда привязан к числу вариантов ответа: задание не должно решаться хуже, чем «методом тыка». При четырех вариантах шанс угадать — 25%, значит, исключайте задания, на которые правильно ответили меньше 30% участников пилотирования.

Верхний порог трудности — 90%. Такая асимметричность (не 25% и 75%, а именно 90%) связана с тем, что тесты знаний обычно спрашивают про вещи, которые более-менее известны в определенном кругу. Это нормально, когда на задания теста знаний правильно отвечают в среднем не 50% участников, а 60% или 65% [33].

Допустимая трудность заданий в тестах знаний

Таблица верна для заданий формата «единичный выбор». Во множественном выборе и ранжировании угадать намного труднее: правильную пару ответов из пяти вариантов можно угадать с шансом 1 к 10, правильный порядок четырех элементов — 1 к 24.

• Дискриминативность. Это то, в какой мере тест различает людей с низким уровнем владения темой и людей с высоким уровнем. Дискриминативность проверяется так: ответ на задание сопоставляется с итоговым баллом по шкале. Итоговый балл по шкале — это сумма ответов по шкале за вычетом самого задания (чтобы мы не сопоставляли сумму с ее слагаемыми и таким образом не завышали корреляцию). В тесте должны остаться задания с дискриминативностью минимум 0,2; хороший уровень — от 0,3, отличный — от 0,4.

Обычно после пилотирования исключается 20–50% заданий. Оставшиеся задания уже можно использовать для тестирования реальных кандидатов и сотрудников.

Создание системы расчета

Есть два подхода к расчету баллов в тестах знаний.

Первый подход — это КОРТ, или критериально-ориентированное тестирование. Сначала ставится пороговый балл — процент правильных ответов, который должен дать участник. В тестах знаний обычно это 70% и выше. Порог может доходить даже до 100% в случае тестирования очень чувствительных и требовательных тем, например правил безопасности. Далее вычисляется, какой процент правильных ответов дал участник, преодолел ли он порог.

Второй подход — НОРТ, или нормативно-ориентированное тестирование. В нем результат рассчитывается немного сложнее. Процент правильных ответов переводится в стандартизированную шкалу или в процентили.

• Стандартизированная шкала дает в результате нормальное распределение. Это когда большинство участников получают баллы, приближенные к средним значениям, а низкие и высокие значения имеет меньшинство участников. Стандартизированных шкал очень много, самые частые именно в HR — стены (от 1 до 10, среднее значение 5,5), станайны (от 1 до 9, среднее 5), Т-баллы (от 20 до 80, среднее 50).

• Процентили, наоборот, выравнивают распределение. Все участники получают баллы на шкале от 1 до 100 (или от 0 до 99, в зависимости от способа подсчета) — и это плоское распределение.

Иными словами, КОРТ сравнивает результат участника с каким-то порогом, а НОРТ — с другими участниками.

В большинстве тестов знаний используется КОРТ. К НОРТ прибегают, только если речь идет про изначально значительное количество людей в воронке. Если в этом случае использовать КОРТ, пороговый балл может получить слишком большое число людей. А НОРТ позволит сравнить участников друг с другом и отобрать всех, кто получил результат выше определенного балла — например, верхних 20% сотрудников. В остальном НОРТ используется во всех других тестах (тестах способностей, кейс-тестах, опросниках), и КОРТ в них не встречается.

Системы расчетов в тестах знаний

Автоматизация

Заключительный этап — перевод теста знаний на цифровую платформу.

Безусловно, тесты можно проводить и на бумаге: участники приходят в класс, помечают свои ответы ручкой, а администратор далее считает набранные баллы. Но этот формат трудоемок — необходимо вручную обрабатывать ответы. А в случае с нянями тестирование на бумаге и вовсе невозможно — его должны проходить люди из разных городов, и собрать их в одном месте не получится. Сейчас бумажное тестирование практически никем не используется, компании используют цифровые платформы.

Платформа для тестирования должна как минимум соответствовать следующим требованиям:

• Перемешивание заданий внутри теста. Если все участники будут видеть задания в одинаковой последовательности, им будет легче запомнить или списать их.

• Перемешивание ответов внутри каждого задания. Та же причина.

• Защита от искажений со стороны участника. Подробнее об этом в главе 6.

Сейчас тесты знаний переходят к более практическим и вовлекающим форматам заданий: кейсовым, заданиям с открытыми ответами и далее их обработкой с помощью ИИ, заданиям с изображениями и видео. Эти форматы делают тесты знаний — в общем, достаточно скучный вид тестирования — более вовлекающими, интересными для участников.

Как использовать тесты знаний

Тесты знаний — один из немногих видов тестирования, который измеряет уровень знаний и навыков, необходимых в повседневной работе. Остальные тесты оценивают в основном склонности и задатки. Это делает тесты знаний особенно полезными в оценке работников невысоких должностей с четким функционалом.

В целом тесты знаний используются для подтверждения квалификации сотрудника — чаще всего у представителей не менеджерских, а «исполнительских» специальностей. Задачи, в которых применяются такие тесты:

• подбор и отбор кандидатов;

• срез результатов обучения;

• аттестация;

• допуск к работе.

3.2. Тесты интеллектуальных способностей

Из всех психологических понятий «интеллект», наверное, самое известное. Когда мы описываем свой или чужой характер, в числе первых слов идет «умный» или «глупый». «Тупой» — одно из самых базовых и частых оскорблений в повседневных конфликтах.

И для оценки интеллекта существует отдельный вид теста, уверен, нам всем хорошо знакомый, — тест интеллектуальных способностей. Это самый хорошо исследованный формат тестирования. Впервые в оценке взрослых он начал применяться во время Первой мировой войны. К сегодняшнему дню проведено 20 000 исследований об эффективности тестов способностей, в которых приняло участие 5 миллионов человек [34].

Внимательный читатель может спросить: «Вы говорите про интеллект, а тесты при этом оценивают интеллектуальные способности. Так