Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

Конструктная валидность (construct validity) — то, в какой мере тест измеряет заявленный конструкт. Проверяется через связь с другими тестами. Есть два вида конструктной валидности — конвергентная и дивергентная валидность (convergent / divergent validity). Конвергентная — связь теста с похожими инструментами (должна быть положительной), дивергентная — с инструментами, измеряющими противоположные качества (должна быть отрицательной).

Корреляция (correlation) — мера связи между двумя переменными. Принимает значения от –1 до +1, ноль означает отсутствие связи, знак «минус» — связь обратную (одно растет, другое падает). Ориентиры зависят от задачи; для связи теста с внешним критерием: до 0,1 — связи нет, 0,1–0,19 — низкая, 0,2–0,29 — средняя, от 0,3 — высокая.

КОРТ, критериально-ориентированное тестирование (criterion-referenced testing) — подход к расчету теста, при котором результат участника сравнивается с заранее заданным порогом. Обычно это процент правильных ответов: в тестах знаний порог, как правило, 70% и выше, а по чувствительным темам вроде правил безопасности может доходить до 100%. Типичные ситуации использования КОРТ — аттестация, сертификация и оценка до и после обучения. Противоположностью КОРТ является НОРТ.

Критериальная валидность (criterion validity) — то, в какой мере результаты теста связаны с внешними критериями — поведением человека на работе или бизнес-показателями (результативность, карьерный рост, уход из компании). Это главный вид валидности в оценке персонала: когда говорят «валидность теста», почти всегда имеют в виду именно ее.

Лицензионная чистота — подтверждение того, что человек или организация имеет право предоставлять тест. Проверяется документами: у разработчика — свидетельством Роспатента о регистрации теста как программы для ЭВМ или свидетельством на товарный знак, у дистрибьютора — партнерским соглашением с правообладателем. Тесты без лицензионной чистоты — нелегальные, «пиратские» копии: они нарушают закон об авторском праве, устарели и содержат вопросы, не связанные с работой. Обязательная к проверке характеристика теста.

Метаанализ (meta-analysis) — статистическое объединение результатов множества исследований по одному вопросу в одну обобщенную оценку. В основе метаанализов в оценке персонала следующая идея: точность инструментов слабо зависит от контекста — должности, организации, страны, — а значит, исследования валидности можно суммировать и сравнивать инструменты между собой. Большинство обобщенных цифр валидности и надежности в этой книге — метааналитические.

Надежность (reliability) — устойчивость результатов теста к случайным помехам: настроению и состоянию участника, обстановке, поведению администратора, неудачным заданиям. С валидностью соотносится как кучность стрельбы с точностью: можно стрелять кучно (высокая надежность), но мимо мишени (низкая валидность). Два основных вида — внутренняя согласованность и ретестовая надежность. Обязательный к проверке психометрический показатель теста.

Нормативный формат (normative format) — формат заданий опросника, при котором участник оценивает каждое утверждение независимо — например, по шкале согласия от «1» до «6». Проще и приятнее для участника, чем ипсативный, но хуже защищен от обмана.

Нормы, тестовые нормы (norms) — правила пересчета сырых результатов теста в итоговые оценки, построенные по данным нормативной выборки — людей, ранее прошедших тест. Показывают, насколько высок результат человека на фоне других. Выборку, по данным которой рассчитываются нормы, называют нормативной (или выборкой нормирования).

НОРТ, нормативно-ориентированное тестирование (norm-referenced testing) — подход к расчету теста, при котором результат участника сравнивается с результатами других людей: балл переводится в стандартизированную шкалу или процентили. Если КОРТ отвечает на вопрос «преодолел ли человек порог», то НОРТ — «насколько он лучше или хуже остальных». Используется во всех тестах, кроме тестов знаний; в тестах знаний к НОРТ прибегают при изначально большой воронке, где порог прошло бы слишком много людей. Типичные ситуации использования НОРТ — подбор на входе в организацию и отбор в кадровый резерв.

Ограничение разброса (range restriction) — занижение связи теста с критерием из-за того, что в выборке остаются не все участники: самых слабых не наняли или уже уволили, самых сильных повысили или они ушли в другую компанию. На сузившемся диапазоне любая корреляция получается слабее, чем была бы на полной популяции участников. Одна из главных причин, почему результаты валидационных исследований, как правило, занижены.

Опрос (survey) — инструмент, в котором человек оценивает не себя, а внешнюю среду: коллег, организацию, ее процессы и культуру. Типичные примеры — опрос вовлеченности и опрос «360 градусов».

Опросник (questionnaire, inventory) — инструмент, в котором человек отвечает, как он видит себя: свое поведение, установки, ценности, опыт. Единственно правильного ответа в опросниках нет. К опросникам относятся личностные опросники, опросники мотивации, ценностей, благонадежности, деструкторов, состояний.

Очевидная валидность (face validity) — то, в какой мере сами участники верят, что задания теста измеряют заявленное качество. Влияет на отношение к тестированию: тесты с заданиями с низкой очевидной валидностью участники реже проходят до конца, а результаты принимают менее охотно.

Ошибка измерения (measurement error) — разница между гипотетическим «идеально точным» результатом человека и результатом, который реально дает тест под влиянием случайных помех. Чем выше надежность теста, тем меньше ошибка измерения — и тем ближе балл участника к «истинному».

Пороговый балл, точка отсечения (cut score) — балл по тесту или нескольким инструментам, который нужно набрать, чтобы пройти на следующий этап воронки. Главный плюс — прозрачность для участников и понятность для лиц, принимающих решения; главный минус — заранее не известно, сколько человек преодолеет порог и «переварит» ли их дальнейшие этапы воронки.

Портрет (profile) — логика формирования вывода теста, при которой эксперт интерпретирует набор шкал теста и оценивает, насколько участник соответствует требованиям. Характерна для многошкальных самоотчетных опросников — личностных, деструкторов, шкальных опросников ценностей и особенно типологических опросников. В задачах оценки и развития старших и топ-менеджеров используется именно портретная логика.

Потенциал (potential) — личностные качества и способности, которые определяют успешность человека в решении новых профессиональных задач: при смене должности, организации, прохождении программы обучения. Понятие возникло, когда результативность и текущие навыки перестали надежно предсказывать успех: организации усложнились, и то, что сотрудник умеет сегодня, завтра может оказаться бесполезным.

Проективные методики (projective techniques) — методики, в которых человек рисует или свободно отвечает на вопрос, а эксперт-психодиагност интерпретирует ответ. Интерпретация делает оценку нестандартизированной — на психодиагноста влияют его опыт, предварительная информация об участнике, — поэтому проективные методики тестами не считаются.

Прокторинг (proctoring) — дистанционный контроль за участником во время тестирования: запись экрана устройства, веб-камеры и микрофона. Помогает снизить вероятность того, что участник будет списывать, привлекать помощников или языковые модели. Бывает синхронным (проктор наблюдает в реальном времени и делает замечания), асинхронным (проктор просматривает запись позже) и автоматическим (ИИ сам выявляет посторонние лица, шумы, отключения камеры).

Процентили (percentiles) — шкала от 1 до 100 (или от 0 до 99, в зависимости от способа подсчета), показывающая, какой процент участников выборки человек превзошел. В отличие от стандартизированных шкал, процентили