Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

Выявление «случайных» ответов

Самый эффективный способ выявления — это замер скорости предоставления ответов. Обычно немотивированные участники стараются заполнить опросник как можно быстрее. Поэтому слишком быстрое прохождение опросника — это главный признак того, что участник дал случайные ответы.

Подозрительно быстрым считается прохождение, при котором участник отвечает в среднем быстрее, чем 95% (или 99%) других участников. Конкретное значение — 95 или 99% — зависит от того, насколько вы подозреваете участников в случайном заполнении. Если же вам кажется, что очень большое число участников заполнило случайно — необходимо возвращаться на этап проектирования тестирования и собирать данные заново.

Этот способ эффективен и на практике, и согласно исследованиям [124]. Да, участники могут осознанно давать медленные случайные ответы (и таким образом избегать поимки), но это единичные случаи.

Другой эффективный способ — вопросы-ловушки (англ. detection items). Если участники отвечают на такие вопросы нелогично, это иллюстрирует их невнимательное прохождение опросника. Примеры таких вопросов:

• вопросы на внимательность. Например, «Я врал при прохождении этого теста»;

• вопросы с инструкцией. Например, когда вместо текста вопроса написано: «Пожалуйста, выберите “Скорее согласен” в этом вопросе»;

• вопросы-фальшивки (англ. bogus items). Например, «Я верю, что могу управлять погодой силой мысли».

В отличие от раздела о шкалах социальной желательности, здесь я прямо привожу такие вопросы, потому что их знание вряд ли даст какое-то преимущество невнимательно заполняющим участникам. Обычно у немотивированных участников не хватает желания обратить внимание на такие вопросы.

Подобные вопросы обычно делают разнонаправленными. Например, в один опросник включают сразу два вопроса: 1) «Я старался внимательно читать вопросы в этом тесте» и 2) «Я отвечал на вопросы этого теста наугад». Это связано с тем, что, ставя случайные ответы, участники обычно выбирают какую-то одну опцию, например «Да» или «Согласен». Если вопросы-ловушки сформулированы в противоположных направлениях (на один ожидается ответ «да», на другой — «нет»), шанс поймать участника выше.

Я рекомендую на 30 «нормальных» вопросов использовать один вопрос-ловушку. Соответственно, если опросник состоит из 100 вопросов, добавьте в него три вопроса-ловушки.

Следующий способ, который мы рассмотрим, — метрики схожести ответов. Как я уже написал, невнимательные участники обычно отвечают «линиями» — сначала пять раз отвечают «Согласен», далее четыре раза «Не согласен» и так далее. Или «елочкой» — чередуют ответы «Скорее согласен» и «Скорее не согласен». Таким образом они ускоряют заполнение опросника.

Такие паттерны ответов можно поймать с помощью двух метрик:

• Самая длинная серия одинаковых подряд идущих ответов. Таким образом мы можем узнать, что, например, участник 6 раз подряд выбрал «Согласен» и 12 раз подряд «Не согласен».

• Вариативность ответов, которые были даны на соседние вопросы. Эта метрика схожа с предыдущей, но более гибкая, так как позволяет ловить участников, которые отвечают «елочками».

Обе эти метрики хорошо определяют, что опросник заполнен невнимательно [125].

Снижение вероятности предоставления случайных ответов

Необходимо работать с главным фактором, который приводит к случайному заполнению, — с отсутствием мотивации у участников. Это больше относится к HR-процессу, чем к конкретному опроснику или даже процедуре тестирования. Участники должны хорошо понимать, в чем преимущества ответственного заполнения опросника, да и участия в отборе или программе развития в целом. Как замотивировать участников на прохождение опросника, подробно описано в разделе 5.2.

Есть также один технический способ. Это предупреждения, которые видит участник, если дает слишком быстрые ответы на опросник. Например, если участник три раза подряд очень быстро отвечает на вопрос, он видит надпись с требованием отвечать более внимательно. По исследованиям, этот способ немного снижает количество случайных ответов [126].

6.3. Тесты способностей, тесты знаний и кейс-тесты

В тестах, которые имеют однозначно правильные ответы, участники используют пять типов обмана:

• списывание;

• взлом или кража ответов;

• подмена или совместное заполнение;

• научение;

• случайное угадывание.

Работа с этими типами обмана хорошо проработана в тестировании в сфере образования. Там тест часто является единственным инструментом, на основе которого принимается решение о человеке, — это ситуация высоких ставок в чистом виде, и достоверность результатов там критична. В оценке персонала тесты с однозначно правильными ответами — способностей, знаний, кейс-тесты — тоже нередко работают как единственный или отсеивающий инструмент на верхних этапах воронки. В этом их отличие от опросников: опросники чаще дополняют другие методы оценки, а не заменяют их, поэтому и цена искажения одного инструмента ниже [27].

Поэтому большая часть технических решений для работы с обманом в тестах пришла именно из образования. Но я не буду разбирать особо изощренные способы работы с «читерами», которые характерны для массовых или даже федеральных образовательных проектов (таких как ЕГЭ в России или гаокао в Китае). В оценке персонала подобных проектов существует достаточно мало. Но опишу те способы, которые являются самыми полезными и относительно простыми в использовании.

Списывание

Давайте признаемся — практически все мы хоть раз, но пробовали списать в школе, в университете или колледже. Это кажется вполне естественным — попросить помощи у одноклассника или одногруппника, подготовить шпаргалки, попытаться найти информацию о том, какие конкретно вопросы будут на контрольной или экзамене, и ответы к ним. Возможно, эти способы ничего не дадут, но зато немного успокоят. Так, 82% выпускников готовят шпаргалки к ЕГЭ и только 23% уверены, что смогут ими воспользоваться [127].

В организационном контексте списывание пусть менее, но тоже достаточно распространенная проблема. В списывании тестов принимает участие до 20% участников [128]. Я встречал случаи, когда списывало около 50% сотрудников конкретной компании или ее «дочки», но подобный саботаж — это скорее исключение.

Списывание может привести к крупным скандалам и даже финансовым потерям. В период 2018–2022 гг. три из четырех компаний Большой четверки были оштрафованы регуляторами разных стран за то, что не смогли помешать списыванию.

• PwC была оштрафована американскими и канадскими регуляторами в сумме на почти миллион долларов — 1200 сотрудников обменивались ответами на внутренних обязательных тестах по аудиту.

• KPMG была несколько раз оштрафована американскими регуляторами на более чем 60 миллионов долларов за схожие нарушения.

• Ernst & Young была оштрафована Комиссией по ценным бумагам и биржам (США) на 100 миллионов долларов за то, что не смогла предотвратить списывание в тестах по этичному поведению на работе. Компания к тому же скрыла это от комиссии в ходе расследования [129].

Списывание может привести к очень серьезным изменениям в результатах тестов, вплоть до получения баллов, которые диаметрально противоположны «настоящим» баллам.

Взлом или кража ответов

Можно списывать у коллеги, пользуясь его знаниями, а можно из полученного каким-либо образом и заранее прорешенного списка заданий. Но для создания таких «решебников» задания сначала нужно украсть.

До распространения компьютеров и интернета компании проводили тестирование в бумажном формате (paper-and-pencil). Сотрудники проходили тесты на бумаге,