Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

Утверждения в ипсативных опросниках объединяются в блоки — и участнику нужно сделать выбор между двумя и более утверждениями.

Пример блока в ипсативном опроснике

И ипсативные опросники действительно работают. Во-первых, они не позволяют участникам искать правильные ответы: сравнивая утверждения между собой, участник не может выбрать «самое правильное» — все варианты в блоке одинаково привлекательны [116]. Во-вторых, там, где участники врут, ипсативные опросники сохраняют критериальную валидность, а нормативные ее теряют. Именно потому, что врать в ипсативном формате труднее, преимущество и возникает.

Критериальная валидность ипсативных и нормативных опросников [117]

Но у ипсативных опросников есть одно существенное ограничение. Они раздражают людей [118]. Участник может считать, что он обладает всеми качествами из блока, например быть и общительным, и ориентированным на долгую перспективу. Но ипсативный формат подталкивает его к выбору. Собственно, второе название ипсативного формата — вынужденный выбор (англ. forced choice).

Другой, тоже эффективный способ — предупреждения. Это текст, который участники видят до или во время прохождения опросника, мотивирующий давать честные ответы. Например, «Если вы будете давать нечестные ответы, ваши результаты могут быть снижены». Есть множество видов подобных предупреждений.

• Момент возникновения.

• До заполнения опросника, в инструкции.

• Во время заполнения опросника, в виде порой всплывающих окон.

• Характер предупреждений.

• Негативный, указывающий на возможные неприятные последствия. Пример такого предупреждения приведен выше.

• Нейтральный. Например: «Ваши ответы могут быть далее перепроверены на интервью или через сбор рекомендаций».

• Позитивный, убеждающий участника, что нечестными ответами он навредит сам себе. Например: «Если вы дадите нечестные ответы, вы можете получить работу, которая на самом деле в итоге вам не понравится».

Исследования показывают, что, во-первых, предупреждения работают — они снижают установку на социально желательные ответы [119]. Во-вторых, что наиболее эффективные предупреждения — это негативные или нейтральные, которые показываются до заполнения опросника [120]. Позитивные предупреждения, видимо, оказываются для участников недостаточно убедительными. А предупреждения, неожиданно возникающие в процессе заполнения опросника, вызывают слишком сильное раздражение у участников.

Еще один способ — метод уточнения (англ. elaboration technique). С этим методом мы просим участника подтвердить на примерах свои ответы. Или, например, дать контакты людей, которые могли бы подтвердить конкретные указанные им события.

Эта техника чаще всего применяется к биографическим вопросам. Например, если мы измеряем любознательность участника с помощью вопроса «Как много книг по своей профессиональной тематике вы прочитываете (в месяц)?» — далее мы можем попросить привести названия этих книг.

Этот метод также хорошо работает [121]. Через серию таких вопросов участник понимает, что ему придется постоянно и убедительно подтверждать свои слова, — и начинает давать более честные ответы.

Последний из рассматриваемых способов когда-то был очень популярен, но сейчас распространен слабо. Тем не менее многие оценщики-новички любят использовать его при разработке своих опросников. Это неочевидные вопросы (subtle items) — такие вопросы, по которым сложно догадаться, какое же качество они оценивают. Им противопоставляются очевидные вопросы с, наоборот, уже понятным содержанием.

Само появление неочевидных вопросов связано с историей личностных опросников. Наиболее известные личностные опросники появились в психиатрических больницах в 1940–1950-х гг. Создатели опросников тогда отбирали вопросы, которые различают пациентов больниц и людей без диагнозов. Если депрессивные пациенты реже нормы соглашались с «Иногда я дразню животных» — вопрос шел в шкалу депрессии. Смысл вопроса не имел значения — только различающая сила.

Примеры очевидных и неочевидных вопросов

Но в оценке персонала неочевидные вопросы работают плохо. Они часто настолько сильно маскируют измеряемое качество, что участники начинают слишком по-разному их трактовать, из-за чего снижается конструктная валидность [122].

Случайное заполнение

Иногда участники, наоборот, не замотивированы проходить опросники и поэтому «прощелкивают» их, ставя случайные ответы. Таких участников еще называют ленивыми.

Согласно исследованиям, случайные ответы дают от 1 до 50% участников [123]. Такой большой разброс зависит от того, насколько сильно воздействие одновременно двух условий. Первое — организация или конкретные руководители обязывают участников пройти опросник. Если этого условия нет, участники могут просто не проходить опросник до конца. Второе условие — у участников нет мотивации проходить опросник. Бывают случаи, когда участник проходит тест против своей воли. В одном крупном банке около 13% сотрудников не хотели рассматриваться в кадровый резерв, но у их руководителей был KPI на количество резервистов. И они буквально заставляли своих сотрудников проходить оценочные процедуры. Многие из этих сотрудников проходили тесты наобум. Другой случай — когда участник не понимает ценности тестирования. Допустим, он считает, что опросник не является надежным инструментом оценки или что его результаты будут использованы против него. Соответственно, чем сильнее участники чувствуют «обязаловку» и чем ниже их мотивация, тем больше будет случайных заполнений.

В моей практике был случай в одном крупном региональном банке. Перед запуском тестирования заместитель председателя правления банка захотел сам пройти опросник. Вскоре нам позвонила HR-директор и сказала, что зампред возмущен своими результатами и начал сомневаться в точности инструмента. Он получил откровенно низкие результаты — оказался буквально у «дна». Но мы уже не раз проводили подобное «пробное» тестирование на топ-менеджерах и знаем, что у них может не быть мотивации проходить опросник. Ведь от результатов ничего не зависит. Мы посмотрели на скорость предоставления ответов на опросник — оказалось, что зампред отвечал на каждый вопрос в среднем за три секунды. Это очень быстро — человек за это время не успевает прочесть текст вопроса и осознанно выбрать ответ. Мы спросили зампреда, не торопился ли он при заполнении опросника, не отвлекало ли его что-нибудь. На что он честно ответил, что да, заполнял не очень внимательно. Вскоре он прошел тест более мотивированно и получил кардинально другие результаты. Такие случаи иллюстрируют важность мотивации — в конце концов, опросник не залезает в голову участнику, а выводит результаты на основе его ответов. И от того, насколько осознанны его ответы, зависит осмысленность результатов [25].

Случайное заполнение доставляет много проблем в ситуации консультирования. Представьте, что компания внедрила опросник деструкторов в практику составления ИПР (индивидуальных планов развития сотрудников). Не все сотрудники хотят составлять планы развития и следовать им, у некоторых просто нет мотивации это делать. Часть из них пройдут опросник, давая случайные ответы. В итоге организация не может снабдить своих сотрудников важной информацией для составления ИПР.

К случайному заполнению в ситуации отбора относятся довольно просто: если участник не мотивирован проходить опросник и заполняет его случайным образом, значит, организация не рассматривает его в качестве кандидата на работу или на новую должность [26].

В работе со случайным заполнением тоже есть две группы методов: а) выявление и б) снижение вероятности