Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

Поэтому я рекомендую оставлять в тестах только те шкалы и задания, которые понятны большинству участников.

4. Количество заданий. Чем больше заданий в тесте — тем выше его согласованность.

Это можно сравнить с поведением молодого человека. Если он только один раз оказал знак внимания девушке — это недостаточно надежная оценка, на основе нее не стоит принимать серьезные решения. Один раз может указывать на настроение, но не на отношение. А если у молодого человека было много шансов и он в них как-то проявил себя, нашу оценку можно назвать надежной. То же самое, например, с тестами способностей: мы должны дать человеку серию заданий, чтобы он продемонстрировал свои способности множество раз.

К количеству заданий в тестах нет четких требований, поэтому укажу ориентиры для получения необходимого уровня согласованности.

Необходимое количество заданий в тестах (на одну шкалу)

Но стоит настороженно относиться к тестам, которые включают в себя слишком большое количество заданий — больше 30 на шкалу. Во-первых, чем больше заданий, тем длиннее тест и тем, соответственно, выше риск того, что участники будут недовольны и не пройдут его до конца. Поэтому количество заданий — это всегда баланс между согласованностью и временем прохождения теста. Во-вторых, большое количество заданий — это иногда уловка, на которую идут провайдеры ради искусственного повышения согласованности. Согласованность при этом повышается, но нельзя сказать, что это «настоящий» уровень согласованности. Например, согласованность опросника выгорания одного российского провайдера — 0,67 при 70 заданиях. Это говорит о том, что задания опросника слишком «про разное». И такая согласованность была получена только благодаря большому количеству заданий.

5. Однородность, похожесть вопросов. Чем более однородны вопросы, тем в большей мере на оценку одного качества они направлены. Соответственно, тем выше согласованность теста.

Представим, что мы хотим оценить, насколько человек доброжелателен. Мы можем выделить индикаторы доброжелательности — допустим, это будет внимание к чувствам другого человека, желание построить теплые отношения, готовность прийти на помощь. Если мы возьмем задания про готовность прийти на помощь, они будут более согласованы друг с другом, чем с заданиями на желание построить теплые отношения, потому что направлены на один и тот же индикатор доброжелательности.

У этой истории тоже имеется обратная сторона. Есть тесты, в которых все задания — парафразы или даже копии друг друга. Например, в одном опроснике мотивации в шкале «Кооперация» все задания — это утверждения «Объединяться с коллегами ради решения задач». А в одном тесте на понимание числовой информации человеку нужно работать только с долями и процентами. Да, таких заданий требуется немного, чтобы получить необходимый уровень согласованности теста. Но у такого подхода есть два существенных недостатка. Во-первых, таким образом снижается валидность: сначала содержательная, а затем критериальная [15]. Тест оценивает только часть качества, и из-за этого снижается точность. Если продолжить метафору с ухаживанием, то молодой человек должен показать себя в разных ситуациях, а не в какой-то одной. Так оценка будет надежнее. Во-вторых, тест со слишком однородными, похожими заданиями скучнее проходить, из-за чего кандидаты могут активнее выказывать недовольство и отказываться от него.

По этой причине у кейс-тестов обычно невысокая согласованность — в диапазоне 0,42–0,57 согласно метаанализам [90]. В каждом задании кейс-теста описана уникальная ситуация, в которой есть своя задача и действующие лица. Задания других инструментов — тестов и опросников — намного более похожи друг на друга. В кейс-тестах можно добиться надежности 0,6 и выше только за счет использования большого количества заданий.

Также чем внимательнее участники проходят тест, тем выше его согласованность. Наиболее внимательные участники — как вы можете догадаться, это те, которые хотят обмануть тест и угадать или дать социально желательный ответ. Поэтому обычно в ситуации высоких ставок тесты обладают более высокой согласованностью.

И еще одна интересная закономерность: под конец теста люди дают более последовательные ответы, чем в начале [91]. Это связано с тем, что в процессе тестирования они понимают, что от них требуется, и уже отвечают более определенно.

Ретестовая надежность

Тест должен давать примерно одинаковые результаты в разные интервалы времени. Устойчивость теста к фактору времени называется ретестовой надежностью.

Ретестовая надежность проверяется с помощью оценки одних и тех же людей с интервалом в несколько недель или месяцев. Прохождения теста одним человеком в разное время коррелируют друг с другом. Таким образом проверяется «схожесть» результатов. Получившаяся корреляция — и есть показатель ретестовой надежности.

Ретестовая надежность, в отличие от внутренней согласованности, является опциональным для проверки параметром теста. Провайдеры не обязаны проверять ее. Тем не менее подтвержденная ретестовая надежность — один из показателей качественно разработанного теста.

Требования к ретестовой надежности

Ретестовая надежность зависит от тех же факторов, что и внутренняя согласованность. К ним добавляется еще несколько.

1. Устойчивость оцениваемых качеств

Например, интеллектуальные способности и личностные черты — более постоянны. Они формируются к 18–25 годам и далее трудно поддаются изменению [16]. В то время как навыки и знания являются более гибкими: им можно научиться. То же с состояниями, которые сильно зависят от внешних условий, — выгоранием, удовлетворенностью, вовлеченностью. Поэтому в тестах способностей и опросниках ретестовая надежность обычно выше, а в кейс-тестах и опросниках состояний — ниже.

2. Интервал, с которым проводились два тестирования

Чем больше интервал, тем ниже ретестовая надежность. За больший промежуток времени человек успевает сильнее поменяться. На примере личностных опросников [94]:

• до 3 недель — 0,84;

• 2 месяца — 0,81;

• от 4 месяцев — 0,75.

С этим связана одна хитрость, которую любят использовать провайдеры тестов. Они приводят показатели ретестовой надежности, измеренной за очень маленький интервал. Например, за интервал в две-три недели. Конечно, за это время человек успевает мало измениться в своих личностных чертах, поэтому ретестовая надежность высокая [17]. Но этот показатель слабо иллюстрирует, насколько стабильно измеренное качество. Поэтому обязательно узнавайте, на каком интервале была измерена ретестовая надежность теста.

Рекомендации к интервалу, в котором нужно измерять ретестовую надежность

3. Условия тестирования

Исторически ретестовая надежность измерялась на исследовательской выборке, то есть в ситуации низких ставок. Но в HR мы обычно имеем дело с высокими ставками: люди получают что-то важное в результате тестирования, поэтому у них есть мотивация искажать свои результаты. Это приводит к тому, что при повторном прохождении тестов участники получают в среднем более высокие результаты, как следствие, разброс баллов «сужается». Все это снижает корреляцию между двумя прохождениями тестов и далее снижает ретестовую надежность. Иными словами, если измерять ретестовую надежность «в бою» — не на исследовательской выборке, а на реальных сотрудниках, — она всегда будет ниже.

С этим связана другая хитрость, которую также используют провайдеры тестов.