Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

Они указывают ретестовую надежность, измеренную на исследовательской выборке — на людях, у которых нет дополнительной мотивации как-то менять свои ответы при повторном прохождении. Из-за этого ретестовая надежность искусственно завышается. Поэтому всегда уточняйте, на какой выборке было получено значение ретестовой надежности.

Внутренняя согласованность и ретестовая надежность пусть вместе и отражают защищенность теста от разных неблагоприятных факторов, все же коррелируют друг с другом на среднем уровне. Согласно исследованиям, корреляция между ретестовой надежностью и внутренней согласованностью находится на уровне 0,25 [95]. Это указывает на то, что есть тесты с низкой ретестовой надежностью и высокой внутренней согласованностью — и наоборот. Более того, для некоторых тестов это нормально. Выше я уже приводил пример с кейс-тестами — у них в среднем невысокая внутренняя согласованность, но при этом хорошая ретестовая надежность. Обратный пример — опросники настроений: настроение у человека меняется достаточно быстро, поэтому ретестовая надежность у таких опросников низкая. Зато очень высокая внутренняя согласованность, потому что настроение — очень понятное и простое для измерения качество. Другой пример, ближе к HR, — оценка результативности сотрудников. Внутренняя согласованность у таких оценок обычно высокая (0,85 и выше [96]): выставляя баллы по разным критериям, руководитель опирается на общее впечатление о результативности человека в конкретный момент, поэтому оценки согласуются между собой. А вот ретестовая надежность у них обычно ниже (в среднем 0,5 [97]): результативность конъюнктурна, она зависит от ситуации на рынке и поставленных на период целей, и в следующем замере тот же человек легко получит другую оценку.

Слишком высокие показатели надежности должны вызывать подозрение. Например, в техническом отчете одного провайдера написано, что «исследование 2015 года, проведенное нашей компанией, показало, что надежность и согласованность опросника составляют 90–95%. Это означает, что люди, которых тест отнес к определенному типу, получают такую же оценку в 90% случаев». Другой провайдер у публичной сети заявлял, что надежность его теста — 0,95. Такие значения, во-первых, недостижимы, во-вторых, даже в случае теоретического достижения они бы указали, что в жертву надежности принесены все остальные параметры теста — валидность, скорость и простота заполнения.

Соотношение надежности и валидности

Валидность и надежность соотносятся как точность попадания и кучность попадания. Можно стрелять очень кучно (высокая надежность), но не точно, не в десятку (низкая валидность). Обратный случай — низкая надежность, но высокая валидность — в тестах практически не встречается.

Еще один признак теста, который должен вызвать подозрение, — это путаница в понятиях валидности и надежности. Приведу цитаты из технических отчетов некоторых провайдеров.

• Валидность теста — 0,62 в терминах коэффициента альфа Кронбаха.

• Опросник обладает высоким уровнем валидности (81% при ретестировании через шесть месяцев).

• Надежность нашего теста 0,8 (с точностью 80% показывает достоверные результаты кандидатов).

4.3. Репрезентативность

Как вы уже поняли, разработка теста — это исследование или даже набор исследований. Невозможно сделать набор вопросов и назвать это тестом. И эти исследования проводятся на выборке — людях, которые похожи на тех людей, которым далее предстоит проходить тест. Один из финальных этапов разработки теста — это создание тестовых норм. Мы кратко обсуждали это в разделе 3.1, в котором я сравнивал НОРТ и КОРТ. Теперь разберем этот момент подробнее.

Тестовые нормы нужны для того, чтобы определить, какой результат в тесте является хорошим, а какой — плохой. Допустим, мы дали человеку пройти 100 заданий на интеллект. Он ответил правильно на 50 из них. Возникает вопрос — это хороший результат или нет? Или, быть может, ему нужно поставит балл, равный 50, так как он ответил правильно ровно на половину?

Ответить на этот вопрос помогает исследование для сбора тестовых норм. Тестовые нормы — это правила пересчета результатов в итоговые оценки, построенные по данным участников, которые ранее проходили тест. Например, мы можем выяснить, что 50 правильных ответов дает на самом деле не ровно половина участников, а только 30%. Или, наоборот, 80%, и тогда получается, что наш тест очень простой. Иными словами, тестовые нормы помогают создать точки отсечения, на основе которых мы можем отбирать участников.

Тестовые нормы должны быть репрезентативными, то есть соответствующими тем людям, которые далее будут проходить тест. Репрезентативность отражается в двух параметрах — в размере выборки, на которой были собраны тестовые нормы, и в ее разнообразии.

Необходимый размер выборки зависит от того, насколько универсален тест, то есть от того, насколько широкой аудитории он предназначен. Это связано с понятием генеральной совокупности — всех людей, для оценки которых предназначен тест. Например, конкретный опросник выгорания был создан для офисных специалистов. Генеральная совокупность — офисные специалисты — насчитывает в России несколько десятков миллионов человек, и это очень разнородная аудитория: разные отрасли, уровни, возрасты. Поэтому выборка должна быть достаточно большая — минимум 500 человек. Это число исходит из множества исследований, которые показывают, что после 500 человек тестовые нормы в целом стабилизируются [98]. Если же речь про тест знаний, который был разработан для редких специальностей, например для B2G-специалистов, — выборка может быть 100 или даже 75 человек: группа узкая и однородная, поэтому нормы стабилизируются быстрее.

Также выборка должна быть достаточно разнообразной, и это тоже зависит от степени универсальности теста. Тестовые нормы для опросника выгорания должны быть собраны на большом количестве организаций, функций и уровней должности — чтобы специфика какой-то одной организации не перетянула на себя тестовые нормы. Например, какой-то опросник выгорания должен использоваться в том числе на корпорациях, а мы собрали нормы на пусть большой выборке, но преимущественно социальных работников. Социальные работники — в силу специфики своей работы — обладают более высоким уровнем выгорания, чем сотрудники корпораций. Проходя тест, сотрудники корпораций будут сравниваться с социальными работниками и получать заниженные баллы по выгоранию.

Требования к репрезентативности тестов

Помимо этого, нормы должны быть актуальными. Норма отражает состояние выборки на момент ее сбора, а тестируемые со временем меняются. Нормы устаревают по нескольким причинам.

• Меняется сама популяция. Сдвигаются демография и уровень образования рабочей силы. Известный пример — эффект Флинна: в течение XX в. средние результаты тестов интеллекта росли примерно на три балла IQ за десятилетие [99].

• Растет знакомство с форматом. Люди накапливают опыт прохождения тестов, и средние результаты постепенно повышаются.

• Происходят резкие события. Отраслевые и страновые кризисы способны за месяцы сместить типичный уровень отдельных характеристик — прежде всего состояний и мотивации — во всей популяции.

Поэтому при выборе теста стоит уточнять у провайдера год сбора норм, а при долгой эксплуатации теста — пересматривать нормы регулярно.

С влиянием внешних событий на нормы мы столкнулись в пандемию. К осени 2021 г. в данных наших