Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

В США есть популярный тест интеллектуальных способностей SAT, по которому вузы отбирают абитуриентов. Ежегодно его сдают около двух миллионов школьников. Тест задумывался как измерение врожденного потенциала, и организации, стоявшие за ним, десятилетиями настаивали, что подготовиться к тесту невозможно. Одновременно с этим в США расцвела индустрия репетиторства, которая помогала готовиться к тесту. В независимых исследованиях конца 1970-х было выявлено, что лучшие репетиторские школы повышают результат по тесту на 20–30 баллов [134]. Компания — разработчик тестов была вынуждена признать, что к тесту действительно можно подготовиться. В 1990-х из названия SAT тихо исчезло слово aptitude — «способности». А официальную подготовку к тесту сегодня бесплатно раздает сама его компания-владелец.

Оговорюсь, что научение имеет свои границы. Участники не могут научиться проходить тесты так, чтобы с низкого результата допрыгнуть до высокого.

• Исследования показывают, что своего потолка участник достигает после третьего прохождения одного и того же теста [135]. Далее его научение ограничено уровнем развития способности. Это как в спорте — человек может научиться подтягиваться на среднем уровне, но далее упрется в лимит «базы», слабой физической формы.

• Навыки прохождения одного теста плохо переносятся на другие тесты. Продолжая аналогию со спортом, подтягивания на турнике увеличат количество подтягиваний, которые человек может выполнить, но слабо разовьют пресс. Два разных теста способностей — это как физические упражнения на разные группы мышц.

Тем не менее результаты повышаются, и это снижает точность оценки. Участники начинают демонстрировать уже не столько интеллектуальные способности, сколько навык решения конкретных задач. И нам становится сложнее прогнозировать поведение участника исходя из результатов теста.

Есть два типа научения — нецеленаправленное и целенаправленное. Нецеленаправленное — это когда человек повторно проходит тест, потому что так устроена процедура отбора или потому что при первом прохождении он столкнулся с техническими трудностями. Например, компании из Большой четверки набирают стажеров и ассистентов каждые 6–12 месяцев, и участвовать в отборе можно повторно.

Если человек не прошел в прошлый раз, он может еще раз пройти тот же тест. Ежегодный отбор в кадровый резерв тоже повторяет эту ситуацию. Менеджеры могут по три–пять раз проходить один и тот же тест каждый год, когда отбираются в кадровый резерв. Другой случай — когда в тестировании произошел технический сбой и нужно «обнулить» тест, чтобы участник прошел его заново. Такое повторное тестирование называют перетестом.

Целенаправленное научение — это когда участники специально учатся проходить тесты способностей: читают руководства, покупают пробные задания, консультируются с разработчиками тестов, которые решили заработать «на стороне». И урон от целенаправленного научения намного больше, чем от нецеленаправленного. Средний прирост в результатах в случае целенаправленного научения — 0,7 стандартного отклонения; нецеленаправленного — 0,24 [29][136].

Подобные проблемы характерны и для тестов знаний, и кейс-тестов. Исследования показывают, что результаты тестов знаний увеличиваются на 0,27–0,93 стандартного отклонения в случае перетеста. Кейс-тесты более устойчивы к эффектам перетеста — результаты по ним могут увеличиться на 0,32 стандартного отклонения [137].

Работа с научением

Нужно соблюдать следующие рекомендации, чтобы снизить эффект научения:

• Не перетестировать участников без весомых причин. Бывают ситуации, когда участник заявляет, что у него были технические трудности при прохождении теста и поэтому ему нужно дать пройти его заново. Нужно проверять, на самом ли деле были трудности и на чьей стороне — на стороне участника или на стороне теста.

• Не легализовывать перетест, а именно — не тестировать людей каждый год. Результаты тестов способностей актуальны на протяжении двух-трех лет: за более короткий срок человек не успевает развить свои интеллектуальные способности.

• Перетестировать с тестом, который содержит другой банк заданий. Еще лучше — перетестировать другим, аналогичным тестом. Тогда участники не будут решать полностью идентичные или похожие задания и эффект научения будет слабее.

• Если пришлось перетестировать участников тем же тестом, считать их результаты отдельно от остальных участников. Для этого нужно строить отдельный рейтинг или использовать отдельные тестовые нормы. Тогда все участники разделятся на две группы: 1) проходящие первый раз; 2) проходящие второй раз. Целесообразно также ввести квоты — количество участников из каждого рейтинга, которые должны пройти на следующий этап отбора.

Случайное угадывание

Выше мы обсуждали невнимательное заполнение опросников и что делать с «ленивыми» участниками. В тестах есть похожий феномен, когда участники, выбирающие случайные ответы, надеются на получение какой-то выгоды. Это случайное угадывание.

Вспомните школьные контрольные. Уверен, у вас бывали случаи, когда вы не знали точного ответа, но при этом хотели получить хорошую отметку и поэтому отвечали наобум. И это действительно могло дать свои плоды, если ваш ответ был сколько-нибудь серьезным, не шутливым и если контрольная сама по себе была простой.

Случайное угадывание представляет опасность для тестов, если действуют одновременно следующие условия:

• В тесте превалирует формат заданий «единичный выбор» и в них используются два или три варианта ответа.

• Тест относительно простой. Для получения удовлетворительного или хорошего результата достаточно дать немного правильных ответов.

Сейчас случайное угадывание — практически решенная проблема в оценке персонала. Она осталась только в некачественных тестах знаний. Тем не менее, чтобы не споткнуться о нее, следует разрабатывать задания с достаточным количеством вариантов ответа, сбалансированные по уровню сложности. В этом случае, даже если участник будет проставлять случайные ответы, ему не хватит шансов угадать столько, чтобы результат считался хорошим.

[25] Этот случай иллюстрирует еще одно правило. Если тест проходят первые лица, проверяйте достоверность их прохождения до того, как результаты кто-нибудь увидит (и до того, как вы отправите отчет). Время ответа на вопрос — самый яркий индикатор.

[29] Уверен, что вы уже освоили корреляцию, теперь пришел черед стандартного отклонения. В тестировании у него две полезные роли. Первая — универсальная единица измерения: результаты разных тестов (с разными нормами и шкалами) можно перевести в стандартные отклонения от среднего и за счет этого сравнивать между собой. Вторая — оценка величины различий или изменений, так называемый размер эффекта. Именно о нем речь, когда мы говорим о приросте на 0,7 или 0,24 стандартного отклонения после повторного прохождения теста. Для размера эффекта в психометрике приняты следующие ориентиры:

• до 0,2 — изменений практически нет;

• 0,2–0,5 — изменения слабые;

• 0,5–0,8 — изменения средние;

• от 0,8 — изменения сильные.

[28] Весной 2024 г. лучшие языковые модели набирали на защищенном офлайн-тесте около 90 баллов (Claude 3 Opus, Gemini 1.5 Pro). К середине 2026-го — уже 129–136 (Claude Fable 5, Grok 4.5, GPT-5.6 Sol) [ [132]]. Для сравнения: средний IQ в популяции — 100 баллов, результат 130+ встречается у двух