Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

далее оценщик обрабатывал их ответы в ручном режиме. Такой формат повышал риск фальсификаций: сотрудники могли получить доступ к документам с правильными ответами и списать их. Или просто не сдать бланки с текстами заданий, чтобы забрать их и передать коллегам, которым только предстоит проходить тест.

Самые масштабные утечки заданий происходят в Индии — стране, где государственные экзамены до сих пор во многом бумажные [130]. Знаковые эпизоды: в 2015 г. родители карабкались по стенам школ, передавая детям шпаргалки через окна; в 2024 г. общенациональный медицинский экзамен с 2,4 миллиона участников утек за день до начала — комплект заданий продавали по цене автомобиля; экзамен в полицию одного из штатов в том же году пришлось отменить и проводить заново почти для 5 миллионов кандидатов. Дошло до того, что в 2024 г. Индия приняла отдельный федеральный закон об экзаменационных махинациях — до 10 лет тюрьмы за организованные утечки.

В России бумажный формат сохранился только в силовых организациях, лишенных доступа в интернет, и в географически отдаленных организациях, где сотрудники по каким-то причинам не могут пользоваться компьютерами. А компьютеризированный формат проводится, по разным исследованиям, в 85–95% случаев [131]. И он — вне зависимости от того, тестирование проводится с контролем администратора или без, — существенно снижает риски кражи заданий.

Но и компьютеризированный формат тоже подвергается взлому. Кража заданий может проводиться на двух уровнях — на уровне самих заданий, с целью их дальнейшего прорешивания, и на уровне правильных ответов. Кроме организационных решений — тестирования с использованием прокторинга — есть также технические решения, которые относятся к платформе для тестирования. Если в вашем проекте тестирования высок шанс того, что люди будут красть задания и для вас это критично, выбирайте ту платформу для тестирования, которая имеет эти функции.

Функции платформы для тестирования

Аппаратные уязвимости появились у тестов достаточно давно. В 1960-е наша страна пережила бум самодельных «экзаменаторов» — приборов с кнопками, лампочками и перфокартой-ключом, где ответ выбирался из готовых вариантов. Журнал «Радио» печатал схемы, собирали их многие образовательные учреждения — от школьных кружков до автошкол. Но экзаменуемые достаточно быстро нашли уязвимость. Достаточно было поочередно нажать кнопки всех вариантов. Прибор на деле не блокировал возможность дать еще ответы — а тот, кто нажимает все кнопки, гарантированно нажимал верную. В 1975 г. журнал перестал публиковать схемы приборов, в которых ответ выбирался одинарным нажатием на кнопку, и стал публиковать новые конструкции, с блоком памяти о прошлых ответах.

Подмена или совместное заполнение

В одной логистической компании руководители не хотели заполнять тест оценки потенциала сами и передавали ссылки на него своим молодым и амбициозным сотрудникам. Те заполняли тест, и в результате руководители получали не свои результаты. Проблема вскрылась после того, как один руководитель написал нам об этом и дополнил свое письмо просьбой повысить ему результаты за честность. Компания обнулила все результаты тестирования и провела его очно, под контролем администратора. Ситуацию, когда вместо участника проходит кто-то другой, называют подменой.

Подмена может происходить и на очном тестировании. Так, в одном крупном проекте вместо участника пришел его брат-близнец. Мы это выяснили уже после проведения тестирования, когда пригласили участников на очный этап отбора. Братья немного отличались телосложением, и мы это заметили.

Также участники могут заполнять тест совместно с кем-то. В оценке персонала есть расхожая шутка, что «тесты объединяют семьи». Если участник может проходить тест в удобном ему месте (например, дома), зачастую ему начинают помогать близкие люди. У меня были случаи, когда участники проходили тесты способностей вместе с сыновьями и дочерями. В одной металлургической компании участнику стала помогать (как позже выяснилось) теща. Что интересно, чаще совместные заполнения приводят к низким результатам.

Развитие больших языковых моделей уровня ChatGPT, Claude, Gemini, Grok — серьезный вызов для провайдеров и организаторов тестирования. Наши исследования в «ЭКОПСИ» показали, что при большом усердии и опыте в создании запросов к GPT можно получить достаточно точные ответы на тесты способностей. В зависимости от теста точность ответов, полученных в GPT-4, составляет 35–80%. И с каждой версией GPT эта точность растет — от версии 3.5 до версии 4 произошел драматичный скачок точности [28]. Помощь GPT тоже можно отнести к совместному заполнению, только вместо живого человека тест проходит искусственный интеллект.

Работа со списыванием, кражей ответов и подменой

Я писал про необходимость проведения тестирования под контролем администраторов в главе 5, а также про информирование участников в разделе 5.2. Поэтому приведу здесь рекомендации для случаев, когда тестирование было проведено все-таки дистанционно и без прокторинга. Рекомендации одинаково полезны для всех трех типов мошенничества.

Ограничивайте тестирование по времени. Если поставить участникам большой лимит времени для прохождения теста — повышается шанс, что они успеют «заскринить» и списать задания. В то же время, если поставить слишком жесткий лимит, часть участников не успеет пройти тест и в итоге тестирование все равно придется продлевать.

Длительность временного «окна», в которое участники могут пройти тест

Используйте тесты с лимитом времени. Имею в виду лимит (таймер) на каждое задание, или на отдельный блок заданий, или на весь тест. Это снижает шансы на кражу ответов и списывание.

И, наоборот, не вводите лимит времени на прохождение опросников. Это не снижает социальную желательность в ответах и приводит к лишней тревоге у участников [133].

Если тестирование изначально проводилось дистанционно, после него проводите контрольное тестирование. Это когда лучшие участники проходят повторно тест или его укороченную версию, тем самым подтверждая (или не подтверждая) свои результаты. Они должны подтвердить их в уже более контролируемых условиях, например очно в присутствии администратора или под присмотром проктора. Отсеивайте участников, которые в контрольном тестировании снизили свой результат на 50% и больше.

Отдельный вопрос — что делать с участниками, которые были уличены в подобных нарушениях. Я рекомендую следующее:

• Если участник был пойман с поличным, дисквалифицировать, то есть исключать его из отбора. Под «пойман с поличным» имею в виду доказательства того, что он списывал или что тест проходил не он. Например, есть записи видеокамер или свидетельства администратора, проводящего тестирование. Свидетельства других кандидатов или сотрудников не являются достаточно весомыми доказательствами.

• Если есть только подозрение на то, что участник нарушал правила тестирования, не предпринимать резких действий.

• Если есть подозрения на массовые фальсификации, обнулять результаты и проводить тестирование заново в уже более контролируемых условиях.

Научение

Тесты способностей оценивают относительно стабильные качества. Интеллект примерно наполовину зависит от генов, развивается в детском возрасте, но после 25 лет становится намного менее гибким.

Однако результаты тестов способностей подвижны. Это связано с тем, что участники могут научиться проходить тесты. Ведь