Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

форумах соискатели иногда публикуют скриншоты из нелегальных версий тестов, которые использует какая-нибудь компания. На скриншотах видны задания с низкой очевидной валидностью — про политические и религиозные предпочтения, половую жизнь, физическое и психическое здоровье. Реакция и у профессионального сообщества, и у соискателей одна — осуждение и издевка.

Необходимо учитывать, что интернет сейчас проник даже в удаленные части России, и неаккуратные действия могут привести к оттоку кандидатов. Использование нелегальных версий тестов — одно из таких действий [19].

Отсутствие доказанной точности

Большинство нелегальных версий тестов не проходили проверку валидности. Это значит, что они не обладают доказанной точностью: мы не можем быть уверены, что они оценивают необходимые качества и отвечают важным для нас критериям.

Это связано с тем, что нелегальные тесты основаны на исследовательских версиях. Исследователи осуществили перевод и иногда адаптацию вопросов. Замена плохо работающих вопросов производилась очень редко. А измерение критериальной валидности — никогда.

Чтобы зарубежный тест обладал валидностью, он должен пройти как минимум следующие этапы:

• перевод вопросов, включая их адаптацию под современную российскую действительность;

• проведение пилотного исследования на российской выборке;

• анализ надежности и факторной структуры, исключение и изменение вопросов с низкой дискриминативностью;

• проведение повторного исследования уже на выборке работников, схожей с той, которая далее будет проверяться этим тестом;

• анализ критериальной валидности.

Правообладатель, как правило, заботится о своей репутации и проводит эти этапы в отношении своего теста — или обязывает проделывать это локального дистрибьютора.

Получение недостоверных результатов

Все вопросы и ключи (указание на правильные ответы) нелегальных версий тестов находятся в открытом доступе. Участники могут заранее подготовиться и набрать неадекватно завышенные баллы по тесту. В результате работу или повышение получит человек, который на самом деле не имеет нужных деловых качеств.

Особенно этот риск важен для тестов способностей. Участник может запомнить все задания теста и далее ответить по памяти. С личностными опросниками этот риск не столь существенен — отчеты по ним часто интерпретирует рекрутер или специалист по оценке, и участнику сложно понять, какой именно профиль шкал нужно получить.

Региональный авиаперевозчик до 2011 г. применял при формировании кадрового резерва нелегальную версию матриц Равена. В один год более 60% участников оценки получили балл 120 и выше, что свидетельствовало об их крайне высоком интеллекте. Это смутило топ-менеджеров, заинтересованных в проекте. HR-департамент попробовал выяснить, как так вышло. По признанию некоторых сотрудников, инициативная группа их коллег нашла ответы на тест в интернете, и все далее заучили их.

Результаты теста были признаны недостоверными, HR-департамент потерял полтора месяца на поиск других тестов способностей, уже лицензионно «чистых» [20].

[20] По этой главе моим коллегам по рынку тестов может показаться, что я призываю очень активно адаптировать чужие методики. Вывод у меня прямо противоположный: покупать лицензию на зарубежный тест — далеко не всегда лучший путь. Лучше делать свое.

Опыт добросовестной и трудоемкой адаптации чужих тестов очень честно описал Александр Шмелёв. В 1990-е гг. он официально адаптировал и распространял на российском рынке опросник Кеттелла [ [102]]. Он столкнулся с тем, что роялти от продажи опросников не покрывали стоимость работ по адаптации, а лицензию на дистрибьюцию приходилось оплачивать отдельно. Сама же адаптация методики была достаточно трудоемкой, потому что изначально она была создана на другом языке.

Если вы все равно обязаны собрать многотысячную выборку, посчитать свои нормы и переписать треть заданий — вы уже сделали работу, сопоставимую с разработкой собственного теста. Только заплатили за нее дважды: правообладателю и себе. Поэтому разработчиков тестов я призываю делать собственные методики.

[19] Я слышал от старожилов рынка оценки, что раньше можно было намного легче добиться принятия подобных вопросов со стороны участника. Думаю, это связано с тем, что тестирование раньше носило намного более индивидуальный характер: рядом был эксперт, объясняющий смысл процедуры. В массовом автоматизированном тестировании объяснять некому, и именно там подобные неочевидные вопросы бьют по доверию сильнее всего. Плюс за прошедшие 30 лет сильно сдвинулись нормы приватности, а сами участники стали требовательнее к опыту прохождения тестов.

[18] Я не называю пиратами исследователей, которые переводили тесты для научных целей. У них не было стремления заработать на чужих методиках. В 1980-е гг. все тесты, в том числе коммерческие, ошибочно воспринимались как собственность научного сообщества. Термин «нелегальные» следует применять к методикам, которые выложены в открытый доступ или на платные платформы без согласования с правообладателем.

[17] Исключение — опросники эмоциональных симптомов: им ретестовую надежность, наоборот, измеряют на коротком интервале, от нескольких дней до одного месяца, пока состояние можно считать неизменным. На горизонте месяцев низкая корреляция означает уже не ошибку измерения, а то, что состояние — выгорание, вовлеченность, настроение — действительно изменилось.

[16] Интеллект действительно является практически неизменным качеством, с личностными чертами всё сложнее. По последним исследованиям, личностная структура, характер человека во взрослом возрасте действительно устойчивы. Но на уровне черт второго порядка (не Большой пятерки, а входящих в них черт) человек может меняться. Иными словами, изменения происходят на уровне отдельных поведенческих паттернов, но личностно человек остается примерно тем же. Также изменения в одних чертах приводят к изменениям в других — так тренинги уверенного поведения действительно повышают уровень ассертивности. Но при этом снижают уровень общительности [ [93]].

[15] Это один из примеров, когда надежность вступает в конфликт с валидностью. Ненадежный тест не может быть валидным. Но надежный тест может быть невалидным. Поэтому тест — это всегда компромисс между надежностью и валидностью. Я советую достигать минимально необходимого уровня надежности, а далее максимизировать валидность.

94. Gnambs, T. (2016). Sociodemographic effects on the test–retest reliability of the Big Five Inventory. European Journal of Psychological Assessment, 32(4), 307–317.

91. Knowles, E. S. (1988). Item context effects on personality scales: Measuring changes the measure. Journal of Personality and Social Psychology, 55(2), 312–320.

97. Sturman, M. C., Cheramie, R. A., & Cashen, L. H. (2005). The impact of job complexity and performance measurement on the temporal consistency, stability, and test-retest reliability of employee job performance ratings. Journal of Applied Psychology, 90(2), 269–283.

98. Kretzschmar, A., & Gignac, G. E. (2019). At what sample size do latent variable correlations stabilize? Journal of Research in Personality, 80, 17–22.

95. Chmielewski, M., & Watson, D. (2009). What is being assessed and why it matters: The impact of transient error on trait research. Journal of Personality and Social Psychology, 97(1), 186–202.

96. Viswesvaran, C., Ones, D. S., & Schmidt, F. L. (1996). Comparative analysis of the reliability of job performance ratings. Journal of Applied Psychology, 81(5), 557–574.

90. Campion, M. C., Ployhart, R. E., & MacKenzie Jr., W. I. (2014). The state of research on situational judgment tests: A content