Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

в себя специфичные темы, в которых провайдер не всегда может быстро разобраться. Компании может быть выгоднее делать тесты знаний самой, нежели с провайдером. Исключение — ситуация, когда нужно за короткий срок разработать большое количество тестов. Например, тесты для 10 должностей за три месяца. В этом случае внутренних ресурсов компании может не хватить и лучше обратиться к провайдеру. Сильный провайдер имеет опыт создания тестов знаний с хорошей надежностью и валидностью, а не просто банка вопросов с ответами.

Приведу этапы разработки тестов знаний, а как пример мы возьмем знания в области ухода за детьми и их развития. Сервис по поиску специалистов решил проверять знания нянь перед тем, как рекомендовать их клиентам. «Мягкие» факторы — выстраивание контакта и доброжелательность, терпеливость и настойчивость — проверят сами родители, а мы как разработчики тестов сможем отсеять совсем неподходящих кандидатов.

Определение тем для оценки

Сначала нужно определить, какие профессиональные темы будет оценивать тест знаний. Под темой я имею в виду критерий оценки. В конкретной организации это может быть профессиональная компетенция или ее индикатор, предмет обучения, обобщенные трудовые функции (ОТФ) в случае тестирования в рамках профессиональных стандартов.

Темы можно выделять с помощью разных инструментов:

• должностные инструкции;

• профессиональные стандарты;

• интервью с представителями должности;

• материалы корпоративных программ обучения.

Я рекомендую проверять в тесте знание от 4 до 12 тем. Больше тест знаний просто не потянет — он получится слишком длинным. Меньшее количество тем, скорее всего, не будет отражать все знания, которые необходимы в должности.

Темы должны быть конкретными. Чем более конкретные темы оценивает тест, тем он валиднее. Можно оценивать общее понимание анатомии человека — это общая тема, а можно — основы проведения глазных операций. Это более конкретная тема, значит, тест будет ближе к профессиональной жизни хирурга-офтальмолога.

Валидность тестов знаний (корреляция с результативностью) [32]

В случае с нянями такими конкретными темами могут стать:

• принципы развития детей в разных возрастах;

• уход за детьми;

• первая медицинская помощь детям;

• русский язык.

Привлечение экспертов

К разработке заданий обязательно нужно привлекать экспертов в должности. Специалисты по оценке и эйчары не смогут погрузиться в профессиональную область достаточно глубоко, чтобы сделать качественные задания самостоятельно. Такими экспертами могут быть действующие сотрудники компании или внешние эксперты. Главное требование к ним — минимум год работы в должности, а лучше три года.

С экспертами нужно заключить соглашение о неразглашении информации.

Региональная нефтяная компания привлекла к разработке теста знаний четырех внутренних сотрудников. Команда справилась с разработкой 350 заданий достаточно быстро — за два месяца. Через полтора года один сотрудник ушел и «слил» все задания своим коллегам. Результат — искаженные результаты по тесту: люди начали списывать и получать завышенные результаты. Вся работа по тесту пошла насмарку. Если бы с ними было заключено юридически грамотное соглашение о неразглашении информации, сотрудник вряд ли стал бы делиться разработанными заданиями.

Очень важно, чтобы эксперты прошли обучение по разработке заданий. Обычно оно длится полдня, в процессе рассказывается все то, чему посвящена памятка в Приложении 2.

Создание заданий

Теперь мы знаем, что будет оценивать тест знаний и кто его будет разрабатывать. Следующий этап — разработка заданий теста.

Я рекомендую разработать минимум 10 заданий на каждую тему. Меньшее число заданий, скорее всего, не покроет всю тему. Также нужно помнить, что чем меньше заданий, тем менее надежной и точной будет оценка. Я встречал у компаний тесты, где на достаточно объемные темы дается по два-три задания. Конечно, их надежность была крайне низкой.

Также может потребоваться банк заданий. Это общее количество заданий, которое включено в определенную тему. Например, банк состоит из 20 заданий, а участнику случайным образом из них предъявляется 10. В этом случае банк заданий называется ×2. Банк снижает шанс того, что участник увидит все задания сразу и сможет их списать для передачи коллегам или воспользоваться подсказкой. Особенно если система предъявления заданий позволяет выдавать их в случайном порядке, «рандомно».

Каждое задание теста знаний состоит из трех элементов:

• текст вопроса;

• ключ, или правильный ответ;

• дистракторы, или неправильные, «отвлекающие» ответы.

Есть много разных форматов заданий — я приведу основные.

Форматы заданий в тестах знаний

Я советую большинство (70–80%) заданий создавать в формате «Единичный выбор». Его главное преимущество — простота.

• Он самый простой для прохождения. Иногда тесты знаний проходят люди, слабо владеющие компьютером. Они могут не понять интерфейс более сложных форматов заданий.

• Он самый простой для расчета. В «Множественном выборе» и «Ранжировании» возникает вопрос, как обрабатывать частично правильный ответ, в «Открытом ответе» — как учитывать регистр и опечатки. «Единичный выбор» не создает таких проблем — соответственно, тест знаний получится быстрее разработать и внедрить.

Единичный выбор — как и задания с выбором из вариантов в целом — имеет экономическое объяснение. Американский школьный учитель Рейнольд Джонсон собрал прибор, считывавший карандашные отметки по электропроводности графита. Компания IBM наняла изобретателя и в 1937 г. выпустила 805 Test Scoring Machine. Проверка бланка сильно подешевела, а мир получил культ «карандаша №2»: мягкий графит машина видела лучше всего.

• Он самый простой для разработки. Ниже шанс, что эксперты разработают некачественное задание.

Другие форматы можно использовать, если вы уверены в компьютерной грамотности ваших участников и у вас есть опыт создания более простых тестов. Тогда тест получится более разнообразным и интересным для участников.

На этом этапе нужно сделать избыточное количество заданий — на 50% больше необходимого. Например, в тесте 50 заданий. Изначально необходимо создать не 50, а 75–80 заданий, потому что далее часть из них точно будет отсеяна.

В Приложении 2 содержится памятка для разработчиков тестов. В ней описаны требования к заданиям теста знаний.

Экспертная проверка заданий

Прежде чем нести задания на пилотирование, их должны прочитать эксперты. Этот этап пропускают чаще всего: кажется, что пилот и так все покажет — плохие задания отсеются по статистике. Это заблуждение. Этап пилотирования проверяет, как задание статистически работает. Он не проверяет, правильное ли оно по сути и смыслу.

Что на этом этапе проверяют эксперты:

• правильный ответ ровно один (и он действительно правильный);

• неправильные варианты правдоподобны, но однозначно неверны;

• в формулировке нет подсказок: скажем, правильный ответ не должен быть самым длинным и подробным;

• задание проверяет знание необходимой темы;

• содержание задания не устарело.

Главное правило: задание проверяет не тот, кто его написал. Или, как минимум, не только этот человек. Если авторов несколько, они рецензируют задания друг друга. Если автор один — можно привлечь эксперта со стороны.

В отличие от пилотирования, здесь задания в большинстве случаев (примерно в 75%) не выбрасывают, а корректируют. Эксперт увидел второй правильный ответ — переписали неверный вариант, и задание живет дальше.

Дополню про искусственный