Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

и только 30% согласились со вторым утверждением. Это подтверждает, что мы, люди, готовы давать послабления и прощать слабости другим людям, но не машине.

Расчет результатов

Расчет результатов с помощью ИИ тоже является поводом для тревоги со стороны рекрутеров и оценщиков. Кажется, что выносить суждения о квалификации кандидатов, оценивать их личностные черты и мотивацию может только другой человек.

Еще больше это беспокоит самих участников оценки — им кажется, что понять всю их глубину может только такой же человек из плоти и крови, как они сами.

Именно поэтому расчет результатов — самый сложный этап для внедрения ИИ. Мы сталкиваемся с барьером пользователя: пока участники оценки и эксперты не примут, что ИИ действительно может осуществлять оценку, эти технологии будут встречать сопротивление — вплоть до саботажа. В случае с экспертами это особенно сложно — ИИ будто бы претендует на их работу.

Сейчас ИИ внедряется в расчет традиционных форматов оценки — тестов и опросников. Например, в опроснике компетенций delta.ai от «ЭКОПСИ» человек отвечает на вполне обычные вопросы, характерные для опросников, но далее к его ответам применяются регуляризованные модели линейной и порядковой регрессии. С их помощью повышается точность оценки компетенций на 29% и точность в прогнозе результативности кандидатов на 227%.

Но и в более продвинутых автоматизированных инструментах к расчету результатов применяется ИИ. Так, языковые модели автоматически проверяют код разработчиков на входе в компанию или после обучения. Примеры — такие компании, как CodeSignal, TripleTen, Codility. Или чат-боты ведут практически свободный диалог с кандидатом и оценивают его личностные черты. Одно недавнее исследование показало, что связь между самоотчетными оценками в опроснике и оценками, полученными с помощью чат-бота, — 0,48 [172]. Это достаточно хорошая связь, которая к тому же будет улучшаться со стремительным развитием языковых моделей.

Или автоматизированные видеоинтервью, в которых применяется сразу целый набор алгоритмов ИИ. В таких интервью кандидат делает видеозапись с ответами на самые важные для компании вопросы. Далее эти ответы не оценивает рекрутер — они проходят через цепочку разных алгоритмов. Сначала распознается речь кандидата, далее все многообразие его слов переводится другими моделями в темы или векторы. А далее к темам или векторам применяются алгоритмы машинного обучения, которые ставят оценки по компетенциям, навыкам, личностным особенностям и другим критериям. Одно исследование показало, что такие видеоинтервью хорошо предсказывают интеллектуальные способности участника — корреляция с ними находится в интервале 0,41–0,67 (в зависимости от способности) [173]. Самый известный зарубежный провайдер автоматизированных видеоинтервью — HireVue. Как я уже говорил в главе 8, в России мы в «КОПСИ» разработали аналогичную технологию Echo, которая позволяет с практически нулевой ошибкой отсеивать 30% кандидатов снизу списка.

Также языковые модели могут оценивать кандидатов в экспертной оценке. Но для этого оценка должна быть достаточно хорошо структурирована: иметь четкие правила для выставления баллов на основе ответов кандидата. Такая автоматизация уже сейчас происходит со STAR-интервью [49] и с упражнениями центров оценки [174].

Главный минус расчета результатов с помощью ИИ — это его слабая объяснимость для участников. Чем точнее расчет результатов, тем он ближе к black box — черному ящику для участников оценки: связь между их ответами и результатами становится неочевидной, неинтерпретируемой в силу очень сложных алгоритмов. Например, в Echo кандидаты оцениваются на основе 13 000 параметров — различных слов и словосочетаний. Из-за этого участники меньше доверяют результатам, которые были рассчитаны с помощью ИИ.

Но эта сложность расчета дает и огромное преимущество ИИ. К оценке такими инструментами практически невозможно подготовиться. Иными словами, ИИ кардинально решает проблему социальной желательности в оценке.

Формирование отчетов

По большинству тестов отчеты формируются автоматически, в цифровой платформе для тестирования. Но в экспертной оценке — допустим, в центрах оценки — написание отчета на одного участника занимает у эксперта от двух до шести часов и стоит отдельных денег в случае привлечения провайдера. При этом часто отчеты включают в себя достаточно похожие фразы. Особенно отчеты стандартизированы в массовых проектах со структурированным интервью или центром оценки, с сотнями участников.

Поэтому формирование отчетов — одна из точек для автоматизации и существенного снижения стоимости проектов оценки.

Автоматизация отчетов может осуществляться и без ИИ, на основе простых правил и механизмов. Например, для каждой оценки по компетенции заранее составляется текст. Далее остается только проставить оценки напротив каждой компетенции участника — и с помощью макросов в Excel будет формироваться PDF-отчет.

Но автоматизация с языковыми моделями позволяет формировать более сложные тексты. Тексты получаются более разнообразными и учитывающими какие-то нюансы. Важно дать LLM эталонные тексты, написанные людьми, — так она сможет повторить их объем и стилистику.

Главный вопрос: на основе каких данных языковые модели будут формировать тексты? Ведь кроме эталонных текстов, им нужна какая-то информация о человеке. Обычно это оценки по компетенциям от экспертов-оценщиков и — дополнительно — их краткие заметки об оцениваемом участнике. Заметки позволят добавить в тексты дополнительных деталей.

В формировании отчетов есть два уровня автоматизации. Первый подразумевает полуавтоматические отчеты. Это когда языковые модели создают основу, «болванку» для текста по компетенции и далее эксперт его корректирует, дополняет. Второй — полностью автоматические отчеты с уже готовыми текстами. По моему опыту, такие отчеты используются только в совсем больших проектах, в которых нужно оценить от 300 человек в год. В проектах поменьше за ИИ все равно нужно дописывать тексты, а где-то и переписывать их — чтобы более объемно и точно представить человека. Но тем не менее языковые модели сокращают время на написание отчетов примерно на 50%.

Все сказанное выше — про отчеты по экспертной оценке. С отчетами по тестам есть отдельная развилка. Они бывают двух типов. Пошкальныеотчеты — каждая шкала интерпретируется сама по себе: высокая добросовестность значит то-то, низкая стрессоустойчивость — то-то. Синтетические — учитывают взаимодействие шкал: что означает высокая добросовестность в сочетании с низкой открытостью опыту и средней экстраверсией.

С пошкальными текстами языковая модель справляется. На каждую шкалу у разработчика теста написана готовая интерпретация, модель ее пересказывает и адаптирует под человека. С синтетическими сложнее. В среднем опроснике 10 шкал, что дает около 60 тысяч сочетаний. Готовых интерпретаций на такое количество сочетаний не существует ни в базе интерпретаций, ни в текстах, на которых училась модель. Но модель уверенно сочинит убедительный и слабо подкрепленный текст. Поэтому синтетические отчеты (или отдельные тексты интерпретаций) я советую использовать только там, где вы можете заранее задать набор сочетаний. Чаще всего это делается для пар шкал, которые выглядят несовместимыми. Сами по себе они измеряют разное, но высокие баллы сразу по обеим сбивают участника с толку — например, амбициозность и избегание