Читать книгу - "Тесты для оценки персонала: Как принимать кадровые решения на основе данных, а не ощущений - Юрий Шатров"

«каша», но не «известь». Похожий принцип вы видели в подсказках поисковой строки и клавиатуры телефона — языковые модели делают то же самое, только несравнимо мощнее.

И поэтому критерии, которые будет предлагать LLM, отражают некоторые очень усредненные представления. Они не учитывают культуру компании, ее систему управления, рыночную ситуацию. В конечном счете критерии, предлагаемые LLM, не отражают факторы эффективности и текучести в компании.

Это приводит нас к тому, что LLM в вопросе критериев годится только для стажерских задач — создание сырого списка критериев (который далее будет проверен) и переформулирование текстов. Если речь идет про разработку ценностей или компетенций, их нужно потом проверить на данных, например методологией DEEP (Data Enabled Employee Profile). Она тоже основана на машинном обучении, только позволяет проверить реальную связь компетенций или ценностей с эффективностью сотрудников компании. На выходе вы получаете критерии, которые действительно связаны с результатом, а не просто являются красивыми декларациями.

В целом к LLM нужно относиться как к талантливому новичку — давать только те задачи, качество выполнения которых вы можете проверить. И тщательно проверять то, что он для вас сделал.

Создание пунктов теста

Создание теста — в общем, достаточно рутинная задача. Когда его концепция создана, остается только задача создания пунктов. И пунктов в огромном объеме — например, для того, чтобы измерить какую-то интеллектуальную способность, необходимо минимум 15 пунктов. Банк пунктов при этом может быть ×5, то есть включать в себя 75 пунктов. На апробацию нужно отправить минимум в 1,5 раза больше пунктов = 115 пунктов. Один пункт создается опытным разработчиком тестов примерно за два часа. А это уже 230 часов, то есть 29 рабочих дней.

И здесь LLM как нельзя кстати. Языковые модели могут создавать основу для пунктов всех видов тестов.

• В тестах знаний — проанализировать документацию компании и предложить основу для пунктов (что необходимо спросить и какие могут быть варианты ответа).

• В самоотчетных опросниках — тексты пунктов. Для этого нужен запрос по типу «Представь, что ты — опытный разработчик психологических тестов. Придумай 10 пунктов для измерения такого-то конструкта». Последние исследования показывают, что языковые модели формируют пункты, которые обладают немного худшими психометрическими параметрами (по сравнению с пунктами, которые создает эксперт) [169].

• В кейс-тестах — фабулы для пунктов, сами сюжеты ситуаций. Разработчики теста могут наполнить их деталями, и на 70% кейс готов. По крайней мере в кейс-тестах, измеряющих личностные черты, такие кейсы обладают хорошими психометрическими характеристиками [170]. Мы в «ЭКОПСИ» как раз используем языковые модели для создания пунктов самоотчетных опросников и кейс-тестов.

• В тестах способностей — сами пункты.

Таким образом, LLM могут ускорить разработку пунктов примерно на 30%. Они помогают разработчикам теста бороться со страхом чистого листа, а также с истощением фантазии, когда новые пункты уже не пишутся. Во всех случаях языковым моделям нужны примеры того, как могут формулироваться задания. Они могут быть добавлены в так называемый системный промпт (запрос к LLM, задающий ей правила работы) или в выборку данных для обучения модели.

Кроме того, если к тексту пункта добавляется изображение (для лучшего опыта пользователя), здесь могут использоваться нейросети. По сути, нейросети, создающие картинки, уже прошли период ажиотажа и сейчас являются рядовыми технологиями. Можно использовать как платные облачные нейросети (из зарубежных — GPT Image, Nano Banana, Midjourney; из российских — «Шедеврум» и Kandinsky), так и открытые модели, которые разворачивают на собственных серверах (Flux, Stable Diffusion).

Упомяну про другое ограничение LLM. Большинство из них располагаются на серверах зарубежных компаний. Поэтому при разработке, например, тестов знаний не передавайте в языковые модели чувствительные данные. Альтернатива — LLM с открытыми весами, которые можно поставить на ваши серверы или даже локальное устройство. Но для масштабирования, то есть использования большим количеством сотрудников, нужны мощные серверы и экспертиза по настройке моделей на них.

Сбор данных

Когда говорят, что ИИ может заменить оценщика, имеют в виду в первую очередь само проведение оценки. Предполагают, что вскоре при приеме на работу мы будем вести беседы с цифровым аватаром, в реальном времени задающим нам вопросы и гибко реагирующим на наши ответы.

И такие примеры реально существуют, и касаются они самых стандартизированных видов оценки. Чат-боты пишут кандидатам, задают ключевые для компании вопросы (место жительства, опыт, ожидания от работы). Голосовые роботы обзванивают кандидатов и делают то же самое. Цифровые ассистенты проводят структурированное интервью на входе в компанию. Эти инструменты выходят за пределы тестирования и местами замещают его — где были тесты и опросники, появляются более продвинутые автоматизированные инструменты оценки. В отличие от тестов, эти инструменты работают с менее структурированными данными — не с ответами на закрытые вопросы, а с текстами и устными ответами участников.

Дальше всех продвинулись инструменты, которые имитируют уже не интервью, а поведенческие упражнения. Устроено это так: за полтора-два часа участник проходит серию коротких заданий по 15 минут — ролевая игра, кейс на решение проблемы, разбор ситуации, — но не с ссессором-человеком, а в диалоге с ИИ-агентом. Он же выставляет оценки по компетенциям или ролям и собирает отчет; эксперт подключается выборочно — там, где случай спорный. В «ЭКОПСИ» мы сделали такой продукт под названием FTA (Fast Track Assessment), и на нем хорошо видно, на что способны подобные инструменты. Раньше выбор был бинарным: тест — быстро, дешево и масштабируемо, но измеряет способности и черты, а не реальное поведение; центр оценки или интервью — поведение, но дорого и долго. Асинхронный поведенческий ИИ-ассессмент претендует на то, чтобы этот выбор снять.

Также есть примеры, когда ИИ на этапе сбора данных используется как co-pilot. То есть эксперт проводит оценку, а LLM обрабатывает ответы участника и советует эксперту, какие вопросы еще задать и на что обратить внимание. Эти технологии только начинают появляться, но так делает, например, стартап Sapia.ai. И у них тоже есть потенциал — хотя бы из-за того, что люди (пока что) в большей мере доверяют гибридной оценке, чем только машинной [171].

На одной конференции по оценке персонала я как-то провел опрос с неожиданными результатами. Слушателям была предложена следующая ситуация. «Вы возглавляете подбор персонала в крупной розничной сети. Одна из ваших задач — нанимать большое количество продавцов-кассиров. Вы знаете, что рекрутеры вашей компании чаще рекомендуют к найму женщин, чем мужчин (пусть их приходит на собеседование примерно равное количество). Два вопроса: 1) Можно ли оставлять такую практику, пусть она кажется дискриминационной? 2) Можно ли автоматизировать эту практику, чтобы такой отсев уже производил искусственный интеллект?» К моему удивлению, более 70% слушателей на первый вопрос ответили, что да, можно,