Настоящий анализ эффективности ИИ-рекрутеров

Настоящий анализ эффективности ИИ-рекрутеров

На конференции TechRec, прошедшей 04.06.2026, наконец то увидела доклад, который давно ждала – первый настоящий анализ эффективности ИИ-рекрутеров. Автор доклада - Ульяна Крылова, Менеджер проектов подбора, Контур

Для оценки эффективность ИИ-рекрутмента важны не только увеличение количества разобранных резюме и увеличение скорости разбора ХХХ резюме, но и точность этого разбора.

Что делать?

1. Составить Матрицу Ошибок (Confusion Matrix), где считаем резюме с соответствием оценок ИИ и Эксперта:

TP, True positive, Истинные попадания (Эксперт - да, ИИ - да) FP, False positive, ошибка I рода - ложная тревога (Эксперт - нет, ИИ - да) FN, False negative, ошибка II рода - пропуск цели (Эксперт - да, ИИ - нет) TN, True negative, Истинные исключения (Эксперт - нет, ИИ - нет)

2. Рассчитать метрики:

Полнота (Recall) = TP / (TP+FN) Доля всех реальных релевантных кандидатов, которых модель смогла найти

Точность (Precision) = TP / (TP+FP) Доля действительно релевантных резюме среди всех, кого робот пометил как релевантные

Точность (Accuracy) = (TP+TN)/(TP+TN+FP+FN) Доля правильных предсказаний модели среди всех предсказаний

Количество ранжирования nDCG Сравнивает порядок, в котором модель выставила кандидатов, с порядком, который выставил бы эксперт-человек

Точность для ТОП-X Precision@K — точность для первых 20–30 резюме, чтобы понимать, какая доля положительных резюме попадает в ТОП выдачи

Полнота для ТОП-X Recall@K — показывает, какую долю всех действительно релевантных резюме (по всей выборке) система смогла поместить в ТОП позиций выдачи

Эти метрики можно также применять к оценке точности любой другой рекомендательной модели, например: * модели прогноза текучести персонала * модели рекомендаций повышения сотрудника * модели рекомендации курса сотруднику

В презентации у Ульяны все подробно расписано, еще и с картинками, лучше не опишешь.

Канал Ульяны - @hrnomica - это канал, как говорит она сама, "про метрики, измерение эффективности процессов, внедрение изменений в HR и немного про пользовательский опыт"

Телеграм | Max База знаний whrdata