Пока в отделе восемь человек, карта компетенций живёт у вас в голове: вы знаете, кто вытащит миграцию базы, а кому нельзя доверять прод в пятницу. Проблемы начинаются на тридцати. Двое одновременно приходят за повышением до сеньора, тимлиды оценивают людей по несовместимым шкалам, а на вопрос «кто у нас вообще умеет в очереди сообщений» вы отвечаете по памяти — и ошибаетесь.
Классический ответ — таблица навыков в вики, которую заполнили один раз и больше не открывали, плюс перформанс-ревью раз в год, где оценка зависит от красноречия тимлида. Ни то, ни другое не даёт ответа на конкретные вопросы: кого повышать, кого учить и чему, где в команде дыры.
В этой статье — как выстроить формализованную оценку компетенций: зачем она нужна именно вам, как устроена модель «профессия → компетенции → вопросы», какие типы вопросов работают для разных специальностей и как всё это настроить по шагам. Примеры — на платформе Codenrock Vibe, но логика применима к любому инструменту оценки.
- Зачем вообще формализовать оценку
- Как устроена оценка: профессия → компетенции → вопросы
- Типы вопросов и как каждый проверяется
- Адаптивное тестирование — коротко
- Нюансы для разных специальностей
- Как настроить у себя: пять шагов
- Шаг 1. Профессия и компетенции
- Шаг 2. Банк вопросов и покрытие
- Шаг 3. Шаблон теста
- Шаг 4. Запуск сессий
- Шаг 5. Чтение отчётов
- Чек-лист внедрения
- Вместо заключения
Зачем вообще формализовать оценку
Оценка ради оценки — худшее, что можно сделать с командой. У формализации есть пять конкретных триггеров.
Грейды и пересмотр зарплат. Без модели грейдов повышение — это переговорный навык сотрудника, а не его квалификация. Рабочая схема: для каждой пары «грейд — компетенция» задаётся минимальный балл и вес. Тогда разговор о повышении превращается из «мне кажется, я готов» в «по компетенции X тебе не хватает до порога — вот план». В Vibe грейды привязываются к профессии, а шаблон теста — к конкретному грейду, так что «тест на мидла» и «тест на сеньора» — это разные наборы требований, а не одна планка для всех.
Планирование обучения. Бюджет на курсы обычно расходуется по принципу «кто попросил». Оценка даёт gap-анализ: разрыв между текущим баллом по компетенции и требуемым. Индивидуальный план развития (ИПР) в этом случае строится не «из головы», а на фактических результатах — и обучение закрывает реальные пробелы, а не интересные сотруднику темы.
Аудит команды после роста или слияния. Наняли пятнадцать человек за год, приняли команду подрядчика, поглотили стартап — у вас есть штатное расписание, но нет реальной картины навыков. Разовый срез по всем даёт эту картину за пару недель вместо месяцев наблюдений.
Bus-фактор и матрица навыков. Кто, кроме одного человека, разберётся в платёжном сервисе? Матрица «люди × компетенции» отвечает на этот вопрос, но заполнять её вручную — сизифов труд. Если у каждого сотрудника есть свежий результат оценки, матрица собирается из отчётов: в Vibe есть экспорт сессий в Excel, где компетенции разложены по колонкам, — фактически готовая матрица навыков по команде.
Объективация решений о повышении. Решение «повышаем Петю, а не Васю» без данных — источник конфликтов и обид. Формальная оценка не отменяет менеджерского суждения, но даёт ему опору: соответствие новому уровню подтверждено данными, и это одинаково защищает и вас, и сотрудника.
Как устроена оценка: профессия → компетенции → вопросы
В основе — трёхуровневая модель.
Профессия — это роль плюс уровень. Уровней пять: стажёр, джуниор, мидл, сеньор, лид. «Backend-разработчик (middle)» и «Backend-разработчик (senior)» — разные профессии с разными наборами требований.
Компетенции принадлежат профессии. У каждой — важность по шкале от 1 до 4 (Низкий / Средний / Высокий / Критический) и список разрешённых типов вопросов. Важность влияет на то, как адаптивный алгоритм распределяет внимание между компетенциями.
Вопросы принадлежат компетенции. У каждого — сложность от 1 до 4: Лёгкий, Средний, Сложный, Экспертный.
Типы вопросов и как каждый проверяется
Типов ровно четыре, и у каждого свой механизм проверки.
«Один ответ» — выбор одного варианта. Проверяется автоматически: совпало с правильным — 100 баллов, нет — 0.
«Несколько ответов» — выбор нескольких вариантов. Тоже автоматика, но с частичным зачётом: доля выбранных правильных минус доля выбранных неправильных (не ниже нуля), умноженная на 100. Наугад отметить всё подряд не получится — штраф съест балл.
«Открытый ответ» — свободный текст до 5000 символов, опционально с файлами-вложениями. Здесь четыре режима проверки:
- точное совпадение — автоматическое сравнение с эталоном без участия AI (подходит для коротких фактических ответов);
- строгая сверка — AI-модель сопоставляет ответ с эталоном по ключевым терминам;
- оценка по критериям (режим по умолчанию) — к вопросу задаются критерии с баллами, сумма которых равна 100, и AI-модель оценивает ответ по каждому критерию отдельно;
- сравнительная оценка — нестрогое сравнение с эталонным ответом: кандидат может выразить те же идеи другими словами.
AI-проверка возвращает балл 0–100, уверенность оценки и текстовое обоснование — вы видите не только цифру, но и почему она такая. Важная оговорка: AI-оценку нужно явно включить в шаблоне теста; без неё открытые вопросы уходят на ручную экспертную проверку. И в любом режиме ревьюер может выставить свою оценку с комментарием — экспертный балл приоритетнее, AI-оценка при этом не затирается, а показывается отдельным блоком.
«Код» — два принципиально разных вида. Алгоритмические задачи проверяются автоматически прогоном тест-кейсов: балл равен проценту пройденных тестов, а кандидат может запускать проверку до отправки ответа. Задачи формата код-ревью (найти баг, оптимизировать, отрефакторить, реализовать, объяснить или конвертировать код, провести ревью) оценивает AI-модель по критериям задания — тоже с баллом, уверенностью и текстовым обоснованием.
Пороги «правильности» различаются: у закрытых вопросов порог засчитывания строже, чем у открытых и кода, — угадывание в закрытых не должно сходить за знание. Итог сессии — среднее по всем вопросам; тест пройден, если итог не ниже проходного балла шаблона (по умолчанию 70%).
Адаптивное тестирование — коротко
В обычном тесте список вопросов фиксирован. В адаптивном режиме источник — весь банк вопросов профессии, а следующий вопрос выбирает языковая модель, исходя из стратегии, важности компетенций и предыдущих ответов. Она же решает, когда остановиться, — но не раньше заданного минимума вопросов.
Стратегий четыре: «Сбалансированная» (ровное покрытие всех компетенций — дефолт для первичной оценки), «Углубленная проверка» (копает слабые зоны — для решений о повышении), «Быстрая оценка» (массовый скрининг) и «Адаптивная сложность» (определение уровня джуниор/мидл/сеньор). Глубина настраивается: быстрая — 20–30 вопросов (примерно 30–45 минут), стандартная — 30–50 (45–75 минут), глубокая — 50–100 (75–150 минут).
Принципиально: модель не придумывает вопросы на лету — только выбирает из заранее подготовленного банка, и каждое её решение логируется с объяснением. Подробный разбор адаптивного режима выйдет отдельной статьёй, ссылку добавим после публикации.
Нюансы для разных специальностей
Дальше — рекомендации из нашей практики; универсального рецепта нет, но закономерности устойчивые.
Backend. Лучшая комбинация — алгоритмические задачи с автопроверкой плюс открытые вопросы об архитектуре, базах данных и отказоустойчивости с оценкой по критериям. Закрытых вопросов хватает для проверки знания фреймворка и стандартной библиотеки, но сеньорские компетенции («спроектируйте», «что сломается при росте нагрузки») закрытыми не проверяются в принципе.
Frontend. Хорошо работают код-ревью форматы: найти баг в компоненте, отрефакторить, объяснить, что делает код. Основы (браузерные API, специфика языка) закрываются вопросами «Один ответ» и «Несколько ответов», производительность и доступность — открытыми.
QA. Тест-дизайн — это мышление, а не факты, поэтому ядро — открытые вопросы с критериями: «составьте набор проверок для этой формы». Тип «Несколько ответов» здесь полезнее, чем где-либо: «выберите все подходящие виды тестирования для сценария» с частичным зачётом честно отражает неполные знания. Для автоматизаторов добавляйте задачи на код.
DevOps. Самое ценное — открытые сценарии инцидентов («прод отвечает 502 после деплоя — ваши действия») со сравнительной оценкой: правильных путей несколько, и жёсткий эталон только мешает. Знание инструментов проверяется закрытыми вопросами, скрипты — задачами на код.
Аналитики. Почти всё — открытые вопросы по критериям: постановка задачи, проверка гипотез, интерпретация метрик. SQL удобно проверять закрытыми вопросами по готовому запросу или задачами на код.
Общий принцип: чем ближе компетенция к «принимать решения в неоднозначной ситуации», тем нужнее открытые вопросы и AI-проверка с обоснованием. Чем ближе к «знать факты и синтаксис» — тем дешевле и надёжнее закрытые.
Как настроить у себя: пять шагов
Шаг 1. Профессия и компетенции
Создайте профессию в разделе «Профессии»: роль, уровень, описание. Компетенции можно завести вручную или сгенерировать AI по описанию роли. По нашему опыту, оставляйте 5–7 компетенций на профессию: генератор может предложить десятки, но каждую компетенцию придётся покрыть вопросами, а в отчёте различать между собой — при 15+ компетенциях радар превращается в кашу. Расставьте важность: «Критический» — для ядра роли, «Низкий» — для желательного.
Шаг 2. Банк вопросов и покрытие
Вопросы добавляются вручную или генерируются AI: от 5 до 30 вопросов на компетенцию за запуск (по умолчанию 12). Распределение типов настраивается поштучно; по умолчанию для 12 вопросов — 4 «Один ответ», 2 «Несколько ответов», 4 открытых и 2 с кодом. Для алгоритмических задач есть встроенная база из 3000+ задач. Про то, как устроена AI-генерация и контроль качества вопросов, выйдет отдельной статьёй, ссылку добавим после публикации.
Сгенерированное обязательно вычитывайте: AI-генерация экономит часы, но финальная ответственность за формулировки — на вас. Перед запуском платформа проверяет готовность: на роль нужно минимум 5 вопросов, а компетенции без единого вопроса блокируют осмысленный запуск — они попадут в отчёт с нулём данных.
Шаг 3. Шаблон теста
В разделе «Шаблоны тестов» собирается сам тест. Ключевые настройки:
- режим: обычный (фиксированный список вопросов) или адаптивный (весь пул профессии + «Стратегия адаптации» и «Глубина тестирования»);
- «Проходной балл (%)» — по умолчанию 70;
- «Ограничение времени (минуты)» — по умолчанию не задано; отдельно можно включить таймеры на секции и на отдельные вопросы (от 15 секунд) — с вопросными таймерами тест автоматически выдаётся по одному вопросу;
- перемешивание вопросов и вариантов ответа — от списывания «по номерам»;
- переключатель «AI Оценка» — без него открытые вопросы и код-ревью потребуют ручной экспертной проверки;
- «Допускать краткие ответы» — снимает штраф за краткость при жёстком тайминге (но не за бессодержательность);
- политика показа результатов кандидату — 6 режимов, от полностью скрытых результатов до подробных; по умолчанию сотрудник не видит ничего. Для внутренней оценки рекомендуем показывать хотя бы разбивку по компетенциям: оценка «в один конец» демотивирует. Правильные ответы кандидату не показываются ни в одном режиме — так банк вопросов гораздо сложнее растащить по команде.
Шаг 4. Запуск сессий
Сессии создаются именными приглашениями (срок действия по умолчанию — 72 часа) или публичной ссылкой с лимитом числа прохождений. Одна сессия — одна попытка; повторная оценка — это новая сессия, что и нужно для честного сравнения срезов. Администратор может продлить время, сдвинуть срок действия или принудительно завершить сессию.
Из практики: перед запуском объясните команде, зачем это. «Оценка для планирования обучения и грейдов» и «непонятный тест от руководства» дают разное качество ответов и разный уровень стресса.
Шаг 5. Чтение отчётов
Отчёт по сессии — это итоговый балл и разбор каждого вопроса: ответ сотрудника, балл, обоснование AI-оценки, экспертная оценка (если была) — отдельными блоками. Главный инструмент — разбивка по компетенциям: число вопросов, доля правильных, средний балл; при трёх и более компетенциях она отображается радаром.
Для адаптивных тестов есть лог: каждый шаг — фаза, компетенция, сложность, результат, а в раскрытии — объяснение, почему модель выбрала именно этот вопрос. Это ответ на закономерный вопрос «а почему ему достались другие вопросы, чем мне»: маршруты в адаптивном режиме действительно разные, поэтому сравнивать людей нужно по баллам компетенций, а не по совпадению вопросов.
Прокторинг фиксирует браузерные события (переключения вкладок, потерю фокуса, буфер обмена) и поведенческие метрики печати, сводя их в scoring честности 0–100%. Две честные оговорки: видеонаблюдения через веб-камеру нет — это именно браузерный мониторинг; и высокий риск-балл — повод для разговора, а не автоматический вердикт. Отчёты выгружаются в Excel (сводно по сессиям, с компетенциями в колонках) и PDF.
Чек-лист внедрения
- ✅ Сформулирована цель оценки (грейды / обучение / аудит) и озвучена команде
- ✅ Создана профессия с уровнем; компетенций 5–7, важность расставлена
- ✅ Банк вопросов покрывает все компетенции, все типы и уровни сложности представлены
- ✅ Сгенерированные вопросы вычитаны техническим экспертом
- ✅ Шаблон настроен: проходной балл, время, AI-оценка, перемешивание
- ✅ Выбрана политика показа результатов сотрудникам
- ✅ Пилот на 2–3 лояльных сотрудниках, формулировки поправлены по итогам
- ✅ Запущены сессии, назначен ревьюер для спорных AI-оценок
- ✅ Результаты разобраны по компетенциям, по пробелам построены планы развития
- ✅ Назначена дата повторного среза
Вместо заключения
Оценка компетенций не заменит ни один разговор один на один и не примет за вас кадровое решение — и не должна. Её роль скромнее и полезнее: превратить «мне кажется» в данные, на которые можно опереться при пересмотре грейдов, планировании обучения и разборе bus-фактора.
Настроенная один раз, она работает циклом: срез → gap-анализ → план развития → повторный срез. Разница между двумя срезами — это и есть измеримый эффект вашего бюджета на обучение.
Начать проще с малого: одна профессия, 5–7 компетенций, пилот на нескольких людях — для этого достаточно стартового тарифа, актуальные условия и лимиты смотрите на странице тарифов. Общий обзор платформы — в статье «Обзор Codenrock Vibe».
Частые вопросы
Зачем CTO формализовать оценку компетенций в IT-отделе?
Пять типовых причин: грейды и пересмотр зарплат, планирование обучения по gap-анализу, аудит команды после роста или слияния, снижение bus-фактора через матрицу навыков и объективация решений о повышении. Формальная оценка не заменяет менеджерское суждение, а даёт ему опору в данных.
Какие типы вопросов использовать для оценки разработчиков?
В Codenrock Vibe четыре типа: «Один ответ», «Несколько ответов», «Открытый ответ» и «Код». Закрытые вопросы подходят для фактов и синтаксиса, открытые с AI-проверкой — для архитектурных и сценарных компетенций. Алгоритмические задачи проверяются прогоном тест-кейсов, а код-ревью оценивает AI-модель по критериям задания.
Как AI проверяет открытые ответы в тестах на компетенции?
AI-модель сравнивает ответ с эталоном или оценивает по критериям вопроса и возвращает балл 0–100, уверенность и текстовое обоснование. Ревьюер может выставить свою оценку с комментарием — экспертный балл приоритетнее, AI-оценка сохраняется отдельным блоком.
Сколько вопросов и компетенций нужно для оценки одной роли?
Практичный старт — 5–7 компетенций на профессию и около 12 вопросов на компетенцию (генерация настраивается от 5 до 30 за запуск) с покрытием всех четырёх уровней сложности. При 15+ компетенциях радар в отчёте становится нечитаемым.
Чем адаптивное тестирование лучше обычного теста?
Адаптивный режим подбирает следующий вопрос по предыдущим ответам и важности компетенций: сильным не задаёт лишних простых вопросов, слабые зоны копает глубже. Каждое решение алгоритма логируется с объяснением, поэтому оценка остаётся проверяемой.
