К содержимому
Оценка навыков работы с ИИ-агентами

Оценка навыков работы с ИИ-агентами

Код теперь пишут агенты. Оцените того, кто ими управляет.

Практическое задание для оценки разработчиков: человек решает настоящую рабочую задачу вместе с ИИ-агентами. Его проводят при найме, для своей команды или как хакатон.

Обсудить запуск

Участник

Задача агентам

Сначала тесты, потом код. Публичный API не менять.

orders/filter.ts
import { orders } from './fixtures'
export function filterByDate(list, from, to) {
return list.filter(o =>
o.date >= from && o.date <= to)
}
test('filters by date', () => {
const res = filterByDate(orders, from, to)
expect(res).toHaveLength(3)
})
  • Claude Code
  • Codex CLI
  • Aider

Codenrock проверяет, как участник работает с агентами

Пример рабочей задачи

Фильтр заказов по дате

  • Разработчик
  • Claude Code
  • Codex CLI
  • Aider
  • Найм
  • Оценка команды
  • Хакатон

для своих сотрудников или открытый

Одна задача для всехОдинаковый бюджетВидна вся работа в окружении

01Почему эффект разный

Агенты одни и те же, а эффект разный

По наблюдениям Codenrock, руководители компаний ждали от внедрения ИИ в разработку ускорения в 4 раза, а получают в лучшем случае около +50%.

Рост производительности разработки

Ждут×4
Получают+50%

Наблюдение Codenrock по разговорам с владельцами и руководителями компаний

Инструменты у всех одинаковые

  • Codex CLIвозможности
  • Claude Codeвозможности
  • OpenCodeвозможности
  • Aiderвозможности

Человек

  • Ставит задачи агентам
  • Проверяет каждый шаг
  • Следит за бюджетом
  • Во многом разница — в том, как человек работает. Как ставит задачи агентам, проверяет ли их шаги, следит ли за бюджетом.
  • Снаружи этого не видно. По готовому коду не понять, как он получен и во что обошёлся.

02Пример

Два разработчика: результат один, путь разный

Задача — добавить фильтр заказов по дате. Оба сдали рабочий код за 3 часа, скрытые тесты дали им одинаковый результат.

Проверка Codenrock: видна разница

1Первый разработчик

Результат

Рабочий код за 3 часа

Как работал

  • Разбил на шаги
  • Правила и тесты
  • Проверял шаги

Бюджет

треть

2Второй разработчик

Результат

Рабочий код за 3 часа

Как работал

  • Всё целиком
  • Тесты в конце
  • Правил вручную

Бюджет

весь

1Первый готовит агента

Даёт агенту понятную задачу, правила проекта и тесты. Разбивает работу на шаги и проверяет каждый.

2Второй переделывает за агентом

Просит агента сделать всё целиком, тесты запускает в конце. Упавшее переделывает: снова через агента, потом руками.

По тестовому заданию и на техническом собеседовании они выглядят одинаково. Проверка Codenrock показывает разницу.

78баллов у первого
38баллов у второго

Пример, цифры условные. Разница бывает и тоньше: её видно по частям балла и цитатам из записи. Как складывается балл ↓

03Глазами участника

Оценивают не запрос, а весь способ работы

Задача и агенты — как в обычной работе. Отличия: окружение готовое, в браузере; агентов, нейросети, время и бюджет задаёт организатор, у всех одинаково; всё записывается с согласия участника.

Сессия участника

Окружение готово
Задача
Фильтр заказов по дате
Окружение
своё у каждого, в браузере
Агенты
  • Codex CLI
  • Claude Code
  • OpenCode
  • Aider
Бюджет
на нейросеть у всех одинаковый

Агент · Claude Code

Добавь фильтр заказов по дате и покрой его тестами

  • Читаю проект
  • Пишу фильтр по дате
  • Запускаю тесты
Добавь фильтр заказов по дате и покрой его тестами
AGENTS.mdОбвязка
# Правила для агентов
1. Сначала тест, потом код
2. Не менять публичный API
3. После шага — npm test
  • Запросык агентам
  • Тестыи проверки
  • Бюджетрасход

  1. У каждого своё окружение с готовыми ИИ-агентами для разработки и одинаковый бюджет — сумма на запросы к нейросети. Ставить ничего не нужно.

  2. Участник поручает работу агентам и сам решает, что принять. Остаток времени и бюджета виден на экране.

  3. Участник пишет для агентов инструкции, правила, тесты и скрипты, например AGENTS.md, — это обвязка. Цель — чтобы агенты справлялись без подсказок человека.

Что получает каждый участник

Агенты уже установлены

Codex CLIClaude CodeOpenCodeAider

Каких агентов дать, какие нейросети и какой бюджет, выбирает организатор.

  • Окружение в браузере

    Редактор кода, терминал, проект задачи и своя база данных; библиотеки можно ставить.

  • Время задаёт организатор

    Например, три часа; отсчёт идёт с момента, когда окружение готово.

  • Запись — с согласия участника

    Записываются терминал, диалоги с агентами и проект.

  • Сдача работы

    Кнопкой, сама, когда время вышло, или организатором.

04Глазами жюри и организатора

Жюри видит результат и каждый шаг

Скрытые тесты и расход бюджета дают цифры без участия нейросети, часть критериев считается прямо по записи. Остальное оценивает нейросеть с цитатами, жюри подтверждает или правит. Без жюри разбор получает руководитель.

Скрытые тестыучастник их не видит
  • orders.filter.by_date
  • orders.filter.empty_range
  • orders.filter.timezone
  • orders.filter.inclusive_bounds
  • orders.legacy_format
  • api.contract.unchanged
  • perf.filter_10k_rows
6 из 7

Организатор · настройки проверки

Скрытые тесты всегда
Дополнительная проверка обвязки

обвязку запускают на похожей задаче, уже без участника

Прогон обвязки · без участника

  • Новое чистое окружение
  • Похожая задача · тот же язык
  • Скрытые тесты похожей задачи

по выбору организатора · отдельная строка балла

Способ можно передать команде

Лента работывидит жюри
  • Запрос к агенту«Добавь фильтр заказов по дате…»
  • ОбвязкаAGENTS.md · правила для агентов
  • Командаnpm test
  • Расход2% бюджета
  • Запрос к агенту«Почему падает тест на часовой пояс?»
  • Командаgit diff

Критерии · набор «Найм»

проверяет искусственный интеллект по записи работы

  • Ставит задачу с целью и критерием готовности
  • Правила для агента написаны в начале
  • Проверяет результат после каждого запроса
  • Тесты раньше кода
  • Нет секретов и опасных команд
  • Своё: использовать наш шаблон обвязки
  • Найм
  • Обучение
  • Сделайте продукт
  • Правка кода

  1. Проверяют, решена ли задача: фильтр отдаёт заказы только за нужные даты, учитывает часовой пояс, не ломает старый формат данных. Участник тестов не видит.

  2. По выбору организатора обвязку запускают без участника на похожей задаче со своими скрытыми тестами. Справилась сама — способ работает без автора. Это отдельная строка балла.

  3. В ней видны все запросы к агентам, команды, правки кода и расходы по времени. Готовое приложение жюри запускает по кнопке.

  4. Как человек работал с агентами, проверяет искусственный интеллект по заранее заданным критериям, с цитатой из записи к каждой оценке. Готовые наборы можно поправить под себя.

Результат проверки · пример

Что вы получаете по каждому участнику

Первый78Второй38
Скрытые тестыиз 302626
Экономностьиз 1060
Обвязка без участникаиз 20140
Профиль по критериямиз 15124
Оценка жюрииз 25208
Цитата из разбора для жюри«Разбил задачу на шаги, правила дал в начале»«Попросил всё целиком, тесты запустил только в конце, упавшее переделывал несколько раз»
  • Балл и место в рейтинге
  • Результат скрытых тестов и расход бюджета
  • Профиль по вашим критериям с цитатами
  • Ленту работы по шагам
  • Прогон обвязки без человека, если нужен

Пример, цифры условные. Веса задаёт организатор, в сумме 100. Без жюри считаются первые четыре строки: 58 и 30 из 75.

Готовые наборы критериев
  • Правка рабочего кода: изучение проекта, тесты раньше кода, правила соблюдены, минимум ручной доводки
  • Сделайте продукт: постановка и разбиение, обвязка собирает и проверяет приложение, маленькие шаги
  • Найм: постановка, контроль результата, безопасность; остальное с малым весом
  • Обучение: те практики, которым учили, например тесты раньше кода и правила в начале

05Что дальше

Два пути: выбирать или тренировать

По результатам видно, кто решает задачу с агентами лучше и дешевле.

Выбирайте тех, кто уже умеет работать с агентами.

  • Найм разработчиков. Финальный этап вместо тестового задания, есть готовый набор критериев «Найм».
  • Хакатон или чемпионат. У всех одинаковый бюджет, жюри видит, как работали, и пробует готовый продукт.

Тренируйте тех, кого хотите научить, на таких же заданиях.

  • Оценка команды. Вся команда решает одну задачу. Способ лучших разбирают вместе, через пару месяцев проверку повторяют и сравнивают.
  • Обучение и аттестация разработчиков. Проверка до и после обучения по набору критериев «Обучение».
Обсудить запуск

Как запустить

Условия под вашу задачу

Задание
Похожее на вашу работу или открытая задача «сделайте продукт»
Агенты и нейросети
Codex CLI, Claude Code, OpenCode, Aider; агентов, нейросети и бюджет выбирает организатор
Языки
Java, Kotlin, JavaScript и TypeScript, React, Go, PHP; можно несколько в одной задаче
Длительность
Задаёт организатор, например три часа
Защита
Окружения изолированы, ключ у каждого личный, запись только с согласия участника; попытка добраться до тестов помечается для ручной проверки

Частые вопросы об оценке разработчиков

Не нашли ответ — напишите нам.

Как оценить разработчика, который работает с ИИ-агентами?

Дать ему настоящую задачу и смотреть не только на результат. У всех одна задача, своё окружение с готовыми ИИ-агентами и одинаковый бюджет на нейросеть. Скрытые тесты проверяют код, жюри видит каждый запрос и команду, а искусственный интеллект оценивает способ работы по заранее заданным критериям. По желанию организатора обвязку ещё запускают на похожей задаче без участника.

Чем оценка работы с ИИ-агентами отличается от тестового задания и собеседования при найме разработчиков?

Тестовое показывает ответ, но не путь, и его можно сдать с нейросетью. На собеседовании человек рассказывает, как работает с ИИ, а здесь видно, как он работает на самом деле. Нейросеть не нужно запрещать и ловить: она разрешена, а работа с агентами в окружении записывается. При найме проверку ставят финальным этапом вместо тестового, для этого есть готовый набор критериев.

Какие навыки работы с ИИ-агентами проверяются?

Ставит ли человек агенту задачу с целью и критерием готовности, а не просто «сделай». Пишет ли правила для агента в начале и тесты раньше кода. Проверяет ли результат агента, много ли правит руками, не тратит ли бюджет на повторы. Нет ли секретов в запросах и опасных команд. Организатор может дописать своё ожидание обычным текстом.

Как ИИ участвует в оценке и кто ставит итог?

Результат и прогон обвязки проверяют скрытые тесты, расход бюджета считает платформа. Часть критериев считается прямо по записи, например запускались ли тесты до первой правки. Остальное искусственный интеллект оценивает по заранее заданным критериям, с цитатами из записи. Жюри подтверждает или правит оценки. Без жюри руководитель получает профиль и разбор как отчёт.

Как проходит проверка и сколько она длится?

Длительность задаёт организатор, например три часа; отсчёт идёт с момента, когда окружение готово. Участник открывает задание и получает готовое окружение. Тестов в окружении нет, а экономия бюджета засчитывается только вместе с их результатом. Если код пытается добраться до тестов, работа получает пометку «проверить вручную». Когда участник увидит свой результат, решает организатор.

Какие ИИ-агенты для разработки и языки программирования доступны участникам?

Установлены ИИ-агенты для программирования: Codex CLI, Claude Code, OpenCode и Aider; организатор выбирает агентов, нейросети и бюджет. Языки — Java (Maven, Gradle), Kotlin, JavaScript и TypeScript (Node.js), фронтенд на React и Vite, Go и PHP, можно несколько в одной задаче. Задание можно сделать похожим на вашу работу или дать открытую задачу «сделайте продукт».

Что записывается и кто видит запись?

Только с согласия участника записываются терминал, диалоги с агентами и проект. Ленту работы видят организатор и жюри, сданный код открывается только для чтения. Участник работает по личному ключу, служебные ключи ему недоступны. Окружения участников изолированы друг от друга.

Как понять эффект от внедрения ИИ в разработку?

Проверка не меряет эффект во всей компании. Она показывает, как каждый разработчик работает с агентами на одной задаче: кто решает лучше и дешевле, а по желанию организатора — чей способ работает без автора. Способ лучших разбирают с командой, через пару месяцев проверку повторяют и сравнивают.

Подходит ли проверка для аттестации разработчиков и обучения?

Да. У всех одна задача и одинаковые условия, поэтому результаты можно сравнивать, а задание можно сделать похожим на вашу работу. Проверку проводят до и после обучения и смотрят, что изменилось. Для этого есть набор критериев «Обучение»: те практики, которым учили. Развивать команду на таких же заданиях можно в Codenrock Vibe.

Можно ли провести корпоративный хакатон или чемпионат с ИИ-агентами?

Да. У всех участников одинаковый бюджет, жюри видит, как они работали, и пробует готовый продукт. В командном формате у каждого своё окружение, бюджет и запись, а код команда передаёт через общий Git-репозиторий: GitLab, GitHub или SourceCraft. Подробнее — хакатон с ИИ-агентами для команд.

Узнайте, кто умеет управлять ИИ-агентами

Формат Agent Arena на платформе Codenrock

Обсудим запуск
Оценка навыков работы с ИИ-агентами

Оставьте контакты и отметьте, для чего нужна оценка. На встрече разберём вашу задачу и покажем, как пройдёт проверка.

После заявки предложим время встречи