Оценка навыков работы с ИИ-агентами

Проблема

Ждали рост в 4 раза. Получили в лучшем случае +50%

• ×4

  такой рост производительности от ИИ ждут владельцы и руководители компаний

• +50%

  столько в лучшем случае получается на практике

Компании купили разработчикам ИИ-помощников и агентов. Деньги потрачены, а команда работает лишь немного быстрее, чем раньше. Так часто выглядит внедрение ИИ в разработку.

Так говорят владельцы и руководители компаний, с которыми мы работаем.

Почему так

Дело не в нейросети, а в том, как с ней работают

ИИ-агент — это программа на основе нейросети, которой можно поручить задачу целиком. Она сама читает код, пишет его, запускает проверки и исправляет ошибки.

Инструменты у всех одинаковые. Разница — в людях.

• Один разработчик ставит агенту понятную задачу, дает правила проекта и тесты, проверяет результат.

  Агент делает за него часы работы.

• Другой пишет агенту «сделай», а потом сам все переделывает.

  Агент только тратит его время и деньги компании.

В каждой команде есть и те, и другие. Снаружи их не отличить.

Почему этого не видно

Обычные проверки смотрят на готовый результат. А его теперь может собрать кто угодно

• Тестовое задание

  Его можно сдать с помощью нейросети. Вы видите ответ, но не видите, как человек к нему пришел.

• Собеседование

  Человек рассказывает, как работает с ИИ. Но рассказ — это не работа.

• Хакатон

  Жюри видит готовый продукт. Не видно, кто его сделал — человек или агент, — и сколько это стоило.

Пример

Два разработчика, одна задача

Пример, цифры условные.

По тестовому заданию и на собеседовании они одинаковые. Но для компании первый ценнее: его способ работы можно передать всей команде. Проверка Codenrock показывает эту разницу.

Как мы это проверяем

Одинаковые условия для всех и вся работа на виду

Формат Agent Arena на платформе Codenrock

Каждый участник получает одну и ту же задачу, свою облачную среду для разработки с уже установленными ИИ-агентами и одинаковый бюджет. Бюджет — это сумма на запросы к нейросети: каждый запрос стоит денег. Пока человек работает, сервис с его согласия записывает все, что он делает.

Потом мы смотрим на четыре вещи:

1. 01

   Решена ли задача

   Код проверяют скрытые тесты. Участник их не видит, поэтому подогнать решение под них нельзя.

2. 02

   Сколько потрачено

   Сэкономленный бюджет добавляет баллы, но только вместе с результатом тестов. Пустая сдача за экономию ничего не получит.

3. 03

   Как человек работал

   Жюри видит по времени каждый запрос к агенту, каждую команду и каждое изменение в коде.

4. 04

   Работает ли его способ без него

   Это проверка обвязки — о ней в рамке ниже.

Что делать с результатом

Как приблизить реальный рост к ожидаемому

1. 1

   Проведите проверку для команды

   Задание можно сделать похожим на вашу реальную работу. Срок — до 24 часов.

2. 2

   Найдите тех, кто уже умеет

   Результаты покажут, кто решает задачу с агентами лучше и дешевле и чей способ работает без него.

3. 3

   Сделайте их способ общим

   Обвязки лучших — готовые инструкции для агентов. Разберите их с командой.

4. 4

   Научите остальных и проверьте снова

   Повторите через пару месяцев и сравните результаты.

Кому еще

Тот же формат — для найма, хакатонов и обучения

• Найм

  Финальный этап найма разработчиков и тимлидов вместо тестового задания. Нейросеть не нужно запрещать и ловить: она разрешена, а работа с ней видна.

• Хакатоны и чемпионаты

  Корпоративный хакатон или чемпионат с ИИ-агентами. Честные условия: у всех одинаковый бюджет. Жюри видит, как участники работали, и пробует готовый продукт. Команда работает через общий Git-репозиторий.

• Обучение

  Практический экзамен после курса по работе с ИИ-агентами и аттестация разработчиков: проверка до и после обучения.

Работает на платформе Codenrock как тип задачи «Агентная задача». Для других платформ есть API.

Интерфейс

Так это выглядит на самом деле

Экраны из настоящей сессии: что видит участник и что видит организатор. Экран можно развернуть.

УчастникОрганизатор

Развернуть

1. 1Задание и правилаУчастник открывает личную ссылку, читает правила и соглашается на запись.
2. 2Подготовка средыСервис сам готовит среду и показывает, что делает. Ставить ничего не нужно.
3. 3Редактор кода в браузереПроект задачи уже открыт. Сверху видно, сколько осталось времени и бюджета, и кнопка сдачи.
4. 4Агент в терминалеУчастник ставит агенту задачу и смотрит, что тот сделал. Остаток бюджета виден прямо здесь.
5. 5ОбвязкаИнструкции и скрипты, которые участник написал для агентов. Потом их запустят без него.
6. 6СдачаКнопкой, автоматически по окончании времени или организатором.

Отличия

Чем проверка Codenrock отличается от привычных форматов

Сравнение типичных форматов на октябрь 2026 года. В отдельных сервисах и событиях условия могут отличаться.

Видео

Вся история за полторы минуты

Вся история коротко: в чем проблема, как ее увидеть и что с этим делать.

Организатору

Все подробности в одном месте

Как запустить

1. 1

   Создает задание в редакторе Codenrock

   Выбирает язык, загружает проект, скрытые тесты, эталон и условие — или делает открытую задачу. Сервис сам собирает задание и проверяет, что оно рабочее.

2. 2

   Настраивает условия

   Срок до 24 часов, бюджет, доступные нейросети и агенты.

3. 3

   Управляет ходом

   Досрочная сдача, повторная проверка, запуск обвязок без участников.

4. 4

   Получает результаты

   Результаты сами приходят на платформу и попадают в рейтинг.

Два формата задач

Среда и команда

• Несколько языков в одной задаче

  Например, фронтенд на React и бэкенд на Go или Kotlin.

• Приложение по ссылке

  Пока идет сессия, приложение участника можно открыть в браузере и показать кому угодно.

• Командный формат

  У каждого в команде своя среда, бюджет и запись. Код команда передает через общий Git-репозиторий: GitLab, GitHub или SourceCraft. Доступ выдается сам на время сессии.

• Работа не теряется

  Если среда упала, она восстанавливается с тем же диском.

Честность и безопасность

• Личный ключ

  Участник работает только по своему ключу. Служебные ключи ему недоступны.

• Бюджет не превысить

  Стоимость запроса резервируется до обращения к нейросети. Каждый запрос учитывается и записывается.

• Среды изолированы

  Друг от друга и от внутренних сервисов. Интернет — через контролируемый прокси.

• Тесты скрыты

  Скрытые тесты не попадают в среду участника.

• Запись только с согласия

  Записываются терминал, диалоги с агентами и проект. Архив проверяется на целостность.

Вопросы

Частые вопросы

• Как оценить разработчика, который работает с ИИ-агентами?

  Дать ему настоящую задачу и смотреть не только на результат. Участник получает проект, свою среду с готовыми ИИ-агентами и бюджет на нейросеть. Скрытые тесты проверяют код, жюри видит каждый запрос к агенту и каждую команду, а обвязку участника запускают на второй задаче уже без него.

• Чем это отличается от тестового задания и технического собеседования?

  Тестовое задание показывает ответ, но не путь к нему: его можно сдать с помощью нейросети. На собеседовании человек рассказывает, как работает с ИИ, а здесь видно, как он работает на самом деле. Нейросеть не нужно запрещать и ловить: она разрешена, а вся работа с ней записывается.

• Как понять эффект от внедрения ИИ в разработку?

  Эффект зависит от того, как каждый разработчик работает с агентами. Проверка показывает, кто решает задачу лучше и дешевле и чей способ работает без него. Способ лучших можно разобрать с командой, а через пару месяцев повторить проверку и сравнить результаты.

• Подходит ли проверка для аттестации разработчиков?

  Да. У всех одна задача и одинаковые условия, поэтому результаты можно сравнивать. Задание можно сделать похожим на вашу реальную работу, срок — до 24 часов. После обучения проверку повторяют и смотрят, что изменилось.

• Можно ли провести корпоративный хакатон или чемпионат с ИИ-агентами?

  Да. У всех участников одинаковый бюджет, жюри видит, как они работали, и пробует готовый продукт. В командном формате у каждого своя среда, бюджет и запись, а код команда передает через общий Git-репозиторий: GitLab, GitHub или SourceCraft.

• Какие ИИ-агенты и языки программирования доступны участникам?

  В среде уже установлены Codex CLI, Claude Code, OpenCode и Aider; организатор выбирает агентов, нейросети и бюджет. Языки — Java (Maven, Gradle), Kotlin, JavaScript и TypeScript (Node.js), фронтенд на React и Vite, Go и PHP, можно несколько в одной задаче.