Коротко
- Codenrock интегрирован с GitLab: платформа автоматически создаёт репозитории и выдаёт доступы участникам хакатона.
- Для ML-соревнований появился лидерборд в реальном времени с автоматическим расчётом на public- и private-тестах.
- Участник может выбрать до трёх лучших решений — итоговый лидерборд считается по ним на private-тесте.
- Полностью переработаны голосования: жюри, критерии и настройки собраны на одной странице.
- В чатах добавлены поиск по названию команды и фильтр «Только онлайн».
Обновлено: 4 мая 2023
Интеграция Сodenrock c GitLab
Как сохранить весь код участников после хакатона? Специально для этого мы сделали интеграцию с GitLab (систему управления репозиториями кода для Git).
Благодаря этой интеграции любой организатор может создавать репозитории и предоставлять доступ к ним автоматически всем участникам хакатона. Для организатора хакатона это дает удобный контроль над кодом участников. Каждый участник имеет доступ только в свой репозиторий, организатор имеет доступ ко всем репозиториям участников своего хакатона.
Для каждой задачи можно добавить свой шаблон репозитория и пайплайн сборки кода. Таким образом вы можете предоставить командам подготовленную инфраструктуру для запуска их решений. Это позволит командам сэкономить время и сосредоточиться на задаче, а вам организовать автоматизированную проверку решений участников.
DataScience
Для того чтобы сделать ML чемпионаты динамичными мы подготовили инфраструктура для запуска обученных моделей участников. Теперь вы сможете увидеть лидерборд вашего соревнования в реальном времени.
Участники получают доступ к репозиторию, куда они добавляют обученную модель. У них нет доступа ни к privat-тесту, ни к public-тесту. Все расчеты на public-тесте проводятся автоматически. Также автоматически отключается возможность менять модель после завершения мероприятия. У участников есть возможность выбрать до трёх, по их мнению, лучших своих решений. После чего эти решения рассчитываются на private-тесте, формируя итоговый лидерборд.
*Public-тест – это датасет (или часть датасета), с которым работают участники на протяжении мероприятия. Участники отслеживают работу модели и имеют возможность адаптировать решение под необходимый результат.
*Private-тест – это датасет (или другая часть датасета), на котором тестируются модели участников и рассчитывается итоговый лидерборд. Тем самым исключается возможность вносить изменения в итоговый результат.
Итог:
На платформе Codenrock проходит полный цикл от регистрации и хранения кода до получения конкретного визуального результата и рейтинга.
- Платформа создаёт и выдаёт доступы к репозиториям.
- Платформа отправляет автоматические команды и получает информацию о собранных результатах.
- Платформа уведомляет участников об успешном решении или наличии ошибок.
- Платформа автоматически подсчитывает рейтинг.
Голосование
Полностью переделали голосования. Все настройки голосования теперь находятся на странице «Голосования». Добавьте жюри, создайте критерии и настройте голосование. Создание голосований никогда не было таким быстрым и простым, как сейчас! Читать подробнее
Чаты
- Множество маленьких, но важных фиксов в чатах:
- Добавлен поиск по названию команды
- Добавлен фильтр «Только онлайн». Если фильтр активен, то в чате будут показываться только участники, которые онлайн.
- Автоматическое подключение участника к трансляции при выдаче доступа в каналах с включенной настройкой «Запрашивать доступ»
- В чатах команд теперь по умолчанию включена настройка «Показывать название команды»
- Правки верстки: увеличение блоков со спикерами, косметические изменения.
Частые вопросы
Зачем платформе хакатонов интеграция с GitLab?
Интеграция Codenrock с GitLab позволяет организатору автоматически создавать репозитории и выдавать доступы всем участникам: каждый видит только свой репозиторий, организатор — все. Для задач можно задать шаблон репозитория и пайплайн сборки, что даёт командам готовую инфраструктуру и автоматическую проверку решений.
Как на Codenrock работает лидерборд ML-соревнований в реальном времени?
Участники загружают обученные модели в репозиторий; расчёты на public-тесте идут автоматически, доступа к датасетам у участников нет. После завершения участник выбирает до трёх лучших решений, которые пересчитываются на private-тесте и формируют итоговый лидерборд.
Что такое public-тест и private-тест в ML-соревновании?
Public-тест — датасет (или его часть), на котором участники отслеживают работу модели по ходу соревнования и адаптируют решение. Private-тест — закрытая часть данных для финального расчёта лидерборда; она исключает возможность подгонки результата.
Что изменилось в голосованиях и чатах Codenrock в 4 квартале 2021?
Голосования полностью переделаны: все настройки, жюри и критерии собраны на отдельной странице «Голосования». В чатах добавлены поиск по названию команды, фильтр «Только онлайн», автоподключение к трансляции при выдаче доступа и показ названия команды по умолчанию.
