ИТ-компания «Криптонит» провела на Codenrock соревнование Kryptonite ML Challenge. Эксперты придумали задачу по машинному обучению — нужно было создать DeepFake-устойчивую FaceID-модель. И более 500 участников с 1 по 16 марта разрабатывали решение по распознаванию лиц, устойчивое к DeepFake-атакам.
Подробнее о том, как прошел Kryptonite ML Challenge – в этом кейсе.
О компании
«Криптонит» – российская технологическая и научно-исследовательская группа компаний, которая разрабатывает ПО и программно-аппаратные комплексы для хранения, обработки и анализа больших данных с помощью моделей машинного обучения. «Криптонит» входит в структуру российского многопрофильного «ИКС Холдинга» и входит в реестр ИТ-организаций Минцифры.
Эксперты соревнования, которые оценивали решения, тоже регулярно участвуют в IT-конкурсах и занимают призовые места.
Митап соревнования
Kryptonite ML Challenge: главное
Kryptonite ML Challenge прошел в формате онлайн ML-соревнования – участники обучали модели распознавания лиц. Результаты каждой команды по достижению целевой метрики формировали лидерборд – чем лучше точность решения, тем выше позиция в рейтинге. Пять авторов самых успешных проектов получили приглашение на финальный питчинг, по итогам которого жюри определило победителей.
Главные цифры соревнования:
- 502 человека зарегистрировались.
- 200 команд сформировано.
- 147 участников приступили к выполнению задачи.
- 65 решений представлено.
- 5 лучших проектов презентовано на финальном питчинге.
- 3 победителя разделили призовой фонд в 600 000 рублей.
Задача соревнования
Тема Kryptonite ML Challenge – создание системы распознавания лиц, устойчивой к DeepFake-атакам. Участникам предстояло разработать решение, используя датасет как с реальными, так и синтетическими данными.
Проблема. Технология распознавания лиц – великолепный инструмент для верификации и идентификации, потому что требует минимального взаимодействия с пользователем. Но такие системы уязвимы – злоумышленники могут использовать фотографии людей, полученные из Интернета или путем скрытой съемки, чтобы обмануть проверку.
Спуфинг – атака на систему распознавания лиц, во время которой мошенник подменяет реального пользователя с помощью поддельного идентификатора.
Ожидаемый результат. Обычно для защиты применяется отдельный антиспуфинг-модуль, который определяет попытку фальсификации во время верификации или идентификации. Команда Kryptonite ML Challenge предложила участникам опробовать на соревновании другой подход – обучить модель распознавания лиц, которая корректно работает в задаче верификации при атаках одного типа: deepfake-запросов.
Соревнование предлагает использовать «баги» моделей распознавания лиц в качестве «фичей» на этапе обучения, при этом не отказываясь от модулей liveness-detection и deepfake-detection. Поэтому в датасет для соревнования добавлены Deepfake-изображения для расширения данных.
Георгий Поляков, заместитель руководителя лаборатории искусственного интеллекта «Криптонита»
Задача участников – разработать систему, которая принимает на входе изображение, содержащее одно лицо, и выдает эмбеддинг – числовое представление лица в виде многомерного вектора, который отражает уникальные характеристики человека.
Финальное решение должно уметь:
- Выдавать близкие эмбеддинги для реальных фото одного человека (позитивный запрос).
- Различать фото разных людей (негативный запрос).
- Отличать реальные лица от сгенерированных (защита от DeepFake-атак).
Целевая метрика – EER.
Equal Error Rate (EER) – показатель, который оценивает частоту ошибок системы при сравнении пар изображений с эталоном.
Данные. Участники получили доступ к репозиторию с датасетом, содержащим реальные и синтетические изображения 10 000 человек. Организаторы предоставили baseline-решение – отправную точку для обучения модели и расчета метрики. Для оценки результатов команд на публичном лидерборде использовался датасет из 161 190 пар изображений.
Критерии оценки:
- Метрика EER (40 баллов). Чем выше участники превышали минимальный порог, установленный жюри, тем больше баллов они получали.
- Скорость инференса (10 баллов). Сравнение производительности моделей с референсными решениями в формате ONNX.
- Оригинальность подхода (10 баллов). Поощрялись нестандартные решения и инновационные методы.
- Качество кода (15 баллов). Оценивалась структура и читаемость кодовой базы проекта.
- Дизайн и воспроизводимость (15 баллов). Корректность описания целей, результатов и выводов в итоговом отчете.
- Презентация решения (10 баллов). Результаты защиты проекта на питчинге.
Подготовка и проведение
Kryptonite ML Challenge прошел на Codenrock. Платформа поддерживает организацию полноценных ML-соревнований в формате Kaggle с автоматическим расчетом метрики и формированием лидерборда. Репозиторий, в котором работает каждая команда, интегрирован с GitLab SelfHost – весь исходный код решений хранится на стороне платформы, поэтому организатор никогда не потеряет к нему доступ.
Инструменты Codenrock, которые помогли подготовить задачу, привлечь участников, провести основной этап и подвести итоги Kryptonite ML Challenge:
Консультации экспертов. Специалисты по машинному обучению и методологи платформы помогли адаптировать задачу компании к соревнованию, подготовили понятное и увлекательное описание. Также они настроили весь функционал для загрузки и проверки решений участников:
- хранение данных;
- расчет метрики;
- запуск инференса;
- формирование лидерборда.
Рекламная кампания. Команда Codenrock подготовила и реализовала маркетинговую стратегию проекта для привлечения ML-специалистов и экспертов по Data Science. Какие инструменты использовались:
- Разработка Key Visual мероприятия, создание лендинга.
- Публикация анонсов и рассылок для собственной аудитории в 100 000 человек.
- Размещение информации о соревновании в профильных сообществах IT-специалистов и студентов технических вузов.
- Таргетированная реклама для привлечения участников, владеющих навыками Computer Vision, Metric Learning и Face Recognition.
- Подготовка обучающего и вовлекающего контента: советы экспертов для участников, полезные статьи, креативные короткие ролики, проведение митапа и написание текстовой расшифровки, чтобы охватить максимум аудитории.
Во время рекламной кампании организатор может контролировать прогресс по достижению KPI в реальном времени.
Работа с комьюнити на всех этапах. Сразу после регистрации за каждым участником закреплялся куратор. Он подсказывает, как разобраться с функционалом платформы, отвечает на технические вопросы, мотивирует включаться в работу и не сдаваться на во время старта соревнования.
Быть в курсе ключевых событий мероприятия помогает чат в Telegram: в нем, помимо полезных оповещений, участники получают развлекательный контент, мемы, опросы, а также могут знакомиться и искать команду. Email-рассылки с платформы – инструмент точечной коммуникации, который позволяет охватить конкретную аудиторию: например, напомнить конкурсантам-одиночкам о важности командной работы или уточнить статус команд, которые не проявляют активность.
В результате работы кураторов по итогу соревнования формируется крепкое комьюнити специалистов, которые будут с удовольствием участвовать в других мероприятиях компании, следить за проектами и вакансиями.
Инструменты для ML-соревнований. Инфраструктура Codenrock оптимизирована для работы с технологиями машинного обучения. Каждая команда получает собственный репозиторий, в котором может дорабатывать baseline-решение или обучить собственную модель. Все расчеты происходят на серверах платформы, которые поддерживают проведение соревнований с несколькими тысячами участников.
Автоматизация итогов. Лидерборд в ML-соревнованиях на Codenrock формируется автоматически на базе выбранной метрики, в данном случае EER. После окончания основного этапа и отбора финалистов, занявших первые строчки рейтинга, жюри могут оценивать проекты участников в формате стандартного хакатона: выставлять баллы по заранее заданным критериям. Платформа самостоятельно по итогам голосования экспертов определит победителей.
После завершения соревнования организаторам доступна полная статистика мероприятия:
- распределение участников по возрастам, навыкам, уровню и городам;
- периоды максимальной активности;
- источники регистрации.
Отметить победителей и участников можно с помощью сертификата, подтверждающего достижения на соревновании – на платформе есть конструктор. Дизайнер Codenrock при необходимости поможет оформить красивый диплом в стилистике бренда.
Итоги соревнования
Kryptonite ML Challenge собрал лучших специалистов по Data Science уровнем от начинающих до Senior и Lead. География участников – более десятка городов России и не только.
Успехи участников:
- 15 команд победили DeepFake и добились точности определения DeepFake-пары с показателем 0.99 и выше.
- 14 команд использовали функцию triplet loss в своих проектах.
- 9 команд написали хорошую документацию.
- 7 команд представляли очень точные решения по метрике EER.
Победителями стали:
🥇 1 место – команда MMG.
Команда объединила задачи распознавания лиц и детекции дипфейков в одной модели, что позволило сократить вычислительные ресурсы, упростить архитектуру решения и повысить общую точность за счет одновременного обучения. Участники провели сравнительный анализ современных SOTA-моделей распознавания лиц по критериям точности и скорости работы. В итоге выбор пал на AdaFace за ее способность динамически адаптировать маржинальную функцию в зависимости от сложности изображений. Для претрейна использовался инструмент CVLFace DFA. Команда дополнительно подключила датасет CelebA с 200 000 фото людей, который дополнила дипфейками, сгенерированными другими моделями.
🥈 2 место – команда Lab260.
Команда разработала систему для задачи распознавания лиц, которая отличается повышенной устойчивостью к дипфейкам. Робастность решения была достигнута без привлечения отдельной модели для обнаружения подделок (CounterMeasure). Противодействие спуфингу было интегрировано в процесс обучения основной модели за счет предложенного командой подхода. Ключевой компонент системы – модель CLIP, которая обладает обширными знаниями о мире и способствует повышению устойчивости системы к дипфейкам, так как лучше различает естественные и искусственные признаки изображений.
🥉 3 место – команда Deepskol.
Команда разработала решение, в котором данные были разделены на обучающую и тестовую выборки по уникальным идентификаторам людей. Для обучения была применена функция потерь Triplet Loss, которая помогает модели различать реальные и фейковые изображения. В основе проекта используется предобученная нейронная сеть InceptionResnetV1, которая была дополнительно дообучена на предоставленных данных. Для предотвращения переобучения команда применила методы регуляризации.
Некоторые участники смогли удивить жюри и были отмечены в специальных номинациях:
- «Кодом крещенные» – команда «Квадрицепс» за лучший юмор.
- «Баг-детектор» – Илья Дашевский из команды AGI Craft за обнаружение ошибки в расчете метрики.
- «Кибер-розыск» – команда MMG за потрясающий баг-репорт.
Питчинги финалистов
Кроме того, подарочные сертификаты на маркетплейсы получили участники реферальной программы, которые активнее всего приглашали на соревнование знакомых. Все команды удостоились дипломов, подтверждающих достижения на Kryptonite ML Challenge.
Эксперты соревнования
Отзывы участников
Хакатон понравился, задача интересная, но немного не из тех, что ближе мне по характеру – она кажется более исследовательской, а мне интересны прикладные с созданием MVP. Но было увлекательно все равно, особенно после долгого перерыва в хакатонах. Интересный опыт работы над CV-задачей. Сопровождение со стороны организаторов – выше всяких похвал, даже самые нервные вопросы разруливались быстро. Огромное спасибо организаторам, кураторам и авторам!
По организации в целом все круто. Задачи интересные, нечасто вижу соревнования с атаками на нейронки. Это более оригинально и требует больше проработки, чем классические задачи, в которых требуется сделать детектор, распознаватель.
Участие понравилось. Запомнилось, что требовалось чисто обучить модель, при этом не используя отдельные модели для классификации дипфейков, это добавило немного челленджа. В целом все круто, спасибо!
Отзывы организаторов
Поздравляю всех с окончанием соревнования. Все, кто прошли этот путь до конца – победители, потому что получили опыт решения необычной прикладной задачи, новые знания и навыки. Хочу поблагодарить команду Codenrock за организацию мероприятия. Уверен, впереди еще много совместных активностей.
Виталий Пирожников, руководитель лаборатории искусственного интеллекта «Криптонит»
