Бренд EKF провел хакатон EKF AI Challenge на платформе Codenrock. На ML-соревновании участники разрабатывали систему для автоматизации формирования коммерческого предложения на основе электрических схем.
Мероприятие помогло решить задачу для бизнеса: разработанные прототипы в будущем смогут оптимизировать процессы внутри компании и позволят сотрудникам делать работу лучше и быстрее. Как удалось добиться такого результата – в этом кейсе.
Бренд EKF – это ведущий производитель электрооборудования для ввода, распределения и учета электричества, автоматизации технологических процессов. Владеет собственными программами для интернета вещей – умным домом EKF Connect Home и IIoT EKF Connect Industry для промышленности.
Клиенты бренда – строительные компании, предприятия промышленного сектора и инфраструктуры в лице главных энергетиков, инженеров и владельцев компаний, а также частные электромонтажники и домовладельцы. EKF уже несколько лет входит в рейтинг лучших работодателей России по версии HeadHunter.
Задача хакатона
Решаемая проблема. EKF – большая электротехническая компания. В номенклатуре – более 19 000 артикулов, и одна из задач – составление коммерческих предложений и смет в ответ на запрос клиентов. Сейчас этой работой в ручном режиме занимаются сметчики: готовят линейные схемы, выделяют элементы, составляют список их параметров, и затем по этим данным подбирают наиболее подходящие артикулы товаров из ассортимента EKF. Процесс трудоемкий и требующий много времени.
Описание задания. Для хакатона была выбрана задача по автоматизации процесса составления коммерческих предложений, чтобы предоставить возможность из чертежа получить готовый csv-файл со списком всех элементов и ценой. Для команд-участников соревнования были подготовлены датасеты, в которых были представлены:
- набор исходных схем в высоком качестве в формате png;
- файл с аннотацией ко всем элементам схемы;
- эталонный пример коммерческого предложения в том виде, в каком его используют в компании.
Кроме того, участники получили доступ к каталогу продукции EKF и ее стоимости.
Для подготовки решений команды могли использовать любые библиотеки и фреймворки для машинного обучения, а также сторонние датасеты. Главное условие – функционал проекта не должен быть завязан на иностранном проприетарном ПО, чтобы не возникло проблем с его переносом в российский контур.
На этапе хакатона мы не получим модель, которая решит производственные задачи. Но мы хотим проверить гипотезы, понять, какой подход наиболее перспективный. Мы планируем дальше развивать проект с помощью той команды, которая такую модель сделает, чтобы внедрить как внутренний продукт компании.
Дмитрий Квасников, продакт-менеджер по IoT-направлению «Умный дом» бренда EKF
Кроме обучения моделей, командам предстояло разработать понятный для рядового пользователя интерфейс.
Инструментом будут пользоваться люди, которые хорошо разбираются в электротехнике, но не очень хорошо в машинном обучении и программировании. Поэтому желательно сделать понятный интерфейс: сюда загружаем файл, отсюда получаем результат.
Дмитрий Квасников, продакт-менеджер по IoT-направлению «Умный дом» бренда EKF
Ожидаемый результат задачи. Прототип системы, способной распознавать и подсчитывать количество отдельных электронных компонентов на чертежах и формировать структурированный файл сметы стоимости проекта.
Подготовка к соревнованию
Для проведения ML-соревнования необходимо решить несколько задач:
- Определить формат мероприятия.
- Оформить задачу в понятном для участников, разработать критерии оценки.
- Подготовить сопутствующие материалы: датасеты, обучающие митапы.
- Предоставить участникам доступ к серверам для проверки моделей.
- Привлечь сильные команды, которые способны справиться с заданием.
Для задачи EKF лучше всего подходит мероприятие в гибридном формате. Участники соревнуются в рамках стандартного ML-хакатона: обучают модели, конкурируя друг с другом по точности решения. Затем эксперты EKF отбирают лучшие проекты, анализируют их и по результатом финального питчинга выставляют итоговые баллы.
Для проведения EKF AI Challenge был выбран Codenrock. Платформа предлагает инфраструктуру, экспертизу и маркетинговую поддержку для ML-соревнований.
На первом этапе специалисты компании помогли:
- конкретизировать задачу;
- сформулировать требования и ожидаемый от участников результат;
- правильно оформить и разместить датасет, чтобы он подходил для обучения ИИ;
- подготовить baseline-решение;
- выбрать подходящую тему для митапа.
Следующий этап – подготовка платформы для участников. На Codenrock была создана страница, где конкурсанты могли получить исчерпывающую информацию о мероприятии и пройти регистрацию. Для этого они заполняли анкету, в которой указывали образование, навыки, опыт работы. После присоединения к хакатону участники могли объединиться в команды и находить тиммейтов прямо на платформе.
Для работы над задачей конкурсанты получили доступ к репозиторию в Gitlab, где было загружено baseline-решение, требующее доработки. После каждой команды git push проект автоматически собирался из ветки main по Dockerfile. Успешная сборка позволяла запустить проверку решения и расчет модели. Отчет о результатах приходил на email. Обработка решений происходила на серверах Codenrock, оптимизированных для работы с машинным обучением.
Эффективность своих проектов участники могли отслеживать на публичном лидерборде, где показывались итоги последних проверок всех команд. В таблице было видно, как изменения влияют на позиции в рейтинге по целевой метрике.
С наступлением дедлайна основного этапа прием решений прекращался, а эксперты могли ознакомиться со всеми прототипами и проверить их на тестовом множестве. Через систему рассылки оповещений кураторы хакатона сообщили финалистам, что их проект был отобран для участия в питчинге.
По итогам презентаций члены жюри получили приглашение выставить оценки каждой команде по заданным критериям. По сумме набранных баллов были определены победители.
Эксперты хакатона
Эксперты соревнования в течение 11 дней помогали участникам в разработке решений, отвечали на вопросы и выбирали победителя по итогам представленных проектов и финального питичнга.
Итоги соревнования
На хакатон зарегистрировались 440 участников, которые объединились в 210 команд.
Очень здорово, что собралось так много участников и команд. Для нас это первый хакатон такого масштаба.
Дмитрий Квасников, продакт-менеджер по IoT-направлению «Умный дом» бренда EKF
На протяжении всего соревнования для команд были проведены три чек-поинта. На первых индивидуальных встречах участники могли представить промежуточное решение экспертам и задать вопросы, последняя консультация предполагала демонстрацию близкого к завершению прототипа и внесение последних доработок.
По результатам первого этапа команды представили 23 решения. Эксперты отобрали 15 лучших проектов для финального питчинга. Критерии оценки:
- Качество работы продукта – количество и качество определения компонентов схемы. Учитывалась точность и полнота решения по метрикам mAP и IoU.
- Производительность – скорость обработки схем, требования к ресурсам продукта. Оценивалась скорость обработки чертежей и размер потребляемой ОЗУ.
- Масштабируемость – устойчивость к увеличению объемов данных, шумам. Эксперты анализировали возможности горизонтального и вертикального масштабирования, распределенной обработки данных и балансировки нагрузки.
- Практичность и удобство использования – наличие хорошего интерфейса, подробной и понятной документации, инструкции по дообучению моделей.
- Презентация – качество проработки идеи и описания проекта.
По результатам расчета моделей и экспертного голосования жюри определило трех победителей.
🥇 1 место – команда ankhafizov, 250 000 рублей. Решение представляет инструмент со встроенным рекомендательным искусственным интеллектом для составления смет со списком артикулов по электронным схемам. Основной упор был сделан на получение интерпретируемого результата от нейросетевого модуля с возможностью корректировки этого результата.
🥈 2 место – команда AI integration, 150 000 рублей. Решение автоматизирует анализ электрических схем и предоставляет точные результаты пользователю. Изображения загружаются в Telegram-бота, а итоговый отчет приходит в формате Excel в удобном формате Telegram MiniApp.
🥉 3 место – команда «Почти data scientists», 100 000 рублей. Приложение принимает файлы pdf, png и jpg, обрабатывает их с помощью YOLO-алгоритма и преобразует в текст при помощи технологии OCR. Решение отличается высокой производительностью и точностью при обработке больших объемов данных.
Отзывы участников
Отзывы организаторов
Этот хакатон станет началом большого и интересного проекта, который принесет много пользы и позволит экономить время и нашим сотрудникам, и нашим клиентам. EKF AI Challenge – это первое IT-соревнование для EKF такого масштаба. Мы планируем, что по его итогам продолжим работать над продуктом с победителями конкурса, внедрим решение в структуру компании и применим его в своей деятельности.
Для нас это первый опыт организации подобного формата мероприятий, поэтому мы не совсем понимали, что нам нужно для проведения. Но в итоге, с советами Codenrock, смогли собрать датасет, сформулировать задачу и критерии оценивания. Впечатления хорошие и мы рады, что получилось отлично.
Дмитрий Квасников, продакт-менеджер по IoT-направлению «Умный дом» бренда EKF