AI Open News провела в 2023 году хакатон AI News Hack. Участники разрабатывали сервис удаления дубликатов и классификации новостей на основе машинного обучения для новостного Telegram-ассистента. Лучшие решения были использованы для доработки сервиса, а лучшие команды получили приглашение присоединиться к компании. Среди них оказался и коллектив NaturaLP, занявший 3 место. 

Мы пообщались с заместителем капитана Никитой Ворожбитовым, который сейчас работает в AI Open News в роли Python & ML-developer. Он рассказал, как эффективно действовать в условиях нехватки времени, какие события запомнились больше всего, а также поделился советами для участников ML-соревнований. 

Какую конкретную проблему решала ваша команда на хакатоне?

На хакатоне наша команда NaturaLP решала задачу автоматизации классификации новостных сообщений и удаления дубликатов. Мы работали над улучшением сервиса AI News с помощью машинного обучения и искусственного интеллекта. Основная цель заключалась в создании модели, которая классифицировала новости по 29 категориям и удаляла дубликаты новостей с использованием технологии нечеткого сравнения. Это значительно повысило эффективность обработки данных в новостных сервисах.

Как участие в хакатоне повлияло на ваше профессиональное развитие?

Участие в хакатоне дало мне ценный опыт работы с мультиязычными моделями и глубокое понимание нейросетевых архитектур, таких как BERT и LaBSE. Я усовершенствовал свои навыки по векторизации текстов и внедрению моделей в реальных приложениях, что положительно повлияло на мое профессиональное развитие как backend и NLP разработчика.

Расскажите, какие инструменты выбрали для своего решения и для каких задач их применяли?

Мы использовали следующие технологии:

• LaBSE для векторизации новостных сообщений (поддержка английского и русского языков);
• BERT-Classifier для классификации текстов на 29 категорий;
• FastAPI для разработки backend-части;
• React.js для создания удобного и интуитивно понятного интерфейса;
• Docker для контейнеризации и удобного развертывания проекта.

Как распределение ролей в команде помогло довести проект до финала?

  В нашей команде была четкая структура:

1. Я занимался разработкой моделей для классификации и обработки данных на backend.
2. Другие члены команды были ответственны за frontend-разработку и визуализацию данных.

Мы также работали совместно над интеграцией всех частей проекта, что позволило создать комплексное и эффективное решение.

Как вы справились с работой в условиях жестко ограниченного времени?

Мы организовали работу по спринтам, четко распределив задачи и роли. Разделили задачи на небольшие этапы и ежедневно обсуждали прогресс, что помогло быстрее находить решения возникающих проблем — данный подход носит название SCRUM, также используется в современных компаниях.

Что запомнилось больше всего на прошедшем соревновании?

Хакатон оставил отличные впечатления. Это был вызов, но в то же время отличная возможность развить свои навыки, поработать в команде и обменяться опытом с другими профессионалами. Формат мероприятия позволил глубже понять современные вызовы и задачи в области ИИ и машинного обучения. Это дало стимул продолжать развиваться в данной сфере.

Какое напутствие можете дать будущим участникам хакатонов? 

Участие в ИТ-соревнованиях — это уникальная возможность для профессионального роста. В ограниченные сроки ты учишься эффективно управлять временем, работать в команде и решать реальные задачи. Хакатоны помогают лучше понять текущие тенденции и технологии, а также находить новые пути решения сложных проблем. Отличный способ испытать свои навыки и выйти за пределы привычных задач. Желаю всем успехов в хакатоне!

В сентябре 2023 года прошел хакатон AI News Hack. Организатор соревнования – AI Open News. Компания разработала одноименного Telegram-ассистента, который фильтрует новостные ленты и уведомляет только о важных событиях по заданному расписанию. 

На конкурсе участники получили возможность разработать ML-решение для виртуального помощника, которое сможет классифицировать тексты новостей, определять и удалять дубликаты. Лучший проект был внедрен в реальный бизнес AI Open News.

Подробнее о соревновании – в этом кейсе. 

Цели проведения хакатона

Хакатон – отличный способ проверки новых технологий на реальных кейсах, изучения ИТ-рынка и актуальных продуктов. AI News Hack не стал исключением.

Хакатоны являются эффективным инструментом для решения технологических задач компании. Они позволяют быстро создавать прототипы решений, находить нестандартные подходы к решению задач, формировать команду для дальнейшего развития проекта.

Никита Ворожбитов, Python & ML-developer в AI Open News

Другое важное направление AI News Hack – поиск талантливых специалистов, их погружение в специфику конкретных задач. Команда Telegram-ассистента рассматривала соревнование как инструмент для поиска не только подходящих решений, но и людей, способных их разрабатывать и поддерживать. 

Помимо денежных призов участники хакатонов AI News получают невероятно ценные знания, навыки и умения, а также опыт работы в команде над реальными задачами и проектами. Более того, призерам и победителям хакатона может быть предложено дальнейшее сотрудничество с организаторами или трудоустройство в компанию.

Никита Ворожбитов, Python & ML-developer в AI Open News

Задача соревнования

Цель хакатона – разработка сервиса классификации новостей, идентификации и удаления дубликатов. Участникам предстояло обучить модель, способную эффективно определять одинаковые текстовые фрагменты в больших блоках информации и классифицировать их. 

Было необходимо создать два алгоритма: 

1. Алгоритм, который способен точно и быстро идентифицировать пары текстов, содержащих схожие или практически идентичные новости.
2. Алгоритм, классифицирующий тип сообщения по более чем 25 категориям.

Решаемая проблема. Telegram – одно из самых популярных приложений для чтения и обсуждения новостей. Но в нем существует множество каналов, которые охватывают широкий спектр тем и нередко дублируют друг друга. Такая информация не предоставляет интереса – пользователь уже видел ее. Получение сообщений без дубликатов очень важно – это позволяет читать только актуальные новости.

Необходимость создания бота появилась из-за удобства, доступности, функциональности и простоты использования данного подхода. Кроме того, учитывая, что многие пользователи в основном узнают новости через Telegram, мы стремились быть ближе к нашей аудитории и предоставить им информацию в максимально удобном для них формате.

Никита Ворожбитов, Python & ML-developer в AI Open News

Датасеты. Участники получили два набора данных без разметки из реальных Telegram-каналов. Среди них могли встречаться короткие фразы, предложения и абзацы текста. Обучать алгоритмы предстояло по unsupervised подходу. Конкурсантам было разрешено использовать различные методы NLP и глубокого обучения, включая предобученные модели.

Ожидаемый результат:

• Репозиторий с исходным кодом (REST API и сервисы обучения моделей). API должен быть реализован на FastAPI и обернут в Docker.
• Репозиторий со скриптами обучения моделей.
• Время работы алгоритма для поиска дубликатов и классификации.

Инструменты Codenrock

Площадку для проведения ML-соревнования предоставил Codenrock. На этапе разработки задачи эксперты помогли оформить ее в понятном виде и подготовить исходные данные для участников в GitLab:

• Датасеты, подходящие для обучения и тестирования моделей.
• Benchmark-файл с ответами.
• Метод расчета результата решения.
• Выбор подходящей метрики. 

После начала соревнования команды получили доступ к собственному репозиторию GitLab с готовым baseline-решением, которое предстояло доработать. В распоряжении участников – все необходимые инструменты для работы с машинным обучением: возможность загружать собственный код, проверять результативность обученных моделей и отслеживать изменение метрик после каждого инференса. Расчет и сборка выполнялись на серверах, оптимизированных для работы с ИИ. 

Помимо предоставления площадки для ML-соревнования, Codenrock занималась остальными этапами проведения хакатона:

1. Привлечение аудитории. За месяц до начала AI News Hack стартовала  рекламная кампания мероприятия: email-рассылки, размещение постов в соцсетях и СМИ, подготовка экспертных материалов для блога на сайте. 
2. Сбор и регистрация участников. На сайте была создана страница соревнования. Пользователи могли изучить всю информацию о хакатоне, заполнить анкету и присоединиться к конкурсу. 
3. Формирование команд. На платформе участники могли найти тиммейтов или создать собственную команду. 
4. Коммуникация. Кураторы хакатона сопровождали конкурсантов на всех этапах соревнования, помогали регистрироваться, собираться в команды и загружать решения, напоминали о дедлайнах. 
5. Взаимодействие с жюри. Эксперты Codenrock консультировали организаторов во время подготовки и оценки решений участников.  
6. Подведение итогов. После завершения хакатона была доступна вся статистика по участникам, решениям и итогам маркетинговой кампании. 

Результаты хакатона

На AI News Hack зарегистрировались 502 участника, было сформировано 152 команды и загружено на платформу 42 решения , 10 из которых представлены на финальном питчинге. 

Большинство конкурсантов владели профильными навыками: машинное обучение, алгоритмы и структуры данных, Python, PyTorch, SQL. Самые популярные сферы деятельности участников – Data Scientist, бэкенд-разработчик, аналитик, исследователь и студент. Уровень квалификации – от trainee до senior и lead.

Победитель соревнования – команда FAI, которая стала обладателем главного приза в 500 000 рублей. 

Лучшее решение не осталось на этапе прототипов – оно было использовано для улучшения Telegram-ассистента, а команду пригласили в компанию для дальнейшего развития проекта. 

Разработки победителя были внедрены в реальные бизнес-процессы компании в полном объеме – нейросетевая модель классификации информационно-новостных сообщений и механизм идентификации и удаления синтаксических и семантических дубликатов. Созданные подходы к обработке информации продолжают развиваться и совершенствоваться.

Никита Ворожбитов, Python & ML-developer в AI Open News

Отзывы организаторов

На данный момент бот полноценно функционирует, но продолжает активно развиться. Ведется работа по совершенствованию всех компонентов, используемых для обеспечения бесперебойной и высокопроизводительной работы продукта. Немалое внимание уделяется развитию пользовательского интерфейса, функционала и использованию технологий машинного обучения для максимальной персонализации взаимодействия с каждым из пользователей.

Никита Ворожбитов, Python & ML-developer в AI Open News

Дальнейшие планы

AI News Hack завершен, но возможность «прокачать» новостного ассистента, выиграть призы и получить предложение о сотрудничестве от AI Open News снова открыта. Компания приглашает участников на новый хакатон для маркетологов – AI News Marketing.

После успешного проведения хакатона по искусственному интеллекту, который позволил нам эффективно удалять дублирующийся контент, мы видим огромные возможности для дальнейшего роста. Теперь наша цель — донести ценность бота до широкой аудитории, помогая людям получать актуальные новости из Telegram-каналов без лишнего информационного шума.

Никита Ворожбитов, Python & ML-developer в AI Open News

Задача соревнования – разработать и реализовать маркетинговую стратегию для Telegram-ассистента.

Призовой фонд – 500 000 рублей. 

Победители, кроме денежного приза, получат бюджет более 45 000 000 рублей на реализацию своих самых грандиозных планов по продвижению AI-помощника. 

Хакатон позволит нам объединить усилия креативных специалистов в области маркетинга для разработки инновационных стратегий продвижения. Мы стремимся найти новые способы коммуникации с нашей аудиторией, чтобы максимально подчеркнуть преимущества и уникальные возможности нашего бота. Это расширит нашу пользовательскую базу и усилит ценность, которую мы предлагаем каждому пользователю.

Никита Ворожбитов, Python & ML-developer в AI Open News

Этапы соревнований:

• 4-18 октября. Командам предстоит подготовить медиа-планы и начать их реализацию бесплатными методами. Эксперты оценят оригинальность концепции, оптимизацию расходов и первые результаты.
• 19-25 октября. Подведение итогов первого этапа и защита концепций. Участники, которые подготовят самые сильные планы и смогут привлечь больше всего реальных подписчиков для виртуального помощника, пройдут дальше.
• 26 октября – 8 ноября. Успешно завершившие первый этап команды получат бюджет для тестирования своих гипотез.
• 8-10 ноября. Подведение итогов: эксперты оценивают результаты продвижения виртуального помощника и приглашают лучшие команды на финальный онлайн-питчинг, по результатам которого будет определен победитель.

Регистрация открыта до 4 октября!

Будущим участникам хакатона для достижения высоких результатов и победы в хакатоне хотим посоветовать взглянуть на задачу с разных сторон, оценить преимущества, недостатки и риски каждого из подходов. Лучшее решение должно отличаться своей оригинальностью, новизной гипотез и, конечно же, подтверждено высокими результатами. 

Не ограничивайтесь узкими областями и стандартными стратегиями – рассмотрите разнообразные сферы деятельности, различные возрастные и демографические группы, не упускайте из внимания географический фактор, выберите как можно больше эффективных способов распространения информации. Желаем успехов!

Никита Ворожбитов, Python & ML-developer в AI Open News