Инженер данных реального времени

Инженер данных реального времени — обложка Vibe

Как применять ИИ в работе

Проверяемый пример

Попросите ИИ написать псевдокод для подсчёта событий в минутных окнах. Передайте по порядку события A с временем 10:00:05, B с 10:01:02, повтор A и C с 10:00:30. По условию позднее C принимается, а дубли определяются по ID.

Ожидайте два события в окне 10:00 и одно в 10:01. Повторите обработку всего входа с сохранённым состоянием: счётчики должны остаться прежними. Если они выросли, определите, где теряется ключ дедупликации.

Что показать команде

Таблица событий, результаты первого и повторного прогона, правило для опоздавших записей.

Чем занимается специалист

Строит потоки событий, следит за задержкой и потерями, восстанавливает обработку после сбоя. Определяет, как система обрабатывает дубли и события, пришедшие позже остальных.

Какие навыки развивать

Обработка событий, очереди, SQL, мониторинг задержек и восстановление после сбоя.

С чего начать

Начните с небольшой программы, которая обрабатывает файл как поток. Добавьте дубли и нарушение порядка до подключения брокера сообщений.

Поделиться с друзьями
Медиа Codenrock

Стать автором

Укажите email или Telegram для ответа.