LLM / GenAI-инженер

LLM / GenAI-инженер — обложка Vibe

Как применять ИИ в работе

Проверяемый пример

Дайте помощнику две вымышленные инструкции: версия 1 разрешает возврат в течение 30 дней, версия 2 заменяет её и устанавливает 14 дней. Сравните обычный ответ модели с ответом на основе найденных документов.

Спросите про возврат на 20-й день и про стоимость обратной доставки. В первом ответе должны быть отказ и ссылка на версию 2, во втором — признание, что данных о стоимости нет. Для каждого прогона запишите, какой документ нашла система и на какой сослалась модель. Так можно отличить ошибку поиска от ошибки генерации.

Что показать команде

Ответы со ссылками на источник, замеры задержки и таблица случаев, где система ошиблась или должна была запросить уточнение.

Чем занимается специалист

Подключает языковые модели к продукту, проектирует поиск по документам и проверяет, как система отвечает, использует инструменты и обрабатывает сбои.

Какие навыки развивать

Программирование, API, поиск, тестирование, работа с данными и ограничение прав инструментов.

С чего начать

Начните с помощника по нескольким документам. Логируйте результаты поиска и ответы раздельно, а вопросы без ответа добавьте в регрессионный набор.

Поделиться с друзьями
Медиа Codenrock

Стать автором

Укажите email или Telegram для ответа.