Как применять ИИ в работе
Проверяемый пример
Дайте помощнику две вымышленные инструкции: версия 1 разрешает возврат в течение 30 дней, версия 2 заменяет её и устанавливает 14 дней. Сравните обычный ответ модели с ответом на основе найденных документов.
Спросите про возврат на 20-й день и про стоимость обратной доставки. В первом ответе должны быть отказ и ссылка на версию 2, во втором — признание, что данных о стоимости нет. Для каждого прогона запишите, какой документ нашла система и на какой сослалась модель. Так можно отличить ошибку поиска от ошибки генерации.
Что показать команде
Ответы со ссылками на источник, замеры задержки и таблица случаев, где система ошиблась или должна была запросить уточнение.
Чем занимается специалист
Подключает языковые модели к продукту, проектирует поиск по документам и проверяет, как система отвечает, использует инструменты и обрабатывает сбои.
Какие навыки развивать
Программирование, API, поиск, тестирование, работа с данными и ограничение прав инструментов.
С чего начать
Начните с помощника по нескольким документам. Логируйте результаты поиска и ответы раздельно, а вопросы без ответа добавьте в регрессионный набор.
