Оценка производственного агента отвечает на узкий вопрос: может ли этот рабочий процесс выполнить реальную задачу в пределах, приемлемых для вашей команды? Открытый бенчмарк может помочь составить короткий список. Однако он не проверяет ваши инструменты, правила поиска и извлечения данных, пользователей, согласования или сценарий резервного перехода.
Определите задачу, которую агент должен выполнять. «Помогать с поддержкой» — слишком широкая формулировка. «Прочитать новый тикет, найти соответствующую политику, предложить ответ и передать вопрос на эскалацию при отсутствии доказательств» дает команде проверяемую единицу работы.
Установите правило прохождения до первого запуска
Сформируйте небольшой набор кейсов, представляющих работу, которую вы планируете выпустить. Включите типовые задачи, неполные входные данные и кейс, в котором работа должна быть остановлена для передачи человеку. Опишите критерии успеха до того, как кто-либо начнет проверять результаты.
Для каждого кейса зафиксируйте ожидаемый результат, доказательства, которые агент должен использовать, инструменты, которые он может вызывать, и точку эскалации. Проверяющий сможет оценить работу по установленному правилу, а не по ответу, который лишь звучит убедительно.
Фиксируйте, была ли задача выполнена, найдены ли доказательства или они отсутствовали, как сработал вызов инструмента и принял ли проверяющий результат, исправил его или передал на эскалацию. Эта запись позволяет команде сравнивать запуски, сохраняя видимой стоимость каждого сбоя.
Пройдите по путям вокруг ответа.
Агент может дать правдоподобный ответ, но при этом не выполнить условия рабочего процесса. Система может выбрать не тот инструмент, использовать устаревшие полученные материалы, пропустить необходимое согласование или продолжить работу после ошибки инструмента. Тщательно протестируйте эти пути.
Включите некорректный вывод инструмента, недоступную зависимость, противоречивые записи, запрос за пределами разрешений агента и задачу, для которой правильным ответом является неопределенность. Сохраняйте вместе с кейсом входные данные и ожидаемое поведение при эскалации. Оценка должна показать, в каких случаях управление должен взять на себя человек или более безопасный резервный сценарий.
Измеряйте эксплуатационные ограничения на реальных кейсах
Измеряйте задержку и стоимость на важных кейсах, а не только на коротком демонстрационном запросе. Фиксируйте размер контекста, последовательность инструментов, число повторных попыток и объем проверки, необходимый для результата. Повторное выполнение важных операций с соблюдением ожидаемых для выпуска ограничений по параллельному выполнению и времени.
Получившаяся запись о решении полезнее одной оценки. Рабочий процесс, который выполняет задачи, но требует частых исправлений, может быть не готов. Рабочий процесс, который быстро эскалирует задачу при отсутствии доказательств, может подойти для ограниченного пилотного запуска.
Ведите журнал решений
Ведите по одной строке на каждый тестовый кейс и по одной сводке на каждого кандидата на выпуск. В сводке должны быть указаны версия тестового набора, проверяемая модель или конфигурация, ответственный, правило прохождения, выявленные сбои и условия, при которых требуется повторное тестирование.
Повторите оценку после внесения существенных изменений в подсказку, инструменты, источник получения данных, конфигурацию модели, политику или пользовательский сценарий. Добавляйте повторяющиеся сбои из реальной эксплуатации в следующую версию тестового набора. Это сохраняет связь оценки с работой, которую пользователи просят выполнять систему.
Перед публикацией проверьте актуальные данные.
Для плана оценки необходима актуальная информация о реализации и стоимости. Прочитайте OdiRouter documentation, чтобы проверить детали интеграции, ознакомьтесь с current OdiRouter pricing при оценке бюджета на оценку и посетите OdiRouter, чтобы узнать актуальную точку входа в продукт.
Оценка производственного агента делает решение о выпуске прозрачным: что прошло проверку, что не прошло, кто отвечает за исключение и когда команда проведет следующее тестирование.