Выбор API модели Alibaba следует начинать с функциональности, а не с поставщика. Определите, что должно возвращать приложение, как пользователь будет это оценивать и что команда будет делать, если выбранная модель изменится.
Определите задачу
Опишите минимальную полезную задачу. Инструмент поддержки может нуждаться в ответе, основанном на проверенных данных. Творческому рабочему процессу может потребоваться результат в виде изображения или видео. Процесс работы с документами может нуждаться в структурированных данных. Для каждой задачи нужны собственные критерии оценки.
До выбора модели сформируйте небольшой набор критериев приемки. Включите реальные формы входных данных, обязательные поля вывода, ограничение времени отклика, соответствующее продукту, и примеры, которые должны завершиться неудачей. Успешная демонстрация полезна, но её недостаточно в качестве доказательства готовности к выпуску.
Сохраните возможность настройки выбора.
Храните идентификатор модели вне бизнес-логики. Определите контракт запроса: входные данные, формат вывода, тайм-аут и поведение при повторных попытках. Храните выбранную модель отдельно, чтобы команда могла сравнивать подходящие варианты и при необходимости откатывать изменения.
Тестируйте репрезентативные запросы
Используйте короткий набор обычных, кратких и более длинных входных данных там, где это важно. Включите запросы, которые должны возвращать контролируемую ошибку. Фиксируйте выбранную модель, результат, задержку и причину, по которой результат был принят или отклонён. Храните только данные, разрешённые правилами конфиденциальности и хранения.
OdiRouter
Перед внедрением ознакомьтесь с текущим каталогом моделей. Доступность может меняться, поэтому старый список не должен становиться предположением, заложенным в приложение. Проверьте выбранный вариант, используя тот же набор допустимых значений, что и для каждого сравнения.
Поведение при выпуске
Определите, как функция обрабатывает тайм-ауты, повторные попытки, недопустимый вывод и ошибки вышестоящего сервиса. Протестируйте сценарии сбоев до выпуска. Короткое сообщение о резервном варианте и идентификатор трассировки обычно полезнее, чем необработанная ошибка поставщика.
Контрольный список перед развёртыванием
Определите пользовательскую задачу и требуемый результат.
Перед выбором модели проверьте её текущую доступность.
Сделайте выбранную модель и политику запросов настраиваемыми.
До выпуска протестируйте успешные сценарии и сценарии с ошибками.
Фиксируйте достаточно данных о результатах, чтобы безопасно сравнить последующее изменение.