Маршрутизация API-моделей ИИ означает выбор модели, которая будет обрабатывать запрос, до того как ваше приложение его отправит. Выбор может зависеть от задачи и ограничений, таких как стоимость, скорость и доступность. OdiRouter предоставляет ориентированную на разработчиков платформу для доступа к моделям, поэтому решение о маршрутизации можно принимать наряду с остальными задачами по интеграции.
Начните с запроса
Начните с конкретного запроса. Определите, что он должен делать, какие входные данные принимает, какой результат вам нужен и какие ограничения важны для этого процесса. Для текстовой задачи, задачи с изображениями и задачи с видео могут потребоваться разные модели.
Такой подход также упрощает сравнение результатов тестирования. Используйте одни и те же входные данные для небольшого списка моделей, а затем решите, какой результат подходит для решения задачи. Прежде чем подключать маршрут к приложению, изучите доступные варианты в model catalog.
Явно определите стоимость, скорость и доступность
Для начала вам не понадобится сложная система подсчета баллов. Несколько явно заданных ограничений помогут выбрать первоначальный маршрут:
Соответствие задаче: Поддерживает ли модель входные и выходные данные, необходимые для вашего запроса?
Стоимость: Соответствует ли указанная цена ожидаемому объёму запросов?
Скорость: Подходит ли время ответа для создаваемого вами пользовательского опыта?
Доступность: Предусмотрен ли резервный вариант на случай, если предпочтительный вариант не подходит для текущего запроса?
pricing page описывает сравнение цен на модели перед отправкой запроса и маршрутизацию с учётом стоимости, скорости и доступности. Снова оцените эти факторы при изменении нагрузки.
Сначала протестируйте узкий маршрут
Создайте учётную запись, получите API-ключ, выберите идентификатор модели и отправьте небольшой репрезентативный запрос. В описании getting started documentation рассматриваются ключи API, авторизация, идентификаторы моделей, примеры первого запроса и настройка SDK.
Сделайте тест максимально близким к маршруту, который планируете внедрить. Используйте репрезентативные входные данные, зафиксируйте выбранную модель и её результат, а также укажите в приложении любое резервное поведение. Документированный маршрут проще проверить при изменении задачи или ограничений.
Пересматривайте маршруты по мере изменения приложения
При изменении приложения запускайте те же репрезентативные запросы и проверяйте, соответствует ли выбранная модель задаче по-прежнему. Зафиксируйте, почему существует этот маршрут и когда команде следует его пересмотреть. Это обеспечивает каждому маршруту ясную цель, сформулированные ограничения и путь реализации, который может проверить другой разработчик.
Следующий шаг
Прочитайте OdiRouter documentation, просмотрите model catalog и проверьте pricing при определении первого маршрута для вашего приложения.