Поиск MultiTalk API обычно связан с практической задачей: объединить статичное изображение с аудио и создать видео с говорящим или поющим персонажем. Справочная страница для этой задачи описывает общий рабочий процесс и асинхронный поток REST-инференса. Она не подтверждает, что та же модель, цена, продолжительность или схема запроса доступны через OdiRouter. Используйте её для понимания запроса, а затем проверьте каталог OdiRouter, прежде чем приступать к интеграции.
OdiRouter публикует каталог моделей и документацию по мультимодальным возможностям. В документации по списку моделей описана фильтрация каталога для используемого API-ключа по категории, поставщику, модальности и ключевому слову. Именно поэтому проверка модели должна выполняться в начале сборки, до того, как приложение жестко задаст имя или поле.
Начните с рабочего процесса, а не с угадывания идентификатора модели.
Запрос на видео и изображение состоит из четырех составляющих: входные данные медиафайлов, схема модели, асинхронная задача и результат. На справочной странице указаны исходное изображение и вывод, управляемый аудио. Перед отправкой запроса определите, что должно проверять ваше приложение:
Используйте изображение, которое вам разрешено обрабатывать и которое соответствует документированным требованиям выбранной модели к формату и размеру.
Используйте аудио, которое вам разрешено обрабатывать. Сопоставьте его длительность и кодировку с документацией по активной модели.
Сформулируйте цель для результата, например говорящий персонаж, поющий персонаж, соотношение сторон или другое требование к видео. Поле, используемое другим провайдером, может быть неприменимо здесь.
При отправке запроса укажите идентификатор выбранной модели и URL-адрес ее документации. Доступность и схемы меняются.
Выберите модель, которая представлена в каталоге, доступном для вашего ключа, и документация которой поддерживает необходимые вам входные данные. Откройте OdiRouter model catalog, затем прочитайте model list API documentation, чтобы проверить каталог, доступный для этого ключа. Перед созданием запроса ознакомьтесь с документацией выбранной модели.
Настройте многомодальное соединение.
OdiRouter содержит руководство multimodal setup по базовому URL, конечной точке и заголовкам аутентификации. Храните учетные данные в хранилище секретов среды выполнения. Им не место в исходном коде, коде браузера, записях задач, снимках экрана или демонстрационных медиафайлах.
Конфигурация также определяет, как сервис будет обрабатывать загруженные файлы. Храните ссылки на входные данные, используемые задачей, с соблюдением ваших правил доступа и хранения. Работающее подключение не доказывает, что запрос на создание видео действителен. Активная схема модели определяет, какие поля и медиафайлы она принимает.
Создайте задачу и сохраните ее идентификаторы
В submit-task documentation описано создание мультимодальной задачи и сохранение ее идентификатора запроса и URL для последующих операций. Сохраните эти идентификаторы вместе с идентификатором выбранной модели, ссылками на входные данные и временной меткой запроса. Эта запись позволяет вашей команде отслеживать повторные попытки и изучать безопасные для хранения сведения для поддержки.
Создание задачи — не то же самое, что доставка медиафайла. После первого ответа запрос на создание видео все еще может ожидать выполнения, быть завершенным или завершиться с ошибкой. Отображайте это состояние в бэкенде и интерфейсе, а не пытайтесь определять его по прошедшему времени.
Проверяйте статус, затем получайте результат
task-status documentation охватывает состояния ожидания, завершения и ошибки. Опрос с ограничением количества повторных попыток. Замедляйте частоту запросов, когда сервис сигнализирует об этом, прекращайте попытки после заданного лимита и сохраняйте только безопасные для хранения сведения об ошибке.
Когда задача завершится, используйте result documentation, чтобы получить возвращенный медиафайл или сведения об ошибке. Проверьте ответ, прежде чем делать его доступным в вашем продукте. Убедитесь, что это относится к заданию, которое вы отправили, что ваше приложение может получить к нему доступ и что оно соответствует вашим правилам модерации, хранения и доставки.
Проверки для производственной среды в рабочем процессе создания говорящего видео
Большинство сбоев при реализации происходит на этапе вызова модели, а не при первом запросе. Перед выпуском выполните этот контрольный список:
Подтвердите, что модель присутствует в каталоге для API-ключа и что ее схема входных данных соответствует запланированному рабочему процессу.
Перед отправкой задачи проверьте права на изображение и аудио, тип файла, размер, длительность и разрешения на хранение.
Сохраните идентификатор запроса, идентификатор выбранной модели и безопасные ссылки на входные данные, чтобы задачу можно было отследить без копирования учетных данных.
Обрабатывайте состояния "ожидание", "завершено" и "неудачно" отдельно. Используйте тайм-ауты и ограниченное число повторных попыток вместо бесконечного опроса.
Изучите OdiRouter pricing page, прежде чем выбирать рабочий процесс, чувствительный к стоимости. Не используйте цену со страницы модели стороннего разработчика повторно.
Выберите следующий шаг OdiRouter
Откройте current OdiRouter model catalog. Выберите модель, поддерживающую требуемые входные медиафайлы, ознакомьтесь с ее актуальной документацией, затем выполните последовательность настройки, отправки, опроса и получения результата. Это не позволит запросу MultiTalk API превратиться в производственную интеграцию, построенную на непроверенном идентификаторе модели или устаревших полях запроса.
Источники
Reference model page. Он используется только для идентификации запроса на создание говорящего видео из изображения и аудио, а также указанного для него асинхронного шаблона вывода.