API для ответов на вопросы по изображениям принимает изображение и вопрос на естественном языке, а затем возвращает текст о том, что он может увидеть. Загрузка — это самая простая часть. Сложнее всего сформулировать вопрос, на который можно ответить по изображению, и сверить результат с самим изображением.
В этом руководстве используется OdiRouter для поиска актуальных вариантов моделей и начала интеграции API. OdiRouter описывает унифицированный подход к API для доступа к моделям, а его каталог и документация содержат параметры и цены для конкретных моделей. Проверяйте актуальный список, прежде чем включать модель в производственный сценарий, поскольку доступность и требования могут меняться.
Спрашивайте о видимой детали
Визуальные вопросы и ответы наиболее полезны, когда вопрос указывает на нечто видимое. Спросите о тексте на этикетке, количестве повторяющихся объектов, цвете, положении или кратком описании того, что находится в рамке.
Задавайте более узкий вопрос, если неверный ответ может повлиять на последующие действия. "Какая дата доставки указана на этикетке?" можно осмотреть. «Что мне делать с этой посылкой?» не могу. Сфокусированный вопрос также даёт проверяющему понятный способ оценить ответ.
Отправляйте изображение и вопрос вместе
Сохраняйте ссылку на изображение и вопрос вместе в формате запроса, требуемом выбранной моделью. Концептуальная полезная нагрузка может выглядеть так:
{
"image_url": "https://example.com/package-label.jpg",
"question": "What delivery date is printed on the label?"
}Конечная точка, поля, поддерживаемые типы файлов и структура ответа зависят от текущей модели и её документированного API для задачи. Не предполагайте, что модели изображений принимают одинаковые параметры. Прочитайте страницу модели и справочник API, прежде чем отправлять реальный трафик.
Выберите актуальную модель в OdiRouter
В документации OdiRouter по началу работы указано, что нужно создать ключ API, настроить Base URL и конечную точку модели, а также использовать документацию модели для определения требований к параметрам. Проверьте каталог моделей OdiRouter, чтобы узнать, какие варианты в настоящее время доступны для визуальной задачи.
Прежде чем выбрать, ответьте на следующие вопросы:
Поддерживает ли указанная модель нужные вам типы входных данных изображения и ответа?
Какие параметры требуются этой модели для её задачи?
Какую цену каталог сейчас указывает для ожидаемого вами шаблона запросов?
Нужен ли приложению синхронный ответ или задача, завершение которой оно будет опрашивать?
В описании OdiRouter указано, что для вызовов с использованием LLM можно использовать метод вызова OpenAI-compatible. Мультимодальные модели могут использовать API задач с опросом статуса. Следуйте документации выбранной модели, а не заимствуйте конечную точку из нерелевантного примера.
Проверяйте ответ перед его использованием
Сравните полученный ответ с изображением, особенно если он содержит дату, количество или текст, управляющий последующим действием. Сохраните исходный вопрос вместе с ответом, чтобы рецензент или последующий процесс могли увидеть, что именно требовалось от модели.
Если ответ расплывчатый, задайте более точный уточняющий вопрос или попросите указать видимые доказательства, на которых он основан. Если изображение размыто, обрезано или не содержит релевантной детали, отправьте его на проверку вместо того, чтобы считать неопределённость уверенным результатом.
Для производственного рабочего процесса фиксируйте выбранную модель, параметры задачи, которые допускает ваше приложение, и получаемую версию ответа. Эти записи помогут вам протестировать изменение варианта модели, цены или набора параметров.
Проверьте актуальные сведения об интеграции
Каталоги моделей и цены меняются. Перед выпуском или сменой модели проверьте актуальные OdiRouter model catalog, getting-started documentation и pricing page.
Оценивая API для ответов на вопросы по изображениям, начните с репрезентативных изображений и вопросов, которые ваша команда может проверить. Затем используйте OdiRouter, чтобы ознакомиться с актуальными вариантами моделей и документацией для рабочего процесса, который вы планируете внедрить.