image QA API предоставляет приложению ответ на вопрос о конкретном изображении. Для ответа по-прежнему необходимы четкое определение задачи и способ ее оценки. Прежде чем сравнивать модели или подключать конечную точку, определите, что должно быть изображено, о чём может быть задан вопрос и какой ответ считается приемлемым.
Такая подготовка делает выбор и проверку менее уязвимыми. В этом руководстве рассматриваются аспекты, которые команда разработки может контролировать: качество входных данных, рамки вопросов, оценка, неопределённость и переход к рабочему процессу с API. В нём не предполагается, что какая-либо конкретная сторонняя модель доступна через OdiRouter. Перед выбором модели для промышленного использования проверьте актуальный каталог.
Определите задачу перед отправкой изображения
Тестировать ответы на вопросы по изображениям проще, когда вопрос имеет конкретную цель. «Что изображено на этом изображении?» может помочь при исследовании, но такой ответ сложно оценивать. Ограниченный вопрос даёт команде нечто конкретное для проверки: «Можно ли прочитать этикетку продукта?» или «На каком изображении виден повреждённый угол?»
Зафиксируйте четыре составляющие задачи:
Изображение или набор изображений со стабильным внутренним идентификатором.
Точный вопрос, который задаст пользователь или сервис.
Ожидаемый формат ответа, например краткий текст, категория или структурированное поле.
Условие, при котором ответ считается приемлемым, включая случаи, когда правильный ответ — «неопределённо».
Этот контракт не позволяет принять беглый ответ за правильный. Ответ может быть ясным, но при этом неполным или неверным. Приложению нужен способ обнаруживать эту разницу.
Сделайте входные данные пригодными для проверки
Храните вместе ссылку на исходное изображение, идентификатор запроса и релевантный контекст. Если кто-то ставит под сомнение результат, команда должна иметь возможность проверить те же самые входные данные и тот же самый вопрос. Не следует автоматически заменять изображение после рассмотрения запроса.
Качество изображения имеет значение при просмотре. Мелкий текст, блики, обрезка, сжатие и нечеткая композиция могут оставить вопрос без надежного ответа. Позвольте системе возвращать состояние неопределённости или запрашивать более качественное изображение, а не вынуждать её делать предположение.
Для конфиденциальных материалов определите, какие изображения можно отправлять поставщику, как долго должны быть доступны записи запросов и кто может их просматривать. Это решения, касающиеся продукта и политики. Ответ на запрос качества изображения не сможет создать их за вас.
Создайте набор для оценки, который соответствует реальной задаче
Прежде чем image QA API сможет повлиять на действие, видимое пользователю, соберите репрезентативные примеры. Включите обычные случаи, сложные случаи, неоднозначные изображения и случаи, в которых ожидаемым ответом является отказ или передача на дальнейшее рассмотрение. Для каждого случая сохраняйте ожидаемый ответ и его обоснование.
Используйте рубрику оценки, а не полагайтесь на общее впечатление. Она может проверять, отвечает ли ответ на вопрос о запрошенном изображении, сохраняет ли обязательный факт или объект сравнения, избегает ли деталей, которые не подтверждаются входными данными, и выражает ли неопределённость, когда изображение не позволяет дать надёжный ответ.
Отслеживайте расхождения между автоматическим результатом и проверкой человеком. Повторяющиеся расхождения указывают на вопрос, который нужно уточнить, требования к входным данным, которые нужно доработать, схему ответа, которую нужно скорректировать, или отсутствующий этап проверки. Это не должно исчезать из записей.
Рассматривайте сравнение изображений как отдельную задачу
Для сравнения требуется нечто большее, чем два файла. Определите, какие изображения сравниваются, какая характеристика важна и обеспечивают ли условия съёмки справедливость сравнения. Другой кадр или условия освещения могут изменить ответ, даже если сам объект не изменился.
Укажите объект сравнения и правило ответа для него. «На каком изображении серийный номер виден лучше?» проверить проще, чем «Какое из них лучше?» Сохраняйте вместе с ответом идентификаторы обоих входных данных, чтобы проверяющий мог воспроизвести решение.
Добавьте в приложение средства контроля надежности.
Надежность обеспечивается рабочим процессом, связанным с моделью. Проверяйте входные данные, чтобы не допускать обработки неподдерживаемых файлов и отсутствующих вопросов. Перед использованием выходных данных приложение должно проверить их соответствие схеме. Направлять на рассмотрение особо важные, неоднозначные или противоречивые дела.
Сохраняйте достаточно информации для исследования результата, не собирая при этом больше, чем требуется для выполнения задачи. Идентификаторы запросов, записи о выборе модели, результаты оценок и решения проверяющих часто полезнее большого хранилища неструктурированного текста ответов. Установите сроки хранения и средства контроля доступа, соответствующие вашим собственным обязательствам по политике.
Перейдите от плана оценки к API-процессу с OdiRouter
Когда задача и критерии оценки готовы, откройте OdiRouter to choose a model and create an API key. Проверенный процесс на главной странице OdiRouter состоит в том, чтобы создать учётную запись, выбрать модель, создать API-ключ и отправить первый запрос. Прежде чем подключать модель к приложению, подтвердите актуальный каталог, а также требования модели к входным и выходным данным.
Сохраняйте узкий охват первой интеграции. Отправьте один оценённый случай, проверьте структуру возвращённого результата, сравните его с рубрикой и зафиксируйте результат. Расширяйте решение после того, как процесс будет обрабатывать неопределённость и проверку так, как требуется продукту.
Контрольный список Image QA API
Определите вопрос image QA API, формат ответа и допустимое состояние неопределённости.
Сохраняйте идентификаторы изображения и запроса, чтобы результат можно было проверить.
Тестируйте репрезентативные, неоднозначные и негативные случаи с явной рубрикой оценки.
Рассматривайте сравнение изображений отдельно и указывайте правило сравнения.
Проверяйте результаты, прежде чем они повлияют на действие, видимое пользователю или имеющее значительные последствия.
Перед выбором производственной модели проверьте актуальный каталог OdiRouter и требования модели.
Сохраняйте возможность проверки человеком для случаев, которые рубрика оценки отмечает как неопределённые или высокозначимые.
Доверие возникает благодаря тому, что доказательства и ограничения становятся видимыми. Начните с небольшой задачи, которую можно проверить, а затем используйте результаты проверки, чтобы улучшить вопросы, входные данные и средства контроля вокруг неё.