Проект Alibaba по интеграции моделей ИИ начинается с задачи, которую необходимо решить, а не с названия модели. Анонс выпуска может послужить поводом для полезного исследования, но он не может сказать, подходят ли модели, их стоимость и особенности их работы для вашего приложения. Сначала определите нагрузку, а затем изучите доступные на данный момент варианты в OdiRouter's model catalog.
Определите задачу до сравнения моделей
Зафиксируйте входные данные, ожидаемый результат, приемлемое время ответа, критерии качества, требования безопасности и сообщение, которое пользователь получает после неудачного запроса. Ассистент службы поддержки клиентов, инструмент для редактирования изображений и рабочий процесс генерации видео имеют разные ограничения.
Это описание даёт сравнению устойчивую точку отсчёта. При изменении каталога команда может повторно запустить тот же тест, вместо того чтобы принимать решение о внедрении в производство на основе анонса запуска.
Создайте небольшой набор данных для оценки.
Используйте репрезентативный набор промптов или входных данных, а не одну привлекательную демонстрацию. Включите обычные случаи, сложные случаи и входные данные, которые следует отклонять или обрабатывать с особой осторожностью. До запуска определите, как проверяющие будут оценивать точность, соблюдение формата, визуальную согласованность, задержку и стоимость.
Сохраняйте каждый результат вместе с идентификатором модели и датой тестирования. Запись даёт последующим кандидатам ту же шкалу оценки и объясняет, почему изменилось решение о маршрутизации или резервном варианте.
Проектирование с учетом всего жизненного цикла запроса.
Успешный запрос — это лишь начало. Определите, как приложение устанавливает тайм-ауты, повторяет временно неудачные запросы, сообщает об ошибках и защищает пользовательские данные. Храните схемы запросов и ответов в одном месте. Собирайте достаточно диагностической информации для расследования сбоя, не сохраняя данные, которые команде не следует хранить.
Если команда планирует менять модели, отделите настройки, специфичные для модели, от рабочего процесса приложения. Такая граница упрощает тестирование замены, сохранение резервного варианта и откат изменений. Она не делает всех поставщиков одинаковыми. Она упрощает управление осознанным изменением.
Проверьте актуальные варианты
Сведения о доступности и ценах меняются. Перед оценкой стоимости проверьте актуальный каталог моделей, документацию по настройке и страницу с ценами.
Официальное описание платформы охватывает интерфейсы моделей, среду выполнения агентов и оптимизацию нагрузок GPU. Официальные страницы предоставляют команде актуальную точку отсчета, в отличие от устаревшей публикации о запуске проекта.
Перед релизом
Набор для оценки отражает реальные входные данные, а порог прохождения зафиксирован.
Выбранная модель и конфигурация регистрируются с указанием даты тестирования.
Тайм-ауты, поведение повторных попыток, поведение резервного варианта и сообщения об ошибках имеют своего владельца.
Приложение обрабатывает конфиденциальные входные данные в соответствии с политикой команды.
Актуальные каталог, документация и цены были проверены непосредственно перед выпуском.
Этот процесс оставляет место для новых моделей, связанных с Alibaba, не привязывая приложение к одному анонсу. Он также предоставляет команде повторяемый способ пересматривать решение при изменении требований.
Перед выпуском проверяющему следует сравнить сохранённый результат оценки с конфигурацией, подтвердить обработку сценариев сбоев и убедиться, что команда может воспроизвести решение, если нагрузка или эксплуатационные требования изменятся в ходе последующей проверки.