API модерации текстового контента предоставляет приложению воспроизводимый способ проверять сообщения, комментарии, обращения в службу поддержки и другой отправляемый текст. В результате получается сигнал для правил вашего продукта. Он не заменяет ни политику, ни человеческое суждение.
Используйте OdiRouter model catalog, чтобы выбрать доступную в настоящее время модель, затем проверьте поведение её запросов и ответов, прежде чем подключать её к действию в производственной среде.
Сначала определите политику
Определите, что означает каждая категория в вашем продукте. Краткая политика может охватывать травлю, разжигание ненависти, сексуальный контент, сексуальный контент с участием несовершеннолетних и насилие. Для каждой категории определите границу, действие и обстоятельства, при которых проверяющий может отменить результат.
Одна широкая метка «небезопасно» редко подходит для всех решений в продукте. Оскорбительная лексика в очереди обращений в поддержку может требовать иной реакции, чем в публичном комментарии. Запишите категорию, которая послужила поводом для действия, чтобы рецензент мог проверить правило и исправить его позже.
Явно определите контракт ответа
Выберите модель и интеграцию, выходные данные которых ваше приложение сможет проверить. Названия полей различаются между моделями, однако для применения правил следует использовать структурированный контракт, а не произвольный текст. Нормализованный результат может выглядеть следующим образом:
{
"harassment": false,
"hate": false,
"sexual": false,
"sexual_minors": false,
"violence": false
}Проверьте ответ, прежде чем предпринимать действие. Отсутствующие поля, неожиданные типы и некорректно сформированный JSON отправляются в безопасный резервный путь. Записывайте идентификатор запроса и версию политики, сохраняя только тот пользовательский текст, который необходим для операционной деятельности.
Отделите классификацию от применения мер
Один и тот же сигнал категории может привести к постановке в очередь на проверку, ограничению распространения, запросу на редактирование или остановке публикации. Правильные действия зависят от политики и контекста подачи заявки.
Результат, связанный с политикой защиты несовершеннолетних, может требовать немедленной эскалации. Пограничную формулировку в диалоге со службой поддержки, возможно, лучше направить на проверку специалисту. Задавайте такие решения в логике приложения, а не просите модель формировать политику одновременно с классификацией текста.
Выберите и протестируйте модель с помощью OdiRouter
Текущий OdiRouter model catalog описывает доступ к 200+ моделям ИИ через один ключ API. OdiRouter documentation охватывает ключи API, авторизацию, идентификаторы моделей и настройку первого запроса. Используйте эти источники, чтобы выбрать указанную в списке модель и подтвердить её схему.
Сделайте идентификатор модели настраиваемым, чтобы можно было тестировать кандидата без переписывания правил модерации. OdiRouter также описывает варианты маршрутизации с учётом стоимости, задержки и доступности. Перед использованием в продакшене проверьте текущий pricing page, поскольку цены и доступность моделей могут меняться.
const result = await classifyText({
model: "MODEL_ID",
apiKey: process.env.API_KEY,
text: submittedText
});
const moderation = validateModerationResult(result);
const action = policyDecision(moderation, policyVersion);Это намеренно обобщенная формулировка. Следуйте формату запроса, указанному в выбранной записи каталога OdiRouter и документации, вместо того, чтобы предполагать, что каждая модель предоставляет идентичные поля.
Оцените правило до его применения
Создайте размеченный набор тестовых примеров из тех, которые разрешены вашей политикой. Включите явные совпадения, безобидные формулировки, похожие на рискованную категорию, короткие и длинные сообщения, смешанный языковой текст и случаи, требующие проверки специалистом. Анализируйте пропуски и ложные срабатывания на уровне категорий, а не полагайтесь на один общий показатель.
Повторно запускайте этот набор после изменения модели, промпта, порогового значения или определения политики. В первую очередь следует рассматривать дела, которые затрагивают реальных людей. Задокументируйте резервный сценарий для тайм-аутов, недопустимых ответов и неопределённых результатов.
Предоставьте проверяющим достаточно контекста
Автоматическая классификация может направить случай по нужному маршруту, но не должна скрывать причину значимого действия. Предоставьте внутреннему проверяющему версию политики, результат по категории и только тот контент, который необходим для оценки случая. Сохраняйте возможность исправления или обжалования, когда продукт принимает значимые решения.
Начните с одного правила, которое можно проверить
Используйте одну поверхность отправки, одну категорию политики и одно действие, которое может проверить специалист. Выберите и протестируйте актуальную модель через OdiRouter, проверьте контракт ответа, а затем расширяйте систему, когда измеримые результаты подтвердят следующее правило.