Дешёвую модель обычно проверяют на десяти красивых Prompt. Мы дадим ей 100 тысяч некрасивых: обрезанные сообщения, смешанный русский и английский, пустые поля, сарказм, повторные заявки и один опасный запрос среди тысячи обычных.
Испытательный стенд
Сценарий объединяет e-commerce Support, модерацию Telegram и первичную обработку финансовых документов. Модель должна вернуть строгий JSON, не отвечать пользователю напрямую и отправлять рискованные случаи человеку.
{"class":"refund","priority":2,"language":"ru",
"needs_human":true,"reason":"payment dispute"}Что проверяется
· Schema Success на 100 тысячах запросов;
· False Negative для риска;
· p50 и p95 latency;
· повторы после 429/5xx;
· стоимость миллиона успешно обработанных заявок;
· дрейф категорий после обновления модели.
Характер моделей
Модель | Где ставить первой | Что особенно тестировать |
DeepSeek V4 Flash | Массовая классификация и извлечение | Редкие классы, русская терминология |
GPT‑5.6 Terra | Универсальный недорогой workflow | Tool Calls и длинные инструкции |
Grok 4.5 | Короткий контент, мониторинг тем | Тон, сарказм и фактические ограничения |
Gemini Flash-Lite | Высокий поток и мультимодальные сигналы | Schema, изображения и задержка |
Главная ловушка среднего Score
99% точности выглядит отлично, пока один процент не состоит из платежных споров. Взвешивайте ошибки по ущербу. Ошибка в категории «цвет товара» стоит мало; пропущенная угроза или возврат — дорого.
Бюджетная модель должна быть дешёвой на безопасно завершённую операцию, а не на один вызов.
Каскад вместо победителя
дешёвая модель → confidence + risk class
высокий confidence, низкий риск → принять
низкий confidence → сильная модель
высокий риск → человек / rule engine
Так 90–95% потока остаётся дешёвым, а сложность покупается только по сигналу.Как не подделать тест
1. Берите production-распределение, а не одинаковое число классов.
2. Оставьте последние инциденты скрытым набором.
3. Считайте повторы и ручное Review.
4. Тестируйте обновление Model ID отдельно.
5. Не меняйте Prompt для каждой модели до неузнаваемости.
Вывод
У дешёвых моделей нет универсального чемпиона. DeepSeek может выиграть чистую классификацию, Terra — смешанный workflow, Grok — оперативный контент, Gemini Flash-Lite — мультимодальный поток.
Побеждает не модель с минимальной ценой, а каскад с минимальной стоимостью опасной ошибки.