Как работает Qwen3? Архитектура, обучение и использование API

Редакция OdiRouter

Как работает Qwen3? Исходное семейство Qwen3 генерирует текст по одному токену за раз, используя запрос и уже созданные им токены. Его необычная особенность заключается в том, что один чекпойнт может следовать двум политикам формирования ответов: пути с интенсивным рассуждением и более быстрому прямому пути. Некоторые чекпойнты Qwen3 также используют маршрутизацию Mixture-of-Experts, которая направляет каждый токен через небольшую группу экспертных сетей прямого распространения.

Эти механизмы решают разные задачи. Режим размышления изменяет то, что генерирует модель, и то, как она форматирует ответ. MoE изменяет, какие экспертные блоки обрабатывают токен внутри сети. Ни один из них не добавляет слои трансформера или головы внимания, когда запрос кажется сложным.

Краткий ответ: от запроса к выводу

Qwen3 преобразует беседу в токены с помощью своего токенизатора и шаблона чата. Каузальное внимание позволяет каждому новому токену использовать предшествующий контекст. Модель вычисляет вероятности следующего токена, выбирает один в соответствии с настройками декодирования, добавляет его к последовательности и повторяет процесс, пока не остановится.

В исходных гибридных чекпойнтах шаблон чата также указывает, включён ли режим размышления. Ответ в режиме размышления может содержать область рассуждений перед окончательным ответом. Ответ без размышлений сразу переходит к ответу. Оба пути используют одни и те же веса чекпойнта. Различие создают шаблон, инструкции, постобучение и сгенерированная последовательность.

Режим размышления и режим без размышлений

В исходных карточках моделей Qwen3 описаны жёсткий переключатель и более мягкое управление на уровне хода диалога.

  • enable_thinking — это жёсткий переключатель. Установите его в значение true, чтобы разрешить поведение с рассуждениями, или в значение false, чтобы предотвратить появление области рассуждений.

  • /think и /no_think — это мягкие инструкции. Когда жёсткий переключатель разрешает обдумывание, они могут изменять поведение между ходами. Последняя инструкция управляет текущим ходом.

В режиме обдумывания модель записывает содержание рассуждений внутри области <think>...</think> перед своим окончательным ответом. Это может помогать в математике, программировании, логике, планировании и других задачах, которым полезен более длительный промежуточный процесс. Обычно это означает больше сгенерированных токенов и больше времени на инференс.

Режим без обдумывания подходит для задач, где прямой ответ важнее, включая классификацию, извлечение данных, краткое переписывание и обычный чат. Он может снизить задержку и стоимость вывода. Это не делает его правильной настройкой для каждого короткого запроса, поскольку даже компактный запрос может требовать тщательного рассуждения.

Более длинная цепочка рассуждений не доказывает правильность ответа. Модель всё равно может исходить из неверного предположения или использовать устаревшую информацию. Приложения должны проверять важные выходные данные, ограничивать права доступа инструментов и добавлять проверки доступа или внешние проверки, когда важны текущие данные.

Плотные модели и маршрутизация с использованием смешанных экспертов

Первоначальная версия включала шесть плотных контрольных точек с параметрами 0.6B, 1.7B, 4B, 8B, 14B и 32B. В плотной модели каждый токен проходит через одни и те же блоки прямого распространения на каждом слое.

Также были выпущены Qwen, а также Qwen3-30B-A3B и Qwen3-235B-A22B. Их названия отличают общую ёмкость от ёмкости, активируемой для каждого токена. Например, в официальной карте памяти модели Qwen3-30B-A3B указаны общие параметры 30.5B и активированные параметры 3.3B. На этом контрольном пункте находится 128 экспертов, и за каждый активируемый токен можно получить 8 экспертов.

Слой MoE содержит несколько экспертных нейронных сетей прямого распространения, а также обученный маршрутизатор. Маршрутизатор оценивает экспертов для каждого токена, выбирает небольшую группу и объединяет их выходы. Механизм внимания по-прежнему обрабатывает связи между токенами. Маршрутизатор изменяет путь в сети прямого распространения, а не механизм внимания.

Разреженная активация даёт модели большую общую ёмкость без запуска каждого эксперта для каждого токена. Она может сократить вычисления на токен по сравнению с плотной моделью аналогичного общего размера. Однако развёртывание не столь простое, как предполагает метка активных параметров. Полные веса экспертов всё равно должны быть где-то доступны в системе обслуживания, а использование памяти зависит от размещения экспертов, оборудования, пакетирования и связи между устройствами.

Как обучали Qwen3

В публикации о запуске Qwen сообщается примерно о 36 триллионах токенов предварительного обучения на 119 languages и диалектах. Команда разделила предварительное обучение на три этапа.

  1. Более 30 триллионов токенов при длине контекста 4K сформировали общие языковые способности и знания.

  2. Еще около 5 триллионов токенов увеличили долю материалов по естественным наукам, технологиям, инженерии, математике, программированию и рассуждениям.

  3. Высококачественные данные с длинным контекстом расширили обучающий контекст до 32K.

Набор данных включал веб-тексты и текст, извлеченный из источников, похожих на документы. Другие модели Qwen помогали очищать извлеченный текст и генерировать синтетические данные по математике и коду. Архитектура важна, но смесь данных и последовательность обучения в такой же степени формируют поведение модели.

Постобучение сформировало гибридное поведение ответов в четыре этапа.

  1. Холодный старт с длинной цепочкой рассуждений внедрил шаблоны рассуждений для математики, программирования, логики и смежных задач.

  2. Обучение с подкреплением для рассуждений использовало вознаграждения на основе правил для улучшения исследования и качества решений.

  3. Объединение режимов мышления сочетало длинные примеры рассуждений с обычными данными для дообучения по инструкциям.

  4. Общее обучение с подкреплением охватило более 20 областей задач, включая следование инструкциям, соблюдение форматов и поведение агентов.

Третий этап объясняет, почему исходная гибридная контрольная точка может выдавать либо трассу рассуждений, либо прямой ответ. Это один набор весов, обученный следовать разным политикам ответов, а не две отдельные модели, скрытые за одной конечной точкой.

Длина контекста зависит от контрольной точки и сервера

Для каждой модели, носящей имя Qwen3, не существует единого ограничения контекста. В официальной карточке модели Qwen3-30B-A3B указана нативная длина контекста 32,768 tokens и до 131,072 tokens с YaRN.

Другие контрольные точки и последующие обновления Qwen3 имеют иные ограничения. В более поздних выпусках также были разделены контрольные точки instruct и thinking. Платформа обслуживания может устанавливать более низкий максимум из-за ограничений памяти, задержки или стабильности, поэтому важны как карточка модели, так и активная конфигурация API.

Длительное обсуждение помогает при работе с большими документами, репозиториями кода и продолжительными беседами, но у этого есть своя цена. Требования к кэшу внимания и кэшу типа «ключ-значение» возрастают по мере развития последовательности. Протестируйте размеры контекста, которые вы планируете использовать, и измерьте задержку, использование памяти, качество поиска и точность ответов, вместо того чтобы полагаться только на заявленный максимум.

Выбор режима и модели

Режим размышления — лучшая отправная точка для многоэтапного анализа, тщательного планирования, анализа кода или математических вычислений. Режим без размышлений — практичный выбор для простых запросов, где время ответа важнее, чем длительный процесс рассуждений.

Плотная контрольная точка часто имеет смысл, когда на первом месте простота развёртывания, предсказуемое поведение памяти или менее мощное целевое оборудование. Контрольная точка MoE более привлекательна, когда стек обслуживания хорошо справляется с маршрутизацией экспертов, а рабочая нагрузка выигрывает от большей общей ёмкости при разреженной активации на токен.

Название модели не может принять решение за вас. Проверьте точное ограничение контекста контрольной точки, лицензию, поддержку инструментов, формат вывода, требования к памяти и поведение на ваших собственных запросах. Тестирование в производственной среде также должно охватывать ограничения скорости, структурированный вывод, обработку сбоев и любое поле с содержимым рассуждений, возвращаемое сервером.

Использование актуальной модели семейства Qwen через OdiRouter

OdiRouter предоставляет один ключ API для своего текущего каталога моделей и совместимую с OpenAI базу LLM по адресу https://api.odirouter.ai/v1. Идентификаторы моделей и их доступность меняются, поэтому перед включением модели в производственный код узнайте её текущий ID.

  1. Следуйте краткому руководству OdiRouter: https://odirouter.ai/docs/get-started/quick-start

  2. Создайте ключ API OdiRouter и не храните его в системе контроля версий.

  3. Запросите текущий каталог с помощью GET https://api.odirouter.ai/v1/models.

  4. Выберите доступную модель семейства Qwen, соответствующую требованиям задачи, контекста и задержки.

  5. Отправьте запрос через /chat/completions, /messages или /responses.

В этом запросе используется идентификатор модели-заполнитель. Он не предполагает, что конкретная историческая контрольная точка Qwen3 всё ещё доступна.

curl https://api.odirouter.ai/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "CURRENT_QWEN_MODEL_ID",
    "messages": [
      {"role": "user", "content": "Explain expert routing in one paragraph."}
    ]
  }'

В руководстве OdiRouter по OpenAI SDK используется та же база API: https://odirouter.ai/docs/integrations/sdks-frameworks/openai-sdk.

Распространённые заблуждения

Режим thinking не добавляет слои

Исходная гибридная модель изменяет генерируемую последовательность в зависимости от шаблона чата и инструкций. После классификации запроса она не выделяет дополнительные слои трансформера или головы внимания.

Активные параметры — не весь объём используемой памяти

Контрольная точка MoE использует подмножество экспертов для вычислений в блоках прямого распространения для каждого токена. Системе обслуживания всё равно необходим доступ к полным весам экспертов.

Больший контекст сам по себе не решает проблему поиска

Большое окно может вместить больше доказательств, но нерелевантный текст всё равно может отвлекать модель. Актуальность источников, качество поиска, разбиение на фрагменты и структура запроса остаются важными.

Qwen3 — это семейство, а не одна фиксированная среда выполнения

Исходные гибридные контрольные точки 2025, более поздние контрольные точки instruct и thinking Qwen3-2507, а также новые выпуски семейства Qwen имеют разные элементы управления и ограничения. Перед развёртыванием ознакомьтесь с точной карточкой модели и актуальной документацией API.

Источники

#архитектура языковой модели#гибридная архитектура рассуждений#доступ к API языковой модели#маршрутизация Mixture of Experts#режимы мышления и немышления