API для GPT-OSS-120B звучит гораздо проще, чем самостоятельная работа с моделью классов, насчитывающей миллиард параметров (120). Это удобство по-прежнему зависит от одной практической детали: модель должна присутствовать в актуальном каталоге шлюза. OpenAI представляет gpt-oss-120b как модель рассуждений с открытыми весами. Прежде чем использовать её через OdiRouter, подтвердите вызываемый идентификатор модели и проверьте текущую цену. На момент проверки в августе 7, 2026 на страницах публичного каталога OdiRouter не было указано gpt-oss-120b, поэтому доступность в этом руководстве является условием, а не обещанием.
Что такое gpt-oss-120b
В карточке модели OpenAI указано 117 миллиардов общих параметров и 5.1 миллиардов активных параметров. Модель использует архитектуру смеси экспертов и веса MXFP4. Её официальная конфигурация включает 36 слоёв, 128 локальных экспертов, при этом для каждого токена выбираются четыре эксперта, а максимальное число позиций составляет 131,072. Последний показатель обычно называют контекстным окном в 128K.
Релиз Apache 2.0 поддерживает настраиваемый уровень усилий для рассуждений, дообучение, вызов функций, Structured Outputs и рабочие процессы, ориентированные на инструменты. Он использует формат ответа Harmony. OpenAI заявляет, что полная цепочка рассуждений не предназначена для показа конечным пользователям, поэтому приложение должно отделять внутренние рассуждения от отображаемого ответа.
Что самостоятельное хостингование требует от вашей команды
В карточке модели указано, что версия MXFP4 может работать на одном GPU 80GB; в качестве примеров приведены NVIDIA H100 и AMD MI300X. В руководстве Ollama для OpenAI рекомендуется не менее 60GB видеопамяти VRAM или унифицированной памяти для модели 120B. Эти цифры служат ориентиром по объёму памяти. Они не гарантируют приемлемую задержку для любой рабочей нагрузки.
Самостоятельное задание весов позволяет контролировать стек вывода, границы сети и процесс тонкой настройки. Кроме того, ваша команда будет отвечать за мощности GPU, загрузку моделей, обслуживание, мониторинг, обновления, безопасность и восстановление. OpenAI публикует пути установки для Ollama, Transformers и vLLM.
Самостоятельное хостингование или API-шлюз?
Фактор выбора | Самостоятельное хостингование | API-шлюз |
|---|---|---|
Управление моделью | Прямой доступ к весам и данным во время выполнения | Зависит от моделей и элементов управления, предоставляемых шлюзом |
Инфраструктура | Вы выделяете и эксплуатируете мощности GPU | Шлюз управляет уровнем обслуживания |
Доступность | Определяется вашей конфигурацией | Определяется действующим каталогом поставщиков |
Модель затрат | Оборудование, эксплуатация и загрузка ресурсов | Текущие цены шлюза и использование |
Интеграция | Ваш стек обслуживания и формат ответа | Документированный API и идентификатор модели |
Шлюз имеет смысл, когда API-контракт полезнее вашей команде, чем непосредственный контроль над стеком обслуживания. Перед развёртыванием всё равно необходимо проверить модель, ограничения, поддерживаемые функции и цену.
Сначала проверьте актуальный каталог моделей OdiRouter
OdiRouter указывает https://api.odirouter.ai/v1 в качестве базового URL для LLM. В его руководстве OpenAI SDK говорится, что следует использовать идентификатор модели OdiRouter, а для устранения ошибки «модель не найдена» предлагается обратиться к GET /v1/models. В отдельной справке по каталогу описывается GET /v1/models/catalog с фильтрами по ключевому слову, категории, поставщику и модальности.
Храните API-ключ OdiRouter в переменной окружения на стороне сервера. Запросите список моделей, прежде чем добавлять gpt-oss-120b в код приложения:
curl --location "https://api.odirouter.ai/v1/models" \
--header "Authorization: Bearer $ODIROUTER_API_KEY"Проверьте возвращённые идентификаторы. Если gpt-oss-120b отсутствует, не отправляйте запрос Chat Completions с таким именем модели. Позже проверьте OdiRouter model catalog или выберите модель из списка, подходящую для данной нагрузки. Каталог может изменяться независимо от этой статьи.
Настройте OpenAI SDK для OdiRouter
Когда актуальный список подтвердит точный идентификатор, направьте OpenAI SDK на OdiRouter. Сохраните базовый URL как /v1; SDK добавляет путь Chat Completions.
import os
from openai import OpenAI
client = OpenAI(
api_key=os.environ["ODIROUTER_API_KEY"],
base_url="https://api.odirouter.ai/v1",
)
model_id = "gpt-oss-120b"
available_ids = {model.id for model in client.models.list().data}
if model_id not in available_ids:
raise RuntimeError("The requested model is not in the current OdiRouter catalog")
response = client.chat.completions.create(
model=model_id,
messages=[
{"role": "user", "content": "Summarize the deployment tradeoffs in five sentences."}
],
)
print(response.choices[0].message.content)OdiRouter также документирует семейства API Messages и Responses. Вместо того чтобы предполагать, что все провайдеры работают одинаково, проверьте интерфейс и поддержку функций выбранной модели.
Проверяйте responses и обрабатывайте ошибки
Код успешного выполнения HTTP-запроса — это лишь первая проверка. Убедитесь, что ответ содержит ожидаемые поля: модель, выбор, сообщение и содержимое. Записывайте идентификатор запроса, если он доступен, но не включайте в журналы ключи API и конфиденциальные запросы.
401 обычно указывает на отсутствующий или недействительный ключ либо на запрос, отправленный не на тот хост. Ответ "модель не найдена" означает, что идентификатор недоступен для учетной записи или текущего состояния каталога. Используйте ограниченную экспоненциальную задержку для ограничений частоты запросов и временных ошибок сервера. Не повторяйте попытки отправки некорректно сформированного запроса.
Перед запуском в промышленную эксплуатацию проверьте безопасность и стоимость
Храните ODIROUTER_API_KEY на сервере, а не в коде браузера. Используйте разные ключи для разных приложений, меняйте ключ при подозрении на его компрометацию и ограничивайте журналы нечувствительными операционными полями.
Цена, скопированная из старой статьи поставщика, к моменту развертывания может оказаться неверной. Проверьте current OdiRouter pricing после того, как каталог подтвердит модель. Для самостоятельного хостинга сравните текущую цену использования со стоимостью аренды или владения GPU, затратами на простаивающие мощности, инженерное время, мониторинг и восстановительные работы.
Практический контрольный список для принятия решения
Убедитесь, что условия Apache 2.0 подходят для проекта.
Определите, подходят ли формат Harmony и особенности рассуждений для приложения.
Проверьте, реально ли для локального использования иметь как минимум 60GB видеопамяти или унифицированной памяти.
Запросите актуальный список моделей OdiRouter, чтобы получить точный идентификатор модели.
Проверьте поддерживаемые интерфейсы, функции, ограничения и актуальные цены.
Храните учетные данные на стороне сервера и протестируйте обработку ошибок до запуска промышленного трафика.
Если модель присутствует в актуальном каталоге, продолжайте работу с OdiRouter Quick Start и OpenAI SDK setup. Если её нет, подождите или выберите модель из списка. Принудительное добавление недоступного идентификатора в запрос не сделает его вызываемым.