Требования к вычислительным ресурсам для развертывания GPT-OSS начинаются с модели, но опубликованный минимум является лишь отправной точкой. OpenAI's gpt-oss release утверждает, что изначально MXFP4-квантованная gpt-oss-20b может работать при 16 GB памяти, а gpt-oss-120b может работать в пределах 80 GB. Для производственного плана также необходим запас для контекстного окна, параллельных запросов, накладных расходов среды выполнения и целевого уровня надежности.
Начните с опубликованной базовой конфигурации модели
OpenAI перечисляет gpt-oss-20b с 21 млрд параметров всего и gpt-oss-120b со 117 млрд параметров всего. Обе используют архитектуру смеси экспертов. В релизе указано, что gpt-oss-20b активирует 3.6B параметров на токен, а gpt-oss-120b активирует 5.1B. Это помогает объяснить вычислительные потребности при инференсе, но не отменяет необходимости хранить в памяти развернутые веса и состояние обслуживания.
Модель | Опубликованная отправная точка | Для чего это полезно |
|---|---|---|
gpt-oss-20b | Может работать при 16 GB памяти с изначально MXFP4-весами | Локальная валидация, эксперименты на устройстве и небольшие сервисы с измеренными ограничениями |
gpt-oss-120b | Может работать в пределах 80 GB памяти с изначально MXFP4-весами | Более крупная отправная точка для одного ускорителя до добавления запаса под рабочую нагрузку |
В релизе указана поддержка контекста до 128k. Сервису, принимающему длинные запросы или сохраняющему длительные беседы, требуется больше, чем базовый объем памяти для весов модели.
Добавьте память, которую потребляет реальный запрос
Используйте следующее уравнение для планирования:
deployment memory budget = model and runtime baseline + peak KV cache + workspace + safety marginKV cache увеличивается с ростом длины контекста, числа обслуживаемых последовательностей и размера батча. Рабочая область включает среду выполнения сервиса, обработку запросов и другие буферы. Запас по памяти покрывает обычные условия: более длинный, чем обычно, промпт, кратковременный всплеск нагрузки или поэтапный перезапуск.
До создания прототипа не нужно предсказывать каждый байт. Измерьте длину самого длинного ожидаемого промпта, типичную и пиковую длину вывода, желаемое число одновременных запросов и приемлемую для пользователей задержку. Эти входные данные делают выбор конфигурации проверяемым.
Выберите схему развертывания до выбора оборудования
Для одной и той же модели могут потребоваться совершенно разные ресурсы в зависимости от создаваемого вами сервиса.
Локальная проверка
Используйте этот путь для тестирования формата подсказок, вызовов инструментов, поведения модели или интеграции на одном компьютере. Начните с опубликованного базового уровня памяти gpt-oss-20b, держите контекст и параллелизм небольшими, затем зафиксируйте фактическое потребление памяти и задержку. Локальный успех свидетельствует об эффективности рабочего процесса. Это не устанавливает целевой уровень качества предоставляемых услуг.
Сервис на одном сервере
Для одного экземпляра сервиса размер определяется исходя из максимально допустимого контекста и наиболее загруженного ожидаемого периода, а не из периода простоя. Зарезервируйте память для среды выполнения и KV cache, определите лимит параллелизма и протестируйте очереди запросов. Если сервис должен оставаться доступным во время обслуживания, одна машина — это решение, касающееся доступности, а не только GPU.
Сервис с более высокой доступностью или пропускной способностью
Когда несколько пользователей одновременно запрашивают ответы, ограничивающим фактором вместо весов могут стать KV cache, планирование, пропускная способность сети или реплики. Стройте нагрузочные тесты вокруг длины промпта и длины вывода, а не только количества запросов. Определите, является ли целью меньшая задержка, большее число завершённых запросов или устойчивость к отказу экземпляра. Каждая цель меняет планирование мощности.
Квантование и MoE всё равно требуют измерений
Нативные веса MXFP4 являются частью опубликованных сведений о потреблении памяти. Квантование может облегчить размещение модели в памяти, но не заменяет проверку качества, потребления памяти и задержки в среде выполнения, которую вы будете эксплуатировать. Архитектура смеси экспертов сокращает объём активных вычислений на токен, однако процесс обслуживания по-прежнему нуждается в весах модели, кэше и состоянии среды выполнения.
Рекомендация по оборудованию без указания лимита контекста и предполагаемой параллельности неполна. Указывайте эти допущения рядом с каждым бенчмарком и повторяйте тест после изменения среды выполнения, формата промптов или политики пакетной обработки.
Используйте контрольный список для планирования мощности
Прежде чем принимать решение о развертывании, ответьте на следующие вопросы:
Какая модель будет запущена: gpt-oss-20b или gpt-oss-120b?
Каково типичное и максимальное количество входных и выходных токенов?
Сколько запросов должны выполняться одновременно в период наибольшей нагрузки?
Какой целевой показатель задержки важен: до первого токена, до полного ответа или оба?
Что происходит во время перезапуска, резкого увеличения трафика или потери одного из экземпляров?
Какие показатели вы будете собирать: использование памяти, время в очереди, скорость обработки токенов, ошибки и насыщение ресурсов?
Преобразуйте ответы в матрицу тестирования. Сначала выполните небольшой пример, затем постепенно увеличивайте контекст или параллельность выполнения, добавляя по одной переменной за раз. Это упрощает выявление следующего ограничения, будь то ограничение по памяти, вычислительным ресурсам, планированию или внешней зависимости.
Когда API-процесс подходит лучше
Самостоятельное размещение подходит командам, которым необходим прямой контроль над средой выполнения, путем передачи данных или средой развертывания. Это также включает в себя работу по планированию мощностей и оперативному управлению. Если текущая потребность заключается в сравнении доступных моделей, тестировании интеграции или маршрутизации запросов без эксплуатации парка серверов, посетите официальный OdiRouter models page, pricing page и getting-started documentation.
На этих страницах описаны возможности OdiRouter по поиску моделей, сравнению цен и настройке API. Ознакомьтесь с ними до принятия решения для продакшена, поскольку доступность моделей и цены могут меняться. Они не заменяют тест развертывания, ориентированный на конкретную рабочую нагрузку.
Часто задаваемые вопросы
Гарантирует ли опубликованный базовый показатель 16 GB или 80 GB производственную мощность?
Нет. Опубликованные показатели служат полезной отправной точкой для нативных весов MXFP4. Производственная мощность также зависит от длины контекста, KV cache, количества одновременных запросов, накладных расходов среды выполнения, ожиданий по задержке и требований к доступности.
Означает ли MoE, что gpt-oss-120b имеет потребности в памяти на уровне модели 5.1B?
Нет. OpenAI указывает 5.1B активных параметров на токен для gpt-oss-120b, но всего у модели 117 млрд параметров. Активные вычисления и память, необходимая развернутому процессу обслуживания, — это разные вопросы планирования.
Что следует измерить в первую очередь?
Измерьте использование памяти, задержку до первого токена и полного ответа, скорость генерации выходных токенов, время в очереди и ошибки на репрезентативном наборе промптов и уровней параллельности. Сохраняйте вместе с каждым результатом промпт, версию среды выполнения, квантование и конфигурацию оборудования.
Заключение
Начните с опубликованных OpenAI базовых показателей gpt-oss-20b и использования памяти gpt-oss-120b. Затем преобразуйте собственные требования к контексту, параллельности и надежности в план измеряемого тестирования. Это даст вам более ясный ответ, чем один лишь список GPU. Для работы с размещенными моделями начните с OdiRouter, сравните варианты моделей и актуальные цены, а затем воспользуйтесь официальной документацией, чтобы выполнить первый API-запрос.