Llama 3.2 3B Instruct API through OdiRouter

Прежде чем отправлять API-запрос к Llama 3.2 3B Instruct, начните с актуального списка моделей OdiRouter. Название модели в результатах поиска или на сторонней странице не доказывает, что тот же идентификатор доступен в вашей учётной записи OdiRouter. Если список содержит нужный вам идентификатор, направьте совместимый клиент на базовый URL API OdiRouter и используйте стандартный запрос chat completions.

OdiRouter описывает настройку в официальном OpenAI SDK guide. Документированный базовый URL: https://api.odirouter.ai/v1. Руководство направляет при ответе «модель не найдена» к GET /v1/models. Такая проверка в реальном времени полезнее, чем копирование непроверенной цены, размера контекстного окна или метки доступности в код приложения.

Сначала проверьте каталог OdiRouter

Получите список моделей, которые может использовать API-ключ. Храните ключ в переменной окружения, а не в JavaScript браузера, репозитории или обращении в службу поддержки.

curl https://api.odirouter.ai/v1/models \
  -H "Authorization: Bearer $ODIROUTER_API_KEY"

Найдите в ответе идентификатор, который будет отправлять ваше приложение. Рассматриваемый здесь идентификатор обычно записывается как meta-llama/llama-3.2-3b-instruct. Используйте его, только если каталог OdiRouter возвращает это точное значение. Если он отсутствует, выберите поддерживаемый идентификатор из ответа или свяжитесь с командой OdiRouter через официальный сайт, прежде чем менять производственный код.

Используйте ответ в каталоге, чтобы проверить текущие возможности и коммерческие условия. Состав доступных моделей меняется, поэтому в статическом руководстве не следует представлять устаревший лимит, цену или метку функции как актуальное обязательство.

Настройте OpenAI SDK

Установите OpenAI SDK для используемого вами языка. Официальное руководство OdiRouter описывает схему работы с клиентом. Используйте API-ключ OdiRouter. Укажите https://api.odirouter.ai/v1 в качестве базового URL.

python -m pip install openai
export ODIROUTER_API_KEY="replace-with-your-server-side-key"

В приведённом ниже примере используется идентификатор после проверки каталога. Это не означает, что данный ID всегда доступен.

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["ODIROUTER_API_KEY"],
    base_url="https://api.odirouter.ai/v1",
)

model_id = "meta-llama/llama-3.2-3b-instruct"  # Use only if GET /v1/models returned it.

response = client.chat.completions.create(
    model=model_id,
    messages=[
        {
            "role": "user",
            "content": "Write a concise release-note summary for a technical audience.",
        }
    ],
)

print(response.choices[0].message.content)

Выполняйте этот вызов в серверном маршруте, бэкенд-воркере или другой доверенной среде выполнения. Браузерная сборка может раскрыть API-ключ каждому посетителю. По этой причине руководство по SDK OdiRouter рекомендует выполнять вызовы SDK на стороне сервера.

Вызовите chat completions с помощью cURL

Версия с cURL использует ту же структуру запроса. Заменяйте пример ID модели, только когда ответ со списком моделей подтвердит его для этой учётной записи.

curl https://api.odirouter.ai/v1/chat/completions \
  -H "Authorization: Bearer $ODIROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/llama-3.2-3b-instruct",
    "messages": [
      {
        "role": "user",
        "content": "Explain the main risk in this deployment plan."
      }
    ]
  }'

Конечная точка и структура сообщений соответствуют документации OdiRouter, совместимой с OpenAI. Для первого теста сделайте запрос небольшим. После успешного выполнения добавьте системные сообщения, инструменты, настройки потоковой передачи и проверки вывода, необходимые вашему приложению.

Исправлены распространённые ошибки настройки.

API возвращает ошибку "модель не найдена".

Не пытайтесь угадать знаки препинания, префиксы поставщиков или версии моделей. Снова запросите GET /v1/models и скопируйте текущий ID из ответа. В документации к OdiRouter для этой ошибки указана конечная точка model-list.

Ключ работает локально, но не работает после развёртывания

Убедитесь, что в развёрнутой среде выполнения настроен ODIROUTER_API_KEY и что клиент использует базовый URL OdiRouter. Не включайте ключ в переменную окружения фронтенда.

Ответ не соответствует потребностям приложения

Логируйте только безопасные метаданные запроса, затем проверьте выбранную модель, массив сообщений и версию SDK. Успешный тестовый вызов подтверждает подключение. Он не заменяет валидацию вывода, контроль доступа или обработку ошибок на уровне приложения.

Используйте актуальную документацию OdiRouter

Используйте OdiRouter model catalog для просмотра актуальных вариантов. Используйте getting-started guide для первоначальной настройки. Используйте OpenAI SDK setup guide для первого запроса. Это руководство направляет читателей к актуальному каталогу и официальной документации OdiRouter до того, как ID модели попадёт в production.