Интеграция LiteLLM с OdiRouter

Редакция OdiRouter

Интеграция LiteLLM может отправлять запрос Python в OdiRouter. Настройте LiteLLM для использования префикса поставщика openai/. Используйте API-ключ OdiRouter и документированный базовый URL https://api.odirouter.ai/v1. Ваше приложение сохраняет единый путь запроса, а OdiRouter предоставляет конечную точку LLM, совместимую с OpenAI.

Перед первым запросом

Создайте аккаунт OdiRouter, сгенерируйте API-ключ и пополните баланс перед использованием в производственной среде. Храните ключ в переменной окружения, а не в репозитории или браузерной сборке.

export ODIROUTER_API_KEY="your-api-key"

Установите LiteLLM в среде Python, которая будет отправлять запрос:

pip install litellm

Отправьте минимальный запрос на завершение

Документ LiteLLM описывает префикс openai/ для конечной точки, совместимой с OpenAI. В документе OdiRouter в качестве базового URL-адреса LLM API указан документ https://api.odirouter.ai/v1. В этом примере используется идентификатор модели, указанный в документации OpenAI SDK от OdiRouter.

import os
from litellm import completion

response = completion(
    model="openai/gpt-5.5",
    api_key=os.environ["ODIROUTER_API_KEY"],
    api_base="https://api.odirouter.ai/v1",
    messages=[
        {"role": "user", "content": "Reply with one short integration check."}
    ],
)

print(response.choices[0].message.content)

Важные значения: префикс маршрутизации openai/gpt-5.5, api_base и ключ, передаваемый через переменную окружения. Не используйте базовый URL-адрес в коде браузера и не раскрывайте ключ клиенту.

Выберите модель из актуального списка

Доступность моделей меняется. Проверьте https://api.odirouter.ai/v1/models, прежде чем закреплять идентификатор модели в производственной среде. Добавьте возвращённый идентификатор после openai/ в LiteLLM. Такая простая проверка помогает избежать развёртывания, зависящего от устаревшего имени модели.

OdiRouter документирует POST /v1/chat/completions, POST /v1/messages и POST /v1/responses для работы с LLM. Приведённая выше конфигурация использует маршрут Chat Completions. Перед использованием другого протокола ознакомьтесь с соответствующей документацией API OdiRouter.

Потоковая инкрементальная выдача

Документ OdiRouter отображает потоковое воспроизведение результатов завершения чата с помощью stream: true. LiteLLM может передавать его через ту же конфигурацию:

stream = completion(
    model="openai/gpt-5.5",
    api_key=os.environ["ODIROUTER_API_KEY"],
    api_base="https://api.odirouter.ai/v1",
    messages=[{"role": "user", "content": "Give two brief setup checks."}],
    stream=True,
)

for chunk in stream:
    delta = chunk.choices[0].delta.content or ""
    print(delta, end="", flush=True)

Надёжно обрабатывайте фрагменты, поскольку некоторые из них содержат метаданные без текста. OdiRouter описывает необработанный потоковый ответ как события, отправляемые сервером, и рекомендует закрывать его после [DONE].

Устраните распространенные проблемы при первом запуске.

  • Ответ 401 обычно означает, что в запросе отсутствует действительный API-ключ OdiRouter. Проверьте, что ODIROUTER_API_KEY доступен серверному процессу и не был отозван.

  • Если сервис не может найти модель, проверьте https://api.odirouter.ai/v1/models, затем обновите значение после openai/.

  • В ответе "не найдено" может указываться базовый URL-адрес без /v1. Используйте https://api.odirouter.ai/v1.

  • Размещайте API-вызовы в серверном маршруте или внутреннем процессе. Руководство по OpenAI SDK от OdiRouter предупреждает не раскрывать API-ключ в браузерной сборке.

Продолжите работу в документации OdiRouter

Используйте OdiRouter quick start, чтобы создать ключ и выполнить первый запрос. Подробные сведения о конечных точках см. в LLM API overview, Chat Completions reference и OpenAI SDK setup.

Источники

#API#автодополнение чата#потоковая передача данных.#совместимый с OpenAI#язык программирования Python