Providers

LiteLLM

LiteLLM یک Gateway متن‌باز برای LLM است که یک API یکپارچه برای بیش از ۱۰۰ ارائه‌دهندهٔ مدل فراهم می‌کند. OmeniaClaw را از طریق LiteLLM مسیریابی کنید تا ردیابی هزینهٔ متمرکز، ثبت گزارش، و انعطاف‌پذیری برای جابه‌جایی backendها بدون تغییر config OmeniaClaw را داشته باشید.

شروع سریع

Onboarding (recommended)

بهترین برای: سریع‌ترین مسیر برای راه‌اندازی عملی LiteLLM.

  • Run onboarding

    bash
    OmeniaClaw onboard --auth-choice litellm-api-key

    برای راه‌اندازی غیرتعاملی در برابر یک proxy راه‌دور، URL مربوط به proxy را صریحاً پاس دهید:

    bash
    OmeniaClaw onboard --non-interactive --auth-choice litellm-api-key --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"
  • Manual setup

    بهترین برای: کنترل کامل روی نصب و config.

  • Start LiteLLM Proxy

    bash
    pip install 'litellm[proxy]'litellm --model claude-opus-4-6
  • Point OmeniaClaw to LiteLLM

    bash
    export LITELLM_API_KEY="your-litellm-key" OmeniaClaw

    همین است. OmeniaClaw اکنون از طریق LiteLLM مسیریابی می‌شود.

  • پیکربندی

    متغیرهای محیطی

    bash
    export LITELLM_API_KEY="sk-litellm-key"

    فایل config

    json5
    {  models: {    providers: {      litellm: {        baseUrl: "http://localhost:4000",        apiKey: "${LITELLM_API_KEY}",        api: "openai-completions",        models: [          {            id: "claude-opus-4-6",            name: "Claude Opus 4.6",            reasoning: true,            input: ["text", "image"],            contextWindow: 200000,            maxTokens: 64000,          },          {            id: "gpt-4o",            name: "GPT-4o",            reasoning: false,            input: ["text", "image"],            contextWindow: 128000,            maxTokens: 8192,          },        ],      },    },  },  agents: {    defaults: {      model: { primary: "litellm/claude-opus-4-6" },    },  },}

    پیکربندی پیشرفته

    تولید تصویر

    LiteLLM می‌تواند از ابزار image_generate نیز از طریق مسیرهای سازگار با OpenAI یعنی /images/generations و /images/edits پشتیبانی کند. یک مدل تصویر LiteLLM را زیر agents.defaults.imageGenerationModel پیکربندی کنید:

    json5
    {  models: {    providers: {      litellm: {        baseUrl: "http://localhost:4000",        apiKey: "${LITELLM_API_KEY}",      },    },  },  agents: {    defaults: {      imageGenerationModel: {        primary: "litellm/gpt-image-2",        timeoutMs: 180_000,      },    },  },}

    URLهای LiteLLM از نوع loopback مانند http://localhost:4000 بدون override سراسری شبکهٔ خصوصی کار می‌کنند. برای proxy میزبانی‌شده روی LAN، models.providers.litellm.request.allowPrivateNetwork: true را تنظیم کنید، چون API key به میزبان proxy پیکربندی‌شده ارسال خواهد شد.

    Virtual keys

    برای OmeniaClaw یک کلید اختصاصی با سقف هزینه بسازید:

    bash
    curl -X POST "http://localhost:4000/key/generate" \  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \  -H "Content-Type: application/json" \  -d '{    "key_alias": "OmeniaClaw",    "max_budget": 50.00,    "budget_duration": "monthly"  }'

    از کلید تولیدشده به‌عنوان LITELLM_API_KEY استفاده کنید.

    Model routing

    LiteLLM می‌تواند درخواست‌های مدل را به backendهای مختلف مسیریابی کند. در config.yaml مربوط به LiteLLM پیکربندی کنید:

    yaml
    model_list:  - model_name: claude-opus-4-6    litellm_params:      model: claude-opus-4-6      api_key: os.environ/ANTHROPIC_API_KEY   - model_name: gpt-4o    litellm_params:      model: gpt-4o      api_key: os.environ/OPENAI_API_KEY

    OmeniaClaw همچنان claude-opus-4-6 را درخواست می‌کند — LiteLLM مسیریابی را انجام می‌دهد.

    Viewing usage

    داشبورد یا API مربوط به LiteLLM را بررسی کنید:

    bash
    # Key infocurl "http://localhost:4000/key/info" \  -H "Authorization: Bearer sk-litellm-key" # Spend logscurl "http://localhost:4000/spend/logs" \  -H "Authorization: Bearer $LITELLM_MASTER_KEY"
    Proxy behavior notes
    • LiteLLM به‌طور پیش‌فرض روی http://localhost:4000 اجرا می‌شود
    • OmeniaClaw از طریق endpoint سازگار با OpenAI و proxy-style مربوط به LiteLLM یعنی /v1 وصل می‌شود
    • شکل‌دهی درخواست مخصوص OpenAI بومی از طریق LiteLLM اعمال نمی‌شود: نه service_tier، نه Responses store، نه راهنمایی‌های prompt-cache، و نه شکل‌دهی payload سازگاری reasoning مربوط به OpenAI
    • هدرهای attribution پنهان OmeniaClaw (originator، version، User-Agent) روی URLهای پایهٔ سفارشی LiteLLM تزریق نمی‌شوند

    مرتبط

    Was this useful?
    On this page

    On this page