Ollama

Ollama ist eine lokale LLM-Runtime, mit der du Open-Source-Modelle einfach auf deinem Rechner ausführen kannst. OpenClaw integriert sich mit Ollamas OpenAI-kompatibler API und kann automatisch Tool-fähige Modelle erkennen, wenn du OLLAMA_API_KEY (oder ein Auth-Profil) setzt und keinen expliziten models.providers.ollama-Eintrag definierst.

Schnellstart

  1. Installiere Ollama: https://ollama.ai

  2. Lade ein Modell herunter:

ollama pull llama3.3
# oder
ollama pull qwen2.5-coder:32b
# oder
ollama pull deepseek-r1:32b
  1. Aktiviere Ollama für OpenClaw (beliebiger Wert funktioniert; Ollama braucht keinen echten Key):
# Umgebungsvariable setzen
export OLLAMA_API_KEY="ollama-local"

# Oder in der Config-Datei konfigurieren
openclaw config set models.providers.ollama.apiKey "ollama-local"
  1. Nutze Ollama-Modelle:
{
  agents: {
    defaults: {
      model: { primary: "ollama/llama3.3" },
    },
  },
}

Model Discovery (impliziter Provider)

Wenn du OLLAMA_API_KEY (oder ein Auth-Profil) setzt und keinen models.providers.ollama-Eintrag definierst, erkennt OpenClaw automatisch Modelle von der lokalen Ollama-Instanz unter http://127.0.0.1:11434:

  • Fragt /api/tags und /api/show ab
  • Behält nur Modelle, die tools-Fähigkeit melden
  • Markiert reasoning, wenn das Modell thinking meldet
  • Liest contextWindow aus model_info["<arch>.context_length"], falls verfügbar
  • Setzt maxTokens auf das 10-fache des Context Window
  • Setzt alle Kosten auf 0

So vermeidest du manuelle Modell-Einträge und hältst den Katalog mit Ollamas Fähigkeiten synchron.

Um zu sehen, welche Modelle verfügbar sind:

ollama list
openclaw models list

Um ein neues Modell hinzuzufügen, lade es einfach mit Ollama herunter:

ollama pull mistral

Das neue Modell wird automatisch erkannt und steht zur Verfügung.

Wenn du models.providers.ollama explizit setzt, wird die automatische Erkennung übersprungen und du musst Modelle manuell definieren (siehe unten).

Konfiguration

Basis-Setup (implizite Erkennung)

Der einfachste Weg, Ollama zu aktivieren, ist über eine Umgebungsvariable:

export OLLAMA_API_KEY="ollama-local"

Explizites Setup (manuelle Modelle)

Nutze explizite Konfiguration, wenn:

  • Ollama auf einem anderen Host/Port läuft
  • Du bestimmte Context Windows oder Modell-Listen erzwingen möchtest
  • Du Modelle einbinden möchtest, die keine Tool-Unterstützung melden
{
  models: {
    providers: {
      ollama: {
        // Nutze einen Host mit /v1 für OpenAI-kompatible APIs
        baseUrl: "http://ollama-host:11434/v1",
        apiKey: "ollama-local",
        api: "openai-completions",
        models: [
          {
            id: "llama3.3",
            name: "Llama 3.3",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 8192,
            maxTokens: 8192 * 10
          }
        ]
      }
    }
  }
}

Wenn OLLAMA_API_KEY gesetzt ist, kannst du apiKey im Provider-Eintrag weglassen – OpenClaw füllt ihn für Verfügbarkeitsprüfungen automatisch aus.

Custom Base URL (explizite Config)

Wenn Ollama auf einem anderen Host oder Port läuft (explizite Config deaktiviert die automatische Erkennung, also definiere Modelle manuell):

{
  models: {
    providers: {
      ollama: {
        apiKey: "ollama-local",
        baseUrl: "http://ollama-host:11434/v1",
      },
    },
  },
}

Modellauswahl

Sobald konfiguriert, stehen alle deine Ollama-Modelle zur Verfügung:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3.3",
        fallback: ["ollama/qwen2.5-coder:32b"],
      },
    },
  },
}

Erweitert

Reasoning-Modelle

OpenClaw markiert Modelle als reasoning-fähig, wenn Ollama thinking in /api/show meldet:

ollama pull deepseek-r1:32b

Modellkosten

Ollama ist kostenlos und läuft lokal, daher sind alle Modellkosten auf $0 gesetzt.

Context Windows

Für automatisch erkannte Modelle nutzt OpenClaw das von Ollama gemeldete Context Window, falls verfügbar, sonst den Standardwert 8192. Du kannst contextWindow und maxTokens in der expliziten Provider-Config überschreiben.

Troubleshooting

Ollama wird nicht erkannt

Stelle sicher, dass Ollama läuft und du OLLAMA_API_KEY (oder ein Auth-Profil) gesetzt hast, und dass du keinen expliziten models.providers.ollama-Eintrag definiert hast:

ollama serve

Und dass die API erreichbar ist:

curl http://localhost:11434/api/tags

Keine Modelle verfügbar

OpenClaw erkennt automatisch nur Modelle, die Tool-Unterstützung melden. Wenn dein Modell nicht aufgelistet ist, entweder:

  • Lade ein Tool-fähiges Modell herunter, oder
  • Definiere das Modell explizit in models.providers.ollama

Um Modelle hinzuzufügen:

ollama list  # Zeigt installierte Modelle
ollama pull llama3.3  # Lädt ein Modell herunter

Connection refused

Prüfe, ob Ollama auf dem richtigen Port läuft:

# Prüfe, ob Ollama läuft
ps aux | grep ollama

# Oder starte Ollama neu
ollama serve

Siehe auch