Firecrawl

OpenClaw kann Firecrawl als Fallback-Extraktor für web_fetch nutzen. Das ist ein gehosteter Service zur Inhaltsextraktion, der Bot-Umgehung und Caching unterstützt – praktisch für JavaScript-lastige Seiten oder Websites, die normale HTTP-Anfragen blockieren.

API-Key besorgen

1. Erstelle einen Firecrawl-Account und generiere einen API-Key.
2. Speichere ihn in der Config oder setze FIRECRAWL_API_KEY in der Gateway-Umgebung.

Firecrawl konfigurieren

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

Hinweise:

• firecrawl.enabled ist standardmäßig aktiviert, wenn ein API-Key vorhanden ist.
• maxAgeMs bestimmt, wie alt gecachte Ergebnisse sein dürfen (in Millisekunden). Standard sind 2 Tage.

Stealth / Bot-Umgehung

Firecrawl bietet einen Proxy-Modus zur Bot-Umgehung (basic, stealth oder auto). OpenClaw nutzt immer proxy: "auto" plus storeInCache: true für Firecrawl-Anfragen. Wenn kein Proxy angegeben wird, verwendet Firecrawl standardmäßig auto. Der auto-Modus versucht es bei Fehlschlag mit Stealth-Proxies erneut, was mehr Credits verbrauchen kann als reines Basic-Scraping.

Wie web_fetch Firecrawl nutzt

web_fetch Extraktionsreihenfolge:

1. Readability (lokal)
2. Firecrawl (falls konfiguriert)
3. Einfaches HTML-Cleanup (letzter Fallback)

Siehe Web-Tools für die vollständige Web-Tool-Konfiguration.