Langfuse

Langfuse

Langfuse ist das Open-Source-Observability-Tool für LLM-Anwendungen — Tracing, Monitoring, Evaluation und Prompt-Management in einem. Wo Agenten und Pipelines in Produktion laufen, wird schnell unklar was genau passiert: Welcher Prompt hat welche Latenz? Welche Tool-Calls schlagen fehl? Was kostet jede Anfrage? Langfuse macht das sichtbar.

Wofür du das nutzt

• LLM-Tracing. Jeden Prompt, jeden LLM-Call, jede Tool-Invocation als strukturierten Trace erfassen — mit Latenz, Token-Count, Kosten und Input/Output. Unverzichtbar für Debugging in Produktion.
• Kosten-Monitoring. Langfuse rechnet Token-Counts in USD um — pro User, pro Session, pro Agenten-Schritt. So weißt du wofür du wie viel bezahlst.
• Prompt-Versionierung. Prompts im Langfuse-UI verwalten und versionieren. A/B-Tests auf verschiedene Prompt-Varianten. Kein "git blame" auf Prompt-Strings im Code.
• Evaluation. Antworten automatisch oder manuell bewerten — LLM-as-Judge oder Human-Annotation. Datensätze für Regression-Tests aufbauen.
• Framework-Integrationen. LangChain, Haystack, Dify, Vercel AI SDK, OpenAI SDK, PydanticAI — alle haben Langfuse-Integrationen out of the box.

Stärken im Detail

• EU-Hosting in Irland. Langfuse Cloud ist in der EU (Irland) gehostet — ein klarer Datenschutzvorteil gegenüber US-basierten Alternativen wie LangSmith. Für DACH-Studis und DSGVO-sensible Projekte relevant.
• Open Source und Self-Hostbar. Langfuse ist vollständig Open Source (MIT). Docker-Compose-Setup für Self-Hosting ist in 10 Minuten fertig — kein Cloud-Lock-in.
• Meilenstein: ClickHouse-Akquise. Im Januar 2026 hat Langfuse ClickHouse akquiriert (Akquise abgeschlossen 16.01.2026) — das bringt native columnar Storage für hochvolumige Tracing-Daten und bessere Analytics-Performance direkt in die Langfuse-Infrastruktur.
• Breite Framework-Unterstützung. Einzeiler-Integrationen für die meisten LLM-Frameworks. LangChain-Callback in 3 Zeilen, Dify-Integration per Toggle.
• Kostenlos für kleine Projekte. Hobby-Tier mit 50.000 Events/Monat kostenlos — für Studis und Lernprojekte mehr als ausreichend.

Grenzen & wo's hakt

• Event-Limits im Hobby-Tier. 50.000 Events/Monat klingen viel, sind aber bei Agenten mit vielen Tool-Calls schnell erreicht. Productionssysteme brauchen Core ($29/Monat) oder höher.
• Self-Hosting erfordert Wartung. Langfuse Self-Hosted als Docker-Compose ist einfach aufzusetzen, aber Updates und Infrastruktur-Maintenance liegen bei dir. ClickHouse-Backend erhöht die Komplexität.
• Evaluation ist aufwändig. Automatische LLM-as-Judge-Evaluation funktioniert gut, aber für manuelle Annotation braucht man Zeit und klare Bewertungskriterien.
• Dashboard-Lernkurve. Langfuse hat viele Features — Traces, Sessions, Users, Scores, Prompts. Das Dashboard überwältigt am Anfang. Fokus auf Tracing zuerst.

Pricing (Stand 05/2026)

Hosting: EU (Irland) — EU-Datenschutz gewährleistet.

• Hobby (kostenlos) — 50.000 Events/Monat, 30 Tage Datenzugriff, 2 User. Kein Kreditkarte nötig.
• Core (29 USD/Monat) — 100.000 Events/Monat inkl., zusätzliche Events 8 USD/100k, 90 Tage Datenzugriff, unbegrenzte User.
• Pro (199 USD/Monat) — 3 Jahre Datenzugriff, unlimitierte Annotation Queues, hohe Rate-Limits. Optional: Teams-Add-on +300 USD/Monat.
• Enterprise (2.499 USD/Monat) — Alles aus Pro + Teams, Audit-Logs, SCIM API, dedizierter Support-Engineer.
• Self-Hosted — kostenlos, Open Source.

Praxis-Workflow

1. Account anlegen. cloud.langfuse.com → Free Hobby-Tier.
2. API-Keys holen. Project Settings → API Keys → Public Key + Secret Key.
3. Integration einrichten. Für LangChain: CallbackHandler mit den Keys. Für Dify: Integration in Workspace-Settings aktivieren.
4. Ersten Trace anschauen. Einen LLM-Call ausführen, im Langfuse-Dashboard den Trace öffnen. Latenz, Tokens, Kosten auf einen Blick.
5. Prompts verschieben. Prompts aus dem Code in Langfuse Prompt-Management holen und per SDK laden.
6. Evaluation aufbauen. Trace-Scores manuell vergeben oder automatische LLM-as-Judge-Evaluation konfigurieren.

Datenschutz (kurz)

Langfuse Cloud läuft in der EU (Irland) — DSGVO-konformes Hosting, EU-Datenschutzniveau. Langfuse ist Open Source und kann vollständig Self-Hosted betrieben werden — dann verlassen keine Daten die eigene Infrastruktur. Für maximale Datensouveränität: Self-Hosted Langfuse auf einem EU-Server ist die sicherste Option. Traces enthalten LLM-Prompts und -Antworten — keine echten personenbezogenen Daten aus der Anwendung tracken ohne DSGVO-Bewertung.

Quick-Win