Helicone

Helicone

Helicone zeigt dir, was deine App eigentlich an die Modelle schickt und was es kostet. Du hängst es als Proxy vor deine LLM-Calls oder loggst nachträglich rein, dann hast du jeden Request, jede Antwort, jede Latenz und die Kosten an einem Ort. Open Source, und für Studis sogar gratis. Der Haken: ohne eigene App, die Modelle anspricht, gibt's nichts zu beobachten.

Was es kann

• Jeden Call an ein Sprachmodell mitschneiden, mit Prompt, Antwort, Tokens und Antwortzeit. So findest du raus, warum eine bestimmte Anfrage komisch lief.
• Kosten, Latenz und Nutzung über die Zeit auswerten, pro Modell, pro User, pro Endpoint. Teure oder lahme Stellen fallen direkt auf.
• Als Gateway vor deine Calls schalten und dabei cachen, Rate-Limits setzen oder Requests an verschiedene Anbieter weiterleiten. Eine Zeile Base-URL ändern reicht oft.
• Einzelne Requests gezielt aufmachen und durchgehen, statt im Blindflug zu raten, was schiefging.

Wann's was bringt, und wann nicht

Stark, sobald deine App mehr als ein paar Test-Calls macht. In dem Moment, wo du nicht mehr weißt warum die Rechnung so hoch ist oder welcher Prompt die Latenz hochzieht, gibt dir Helicone die Antwort. Der Proxy-Ansatz ist der schnellste Weg rein: Base-URL umbiegen, fertig, kein SDK durch deinen Code ziehen.

Genau dieser Proxy ist aber auch der Haken. Helicone liegt im Pfad deiner Calls, also hängt deine App an einem weiteren Dienst, der ausfallen oder bremsen kann. Wer das nicht will, nimmt das Async-Logging statt des Proxys. Und wenn du lieber tief im Code tracest, mit Decorators und ordentlichem Prompt-Management, ist Langfuse dafür gebaut. Geht's dir nur um den Zugang zu vielen Modellen und das Loggen ist dir egal, reicht OpenRouter allein.

Alternativen

• Langfuse — SDK-basiertes Tracing, Evals und Prompt-Versionierung, wenn du nicht über einen Proxy gehen willst.
• OpenRouter — wenn du nur einen Zugang zu vielen Modellen brauchst, ohne Observability drumherum.
• Together AI — wenn du Modelle selbst betreiben und feintunen willst statt ihre Calls zu beobachten.

Beispiel-Workflow

Helicone ist selten allein der Stack, eher die Sicht auf den Rest. Eine typische Runde:

1. Deine Calls laufen über OpenRouter, damit du Modelle einfach tauschen kannst. Helicone hängst du als Proxy davor, ab da landet jeder Request im Log.
2. Den Agenten baust du in LangGraph. In Helicone siehst du dann, welcher Knoten welchen Call feuert und wo die Tokens versickern.
3. Das Frontend kommt übers Vercel AI SDK. Die Requests aus der echten App tauchen direkt im Dashboard auf, nicht nur deine lokalen Tests.

Pricing

Hobby ist gratis: 10.000 Requests im Monat, 1 GB Storage, 7 Tage Aufbewahrung. Zum Lernen und für kleine Projekte reicht das locker. Pro liegt bei 79 $/Monat mit längerer Aufbewahrung und usage-based Abrechnung über die Freimenge hinaus, Team bei 799 $, Enterprise auf Anfrage. Studis kriegen Helicone kostenlos, Startups unter zwei Jahren 50 % im ersten Jahr, Open-Source-Projekte 100 $ Guthaben. Helicone selbst ist Open Source und liegt auf GitHub, eine richtige On-Prem-Variante ist aber dem Enterprise-Plan vorbehalten. Aktuelle Zahlen stehen auf der Pricing-Seite, die ändern sich öfter.

Passt zu dir, wenn du mit Programmiererfahrung eine eigene KI-App baust und endlich sehen willst, was sie an die Modelle schickt und was das kostet.