Inference-Dienst, der offene Modelle (Llama, Qwen, GPT-OSS, Whisper) auf Groqs eigener LPU-Hardware mit sehr niedriger Latenz ausführt. OpenAI-kompatible API, abgerechnet pro Token. Verkaufsargument ist das Tempo.
GroqCloud ist ein Inference-Dienst mit einem Verkaufsargument: Tempo. Groq baut eigene Chips (LPUs statt GPUs), und die spucken Tokens so schnell aus, dass offene Modelle wie Llama oder GPT-OSS auf mehrere hundert bis über tausend Tokens pro Sekunde kommen. Die API ist OpenAI-kompatibel, du tauschst also im Wesentlichen die Base-URL und den Key. Wenn die spürbare Verzögerung dein Problem ist, ist Groq die Antwort.
Stark, wenn Latenz dein Engpass ist. Ein Voice-Agent, ein Live-Chat, ein Tool, das auf jeden Tastendruck reagiert: da merkst du den Unterschied sofort. Auch für Agenten, die viele kleine Modell-Calls hintereinander machen, summiert sich das gesparte Warten zu echter Zeit.
Tempo ist aber nicht für jeden Use-Case der Punkt. Schreibst du einen nächtlichen Batch-Job, der ein paar Dokumente zusammenfasst, ist es egal, ob die Antwort in 0,3 oder 3 Sekunden kommt. Dann zählt eher Preis oder Modellauswahl. Und genau da hat Groq eine Grenze: das Angebot ist auf ausgewählte offene Modelle beschränkt. Willst du das volle Buffet an Modellen oder eigenes Fine-Tuning, bist du bei Together AI oder OpenRouter besser dran. Closed-Source-Modelle wie Claude oder GPT-4 laufen hier nicht.
Groq ist selten der ganze Stack, eher der schnelle Motor an der Stelle, wo Wartezeit nervt. Ein Live-Chat sieht oft so aus:
Pay-per-Token, und Groq wirbt mit "linear und vorhersehbar, ohne versteckte Kosten". Die Preise sind günstig: Llama 3.1 8B liegt bei rund 0,05 $ Input / 0,08 $ Output pro Million Token, Llama 3.3 70B bei etwa 0,59 $ / 0,79 $, GPT-OSS-Modelle dazwischen. Whisper-Transkription wird pro Stunde abgerechnet (grob 0,04 bis 0,11 $). Die Batch-API ist rund 50 % günstiger, gecachte Input-Token kosten ebenfalls die Hälfte. Einsteigen geht kostenlos über einen Free-API-Key auf der Console; was der Free-Zugang an Rate-Limits genau erlaubt, steht nicht auf der Pricing-Seite, das prüfst du am besten direkt in der Console. Ein eigenes Studi-Programm gibt's nicht.
Passt zu dir, wenn du mit Programmiererfahrung baust und niedrige Latenz dein knappes Gut ist.