LlamaIndex

LlamaIndex

LlamaIndex ist ein Open-Source-Framework, das deine eigenen Daten an Sprachmodelle anbindet. Es liest Dokumente ein, zerlegt sie, baut Indizes und stellt Query-Engines bereit, damit ein Modell gestützt auf deine Unterlagen antwortet. Das ist der Kern hinter so ziemlich jeder RAG-App. Der Fokus liegt klar auf der Datenseite: rein, aufbereiten, durchsuchbar machen. Python und TypeScript, gratis, du brauchst aber Code.

Was es kann

• Dokumente einlesen und zerlegen, von PDF über Notion bis zu APIs, auch Sachen mit Tabellen oder Bildanteilen.
• Indizes und Query-Engines bauen, die zu einer Frage erst die passenden Stellen raussuchen und dann das Modell antworten lassen.
• Mehrstufige Abläufe aufsetzen, die Unterlagen einlesen, Inhalte rausziehen und daraus eine Antwort oder Auswertung bauen.
• An die gängigen Vektor-DBs und Modelle andocken, du bist nicht an einen Anbieter gebunden.

Wann's was bringt, und wann nicht

Stark, wenn dein Problem auf der Datenseite sitzt. Du hast einen Haufen eigener Unterlagen und willst, dass ein Modell darauf gestützt antwortet, ohne zu halluzinieren. Genau dafür ist LlamaIndex gebaut, und es nimmt dir das fummelige Ingestion- und Retrieval-Zeug ab.

Ehrlich aber: Es ist ein Framework, kein fertiges Tool. Du tippst Code, baust die Pipeline selbst und kümmerst dich darum, wohin deine Dokumente fließen. Wer einfach nur ohne Code mit eigenen Dateien reden will, ist mit einem fertigen Werkzeug schneller dran. Und LlamaIndex deckt die Anbindung der Daten ab, nicht die ganze Kette: Den Vektorspeicher und die Orchestrierung eines Agenten ersetzt es nicht, dafür kombinierst du es mit anderen Tools.

Geht's dir eigentlich um die Schritte eines Agenten und nicht um die Daten, nimmst du LangGraph oder CrewAI. Willst du nur Embeddings ablegen und durchsuchen, reicht Chroma.

Alternativen

• LangChain — allgemeinere Bausteine für Modell-Ketten, breiter aufgestellt, weniger auf Daten-Ingestion zugespitzt.
• LangGraph — wenn die Ablaufsteuerung eines Agenten im Vordergrund steht statt das Anbinden eigener Daten.

Beispiel-Workflow

Eine RAG-App baust du selten mit einem Tool. LlamaIndex sitzt am Anfang der Kette, bei den Daten:

1. Dokumente mit LlamaIndex einlesen und zerlegen, Embeddings erzeugen.
2. Die Embeddings in Qdrant ablegen, von wo aus die Ähnlichkeitssuche läuft.
3. Das Retrieval an einen mit LangGraph gebauten Agenten hängen, der die Treffer in seinen Schritten als Wissensquelle nutzt.
4. Die Pipeline tippst du in Cursor zusammen, der Editor-Agent hilft beim Glue-Code.

Pricing

Das Framework ist Open Source und gratis, Python wie TypeScript, läuft komplett bei dir. Geld kostet nur LlamaCloud mit dem Parsing-Dienst LlamaParse, und das ist ein separates Produkt: Free-Tier mit 10.000 Credits im Monat, Starter ab 50 $, Pro ab 500 $, darüber Enterprise mit Custom-Pricing. Abgerechnet wird über Credits (1.000 Credits ≈ 1,25 $). Ein eigenes Studi-Programm gibt's nicht, nur ein Startup-Programm mit Gratis-Credits. Für dich heißt das: zum Lernen und für die meisten Projekte reicht das gratis Framework, die Cloud brauchst du erst, wenn du komplexe Dateien sauber geparst haben willst.

Passt zu dir, wenn du mit Programmiererfahrung eine RAG-App baust und ein Framework willst, das den Daten-Teil ernst nimmt.