Stell dir vor, du stellst einem neuen Mitarbeiter eine Frage zu einem Kundenauftrag von vor zwei Jahren. Der Mitarbeiter ist klug, redegewandt und hat eine solide Allgemeinbildung – aber er hat keinen Zugriff auf euer Archiv, eure Datenbank oder euer internes Wiki. Was passiert? Er erfindet im besten Fall eine plausibel klingende Antwort. Im schlechtesten Fall auch.
Genau so verhält sich ein KI-Sprachmodell, wenn es ohne eigene Datenbasis arbeitet. Es kennt die Welt bis zu seinem Trainingszeitpunkt – aber nicht deinen Lagerbestand, deine Kundendaten oder die Vereinbarungen aus dem letzten Quartal. Die Antworten klingen gut. Stimmen aber nicht unbedingt.
Die Lösung heisst RAG. Und sie ist einfacher zu verstehen, als das Kürzel vermuten lässt.
Was RAG bedeutet und woher es kommt
RAG steht für Retrieval-Augmented Generation – auf Deutsch ungefähr: „durch Suche ergänzte Textgenerierung“. Der Begriff klingt sperrig, das Prinzip dahinter ist es nicht.
Die Idee: Bevor die KI eine Antwort formuliert, sucht sie zuerst in einem definierten Datenbestand nach relevanten Informationen. Diese Informationen legt sie sich gewissermassen als Spickzettel vor – und erst dann schreibt sie ihre Antwort. Sie erfindet nicht, sondern fasst zusammen, was sie gerade nachgeschlagen hat.
Der entscheidende Unterschied zu einem normalen Sprachmodell: Die KI antwortet nicht aus dem Gedächtnis ihres Trainings, sondern auf Basis aktueller, gezielt bereitgestellter Inhalte. Deine Inhalte.
Das Drei-Schritte-Prinzip dahinter
So läuft ein RAG-System vereinfacht ab:
Schritt 1 – Frage stellen: Du oder ein Nutzer stellt eine Frage an das System. Zum Beispiel: „Welche Zahlungsbedingungen haben wir mit Kunde Müller vereinbart?“
Schritt 2 – Suche: Das System durchsucht die hinterlegten Dokumente, Datenbankeinträge oder Texte nach relevanten Stellen. Es findet den Vertrag, die E-Mail-Korrespondenz oder den CRM-Eintrag, der zur Frage passt.
Schritt 3 – Antwort: Das Sprachmodell bekommt die gefundenen Informationen als Kontext mitgeliefert und formuliert daraus eine verständliche, konkrete Antwort.
Das Schöne daran: Die KI muss deine Daten nicht dauerhaft „lernen“. Sie schaut nur nach, was gerade gefragt wird – ähnlich wie ein Mitarbeiter, der kurz in den Ordner greift, bevor er antwortet.
Warum RAG nicht einfach out-of-the-box funktioniert
Hier kommt der Teil, den viele unterschätzen – und der oft zu Enttäuschungen führt, wenn Unternehmen denken, man könnte einfach ein KI-Tool anschalten und loslegen.
Damit RAG funktioniert, braucht es Vorarbeit:
Die Daten müssen aufbereitet sein. Eine SQL-Datenbank ist keine Textsammlung. Eine Excel-Liste ist noch keine strukturierte Wissensbasis. Bevor ein RAG-System sinnvoll suchen kann, müssen die Inhalte in eine Form gebracht werden, die für die KI durchsuchbar und interpretierbar ist.
Die Suche muss passen. RAG-Systeme nutzen meist eine sogenannte semantische Suche – sie sucht nicht nach exakten Schlagwörtern, sondern nach Bedeutung. Das klingt clever, erfordert aber eine sorgfältige technische Einrichtung. Wer nur nach dem Wort „Zahlungsziel“ sucht, bekommt etwas anderes als wer nach „Wann muss Kunde Müller zahlen?“ fragt.
Qualität rein, Qualität raus. Wenn die zugrunde liegenden Daten unvollständig, veraltet oder inkonsistent sind, liefert auch die beste KI schlechte Antworten. Das ist kein KI-Problem – das ist ein Datenproblem. Und das kennen viele KMU aus eigener Erfahrung, wenn gewachsene Datenbanken über Jahre ohne klare Struktur gepflegt wurden.
RAG ist also kein Schalter, den man umlegt. Es ist ein System, das geplant, aufgebaut und gepflegt werden will. Die gute Nachricht: Mit dem richtigen Aufbau ist es auch für kleinere Unternehmen umsetzbar – und der Nutzen ist erheblich.
Fazit: Kein Hype, aber echter Mehrwert
RAG ist eines der nützlichsten Konzepte, die KI aktuell zu bieten hat – gerade für Unternehmen, die nicht auf allgemeines Weltwissen angewiesen sind, sondern auf ihr eigenes, gewachsenes Datenfundament. Kundenhistorien, Verträge, interne Prozessdokumentationen, Produktdaten – all das kann mit dem richtigen RAG-Ansatz zur Grundlage für eine KI werden, die wirklich weiss, womit sie es zu tun hat.
Und wer jetzt denkt, das klingt nach Zukunftsmusik: Ihr kennt bereits ein Produkt, das genau dieses Prinzip nutzt. Microsoft Copilot arbeitet intern nach dem RAG-Prinzip – er durchsucht eure E-Mails, Teams-Dokumente und SharePoint-Inhalte, bevor er antwortet. Nur eben nicht mit eurer SQL-Datenbank. Zumindest noch nicht ohne weiteres Zutun.
Wer wissen möchte, wie das für die eigene Datenbasis aussehen könnte, ist beim Datenschäfer an der richtigen Adresse.
