Stell dir vor, du stellst einem neuen Mitarbeiter am ersten Tag eine Frage zu eurem wichtigsten Kunden. Der Mitarbeiter ist hochgebildet, redet flüssig, wirkt kompetent – und antwortet trotzdem komplett am Thema vorbei. Nicht weil er dumm ist, sondern weil er schlicht keine Ahnung hat, was bei euch im Unternehmen los ist. Er war ja noch nie da.
Genau so verhält sich ChatGPT. Genau so verhält sich Claude. Genau so verhält sich jedes große Sprachmodell, das du heute im Browser öffnen kannst.
Die KI weiß viel – aber nicht das, was zählt
Große Sprachmodelle wurden mit riesigen Mengen an Texten trainiert: Bücher, Webseiten, wissenschaftliche Artikel, Foren, Dokumentationen. Das Ergebnis ist beeindruckend. Du kannst fragen, wie man eine SQL-Abfrage optimiert, was in einem Liefervertrag wichtig ist oder wie man ein schwieriges Gespräch mit einem Kunden formuliert. Die Antworten sind oft erstaunlich gut.
Aber frag die KI, was euer wichtigster Kunde letzten Monat bestellt hat. Frag sie nach euren internen Prozessen. Frag sie, was in der letzten Produktionsanleitung stand, die ihr vor zwei Jahren überarbeitet habt. Dann bekommst du bestenfalls eine vage Antwort – und schlimmstenfalls eine, die klingt als wäre sie richtig, es aber nicht ist.
Das ist kein Fehler. Das ist schlicht die Realität: Das Modell hat diese Informationen nie gesehen. Sie existieren nicht in seinen Trainingsdaten. Dein Unternehmen kommt darin nicht vor.
Was RAG bedeutet – in drei Sätzen
RAG steht für Retrieval-Augmented Generation, klingt komplizierter als es ist und lässt sich so erklären: Bevor die KI antwortet, sucht das System zuerst in deinen eigenen Dokumenten nach relevanten Informationen. Diese Fundstellen werden der KI zusammen mit deiner Frage übergeben. Die KI antwortet dann nicht aus dem Gedächtnis, sondern auf Basis dessen, was sie gerade zu lesen bekommt.
Kurz gesagt: Du gibst der KI einen Aktenstapel – und sie liest ihn, bevor sie spricht.
Was das für KMU bedeutet
Das Schöne an RAG ist, dass du kein eigenes Sprachmodell trainieren musst. Du musst keine riesigen Summen in Server investieren. Du brauchst deine vorhandenen Dokumente: Handbücher, Angebote, Protokolle, interne Anleitungen, Kundendaten – was auch immer in deinem Unternehmen als Wissen existiert.
Ein gut aufgesetztes RAG-System macht daraus eine durchsuchbare Wissensbasis, auf die eine KI zugreifen kann. Plötzlich kannst du fragen: „Was haben wir Kunde Meier im letzten Angebot angeboten?“ oder „Wie lautet unsere interne Regelung zur Reklamationsbearbeitung?“ – und bekommst eine Antwort, die tatsächlich aus eurer Wirklichkeit stammt.
Für viele KMU ist das der eigentliche Durchbruch. Nicht die KI an sich, sondern die KI, die das eigene Unternehmen kennt.
Fazit: Erst verstehen, dann einsetzen
RAG ist kein Allheilmittel und kein Selbstläufer. Die Qualität der Antworten hängt direkt von der Qualität eurer Dokumente ab. Wer seine Prozesse nicht aufgeschrieben hat, kann sie auch nicht abrufbar machen. Das ist eine gute Nachricht: Es gibt einen konkreten ersten Schritt, und der hat gar nichts mit Technologie zu tun – sondern mit Ordnung.
Wer seine Wissensbasis sauber aufbaut, hat das Fundament für eine KI, die wirklich nützlich ist. Nicht als Allwissender, sondern als gut eingearbeiteter Mitarbeiter, der weiß, wo er nachschauen muss.
Und jetzt eine ehrliche Frage an euch: Welche Frage würdet ihr eurer Firmendokumentation stellen, wenn sie antworten könnte?
