Du willst, dass deine KI-Assistenz nicht nur allgemeines Wissen liefert, sondern Antworten auf Basis eurer eigenen Dokumente, Handbücher, Angebote, Prozessbeschreibungen. Dafür gibt es einen Begriff: RAG. Und dafür gibt es mittlerweile gefühlt hundert Produkte.
Welches davon passt zu einem Betrieb mit 30 Mitarbeitenden, einer DSGVO-Anforderung und einem IT-Budget, das keine Nullen mit sechs Stellen kennt?
Dieser Artikel sortiert das Feld – ohne Buzzword-Bingo.
Was RAG eigentlich bedeutet
RAG steht für Retrieval-Augmented Generation. Der Begriff klingt sperriger als die Idee dahinter.
Das Prinzip: Bevor das Sprachmodell eine Antwort schreibt, sucht das System in einem Dokumentenpool nach relevanten Textpassagen – und gibt diese als Kontext mit. Das Modell antwortet dann nicht aus dem Gedächtnis seiner Trainingsphase, sondern auf Basis der gefundenen Stellen.
Definition: RAG (Retrieval-Augmented Generation)
Ein RAG-System kombiniert eine Suche in eigenen Dokumenten mit einem Sprachmodell. Das Modell antwortet auf Grundlage der gefundenen Textpassagen, nicht aus allgemeinem Trainingswissen.
Für KMU bedeutet das in der Praxis: Du lädst Produktdatenblätter, interne Richtlinien oder Verträge hoch, und die KI kann daraus zielgenau antworten – statt zu halluzinieren oder auf Wikipedia-Niveau zu bleiben.
Der Haken: RAG-Systeme brauchen entweder Cloud-Infrastruktur oder lokale Serverkapazität. Und je nach Anbieter laufen deine Dokumente durch US-amerikanische Rechenzentren. Wer das nicht will, hat andere Optionen – die allerdings mehr technisches Vorwissen voraussetzen.
Fünf Ansätze im direkten Vergleich
Die folgende Tabelle vergleicht fünf verbreitete Lösungen nach den Kriterien, die in der Praxis den Unterschied machen.
| Lösung | Modell | Hosting | Kosten (ca.) | Datenschutz | Einstiegshürde |
|—|—|—|—|—|—|
| Microsoft Copilot | GPT-4 (OpenAI) | Microsoft Cloud (EU möglich) | ab 25 €/User/Monat | EU-Verarbeitung konfigurierbar, aber US-Konzern | Niedrig – Microsoft 365 vorausgesetzt |
| Claude for Work | Claude (Anthropic) | Anthropic Cloud (US) | ab 25 $/User/Monat | US-Verarbeitung, keine EU-Option | Niedrig – Browser-basiert |
| Langdock | Wählbar (OpenAI, Anthropic u. a.) | EU-Server (Deutschland) | ab 15 €/User/Monat | DSGVO-konform, deutscher Anbieter | Niedrig bis mittel |
| AnythingLLM | Wählbar (lokal oder API) | Lokal oder selbst gehostet | Kostenlos (Self-hosting) | Vollständig lokal möglich | Mittel – Installation nötig |
| Open WebUI | Wählbar (lokal via Ollama) | Lokal oder selbst gehostet | Kostenlos (Self-hosting) | Vollständig lokal möglich | Hoch – technisches Setup erforderlich |
Ein paar Anmerkungen zu dieser Tabelle:
Microsoft Copilot ist für Betriebe, die bereits in der Microsoft-365-Welt leben, der naheliegendste Einstieg. Das System ist tief in Word, Teams und SharePoint integriert. Die Datenschutzfrage lässt sich durch europäische Rechenzentren abmildern – vollständig lösen lässt sie sich nicht, solange der Anbieter ein US-Konzern ist, der dem Cloud Act unterliegt.
Claude for Work von Anthropic liefert starke Analyseergebnisse und ist im Umgang mit längeren Dokumenten derzeit einer der besten verfügbaren Dienste. Die Dokumente werden in den USA verarbeitet. Wer damit ein Problem hat, scheidet hier aus – ohne Diskussion.
Langdock ist ein deutscher Anbieter mit EU-Hosting und DSGVO-Konformität als Kern-Versprechen. Das macht ihn für viele KMU zum derzeit pragmatischsten Cloud-Kompromiss: vertretbares Datenschutzniveau, kein technisches Self-hosting, bezahlbarer Einstiegspreis.
AnythingLLM läuft lokal auf eigenem Hardware und verarbeitet keine Daten nach außen. Die Benutzeroberfläche ist für ein Open-Source-Werkzeug überraschend zugänglich. Voraussetzung ist ein Rechner oder Server, auf dem das System betrieben werden kann – und jemand, der die Einrichtung übernimmt.
Open WebUI in Kombination mit Ollama ist der technisch anspruchsvollste Weg. Wer ihn geht, hat maximale Kontrolle – über Modellwahl, Daten, Infrastruktur. Wer ihn geht, muss aber auch wissen, was er tut. Für Unternehmen ohne eigene IT-Kompetenz ist das kein realistischer Einstieg ohne externen Beistand.
Wo die meisten KMU scheitern – und warum das kein Vorwurf ist
Der häufigste Fehler in KMU-RAG-Projekten ist nicht die falsche Produktwahl. Er passiert früher.
Wer Dokumente in ein RAG-System lädt, erwartet, dass die KI daraus sinnvolle Antworten zieht. Das funktioniert gut, wenn die Dokumente klar strukturiert, aktuell und thematisch konsistent sind. Es funktioniert schlecht, wenn der Dokumentenpool aus fünf Jahre alten Word-Dateien, drei verschiedenen Angebotsvorlagen und einem eingescannten Fax besteht.
Garbage in, garbage out gilt für RAG genauso wie für jede andere Datenverarbeitung. Struktur vor KI ist kein Slogan – es ist die technische Voraussetzung dafür, dass RAG liefert, was es verspricht.
Wer seine Dokumentenlage kennt und gepflegt hat, wird von allen fünf Lösungen oben gute Ergebnisse sehen. Wer das nicht hat, sollte mit der Dokumentenpflege beginnen, bevor er sich für ein Produkt entscheidet.
Fazit: Budget und Datenschutz als Entscheidungsrahmen
Es gibt keine universell richtige Antwort. Aber es gibt einen klaren Entscheidungsrahmen.
Wer Microsoft 365 bereits einsetzt und keine strengen Datenschutz-Anforderungen über das DSGVO-Basisniveau hinaus hat, fährt mit Copilot am einfachsten. Wer einen deutschen Cloud-Anbieter mit mehr Modellflexibilität sucht, schaut sich Langdock an. Wer maximale Datensouveränität braucht – und die technischen Mittel hat –, baut lokal mit AnythingLLM oder Open WebUI.
Claude for Work ist für dokumentenintensive Aufgaben ein starkes Werkzeug, solange der US-Verarbeitungsweg kein Ausschlusskriterium ist.
Welcher Ansatz passt zu eurem Budget und eurer Datenschutz-Anforderung?
Wer das nicht allein abwägen möchte, kann das gerne in einem kurzen Gespräch tun – ohne Kaufverpflichtung und ohne Produktempfehlung auf Vorrat. Den Kontakt dafür gibt es über sesoft.de/kontakt.
