Lokales RAG mit Access, LM Studio und AnythingLLM

Wie Du Deine eigenen Dateien mit KI auswertest – ganz ohne Cloud

In Zeiten zunehmender Automatisierung wird künstliche Intelligenz (KI) immer relevanter – auch für mittelständische Unternehmen. Doch was tun, wenn Datenschutz, sensible Daten oder fehlende Internetanbindung den Einsatz von Cloud-Diensten wie ChatGPT verbieten?

Die Antwort: Lokales RAG mit Microsoft Access, LM Studio und AnythingLLM.
In diesem Beitrag zeige ich Dir, wie Du KI-basierte Auswertungen vollständig offline und datenschutzfreundlich umsetzt – mit Deinen eigenen PDF- und Excel-Dateien.

🔍 Was ist RAG?

RAG steht für Retrieval-Augmented Generation:

KI greift bei der Beantwortung nicht nur auf ihr Modellwissen zurück, sondern auch auf externe, aktuelle oder firmenspezifische Informationen.

Das ist besonders nützlich, wenn Du:

  • internen Projektstatus auswerten willst,
  • viele Excel- oder PDF-Dokumente durchsuchst,
  • KI-basierte Assistenzsysteme lokal aufbauen möchtest.

🧩 Die Komponenten im Überblick

KomponenteAufgabe
Access (VBA)Benutzeroberfläche, Frageformulierung, Kommunikation
LM StudioFührt das lokale Sprachmodell (z. B. Mistral 7B) aus
AnythingLLM DesktopIndiziert Dateien, sucht Inhalte, stellt Kontext her

Das Besondere: Alles läuft offline auf einem Windows-PC oder Server.

🛠️ Vorbereitung

1. LM Studio installieren

  • Download: https://lmstudio.ai
  • Modell laden: z. B. mistral-7b-instruct.Q4_K_M.gguf
  • Lokalen Server aktivieren:
    Menü Server → Enable local server (OpenAI-compatible)
  • Port merken (z. B. http://localhost:1234/v1/chat/completions)

2. AnythingLLM Desktop installieren

  • Download: https://anythingllm.com
  • Im Setup:
    • LLM-Typ: OpenAI-compatible
    • API-URL: http://localhost:1234/v1
    • Modellname: z. B. mistral
  • Einen Workspace erstellen, z. B. Lieferdaten
  • Dokumente hochladen (PDF, Excel, Word etc.)

🔄 Zugriff mit Access (VBA)

Ziel: Frage in Access stellen → Antwort der KI anzeigen

📦 Beispiel: VBA-Funktion zum Senden einer Frage an AnythingLLM

Function FrageAnAnythingLLM(frage As String) As String
    Dim http As Object
    Set http = CreateObject("MSXML2.XMLHTTP")
    
    Dim url As String
    url = "http://localhost:3001/api/v1/query" ' Port prüfen

    ' JSON zusammenbauen
    Dim body As String
    body = "{""question"":""" & Replace(frage, """", "\""") & """, ""workspace"":""Lieferdaten""}"

    On Error GoTo Fehler
    With http
        .Open "POST", url, False
        .setRequestHeader "Content-Type", "application/json"
        .Send body
        FrageAnAnythingLLM = .responseText
    End With
    Exit Function

Fehler:
    FrageAnAnythingLLM = "Fehler: " & Err.Description
End Function

📤 JSON-Antwort verarbeiten

Die Antwort ist ein JSON-Objekt, z. B.:

{
  "answer": "Im Mai 2024 wurden 126 Lieferungen verbucht.",
  "documents": ["berichte_mai2024.pdf"]
}

Dazu verwenden wir die VBA-JSON-Bibliothek:

Function AntwortExtrahieren(jsonText As String) As String
    Dim json As Object
    Set json = JsonConverter.ParseJson(jsonText)
    AntwortExtrahieren = json("answer")
End Function

🧪 Beispielanwendung in einem Formular

Private Sub btnFrage_Click()
    Dim frage As String
    frage = Me.txtFrage

    Dim rohAntwort As String
    rohAntwort = FrageAnAnythingLLM(frage)

    Me.txtAntwort = AntwortExtrahieren(rohAntwort)
End Sub

📊 Ergebnis

Mit wenigen Zeilen Code kannst Du:

✅ Beliebige Benutzerfragen stellen
✅ Eigene Dateien als Kontext einbinden
✅ Alles lokal, DSGVO-konform, performant

🧠 Was ist möglich?

  • Frag Dein Archiv: „Welche Rechnungen fehlen im April?“
  • Analysiere Projektberichte: „Was war das größte Risiko im Q1?“
  • Suche direkt in PDFs oder Word-Dateien
  • Baue einen Assistenten für Deine Access-Datenbank

🛡️ Datenschutz-Hinweis

Alles läuft lokal – kein Internet notwendig.
Trotzdem empfehle ich:

  • LM Studio im „Offline Mode“ starten
  • Zugang zur AnythingLLM-API beschränken (z. B. über Windows-Firewall)
  • Externe Backups sichern

📥 Fazit

Mit LM Studio, AnythingLLM und Access lässt sich ein leistungsfähiges, lokales KI-System bauen – perfekt für datensensible Unternehmen.
Du nutzt Deine bestehenden Dokumente, brauchst keine Cloud und kannst den gesamten Workflow in Deine gewohnte Access-Oberfläche integrieren.

Wenn Du Unterstützung beim Aufbau oder ein Beispielprojekt möchtest, schreib mir gerne direkt.

📈 Datenschäfer: AI & Automatisierung für KMU im Norden 🐑
📬 Lass uns reden, wenn Du KI lokal nutzen möchtest – ohne Datenschutzprobleme.

PS: 🖥️ Welche Hardware brauche ich für lokale KI?

Nicht jedes Modell braucht gleich viel Rechenpower – für viele praktische Einsätze reicht schon ein guter Büro-PC. Die folgende Tabelle gibt Dir eine Orientierung, welche Hardware Du brauchst, je nachdem welches Sprachmodell Du lokal mit LM Studio nutzen willst:

ModelltypBeispiel-ModellRAMCPUGPU (optional)Bemerkung
Klein & leichtphi-2, tinyllama≥ 8 GBi5/ Ryzen 5❌ nicht nötigFür einfache Fragen, sehr schnell, sehr sparsam
Mittelklasse (empfohlen)mistral-7b-instruct.Q4_K_M≥ 16 GBi7 / Ryzen 7❌ CPU reichtSehr gute Qualität, läuft auch ohne GPU
Groß & leistungsstarkllama3-8b.Q4_K_M, mixtral≥ 24-32 GBstarker i7 / Ryzen 9✅ empfohlen (6 GB+ VRAM)Für komplexe Ausgaben, mehr Kontext
Profi-Modellellama3-70b, deepseek-coder-33b≥ 64 GBWorkstation-CPU✅ 16+ GB VRAM nötigNur mit High-End-PCs, z. T. unpraktisch offline

Tipp: Für Access-RAG-Szenarien ist ein Mittelklasse-Modell wie mistral oder llama3-8b ideal – gute Qualität, läuft auch auf Notebooks mit 16-32 GB RAM ohne dedizierte GPU.

Kategorien:

Access 2024Künstliche Intelligenz KI AI

Schlagwörter:

FokusKeyword:LokalesRAG