Immer mehr Unternehmen möchten Künstliche Intelligenz (AI-kuenstliche-intelligenz/“>KI) nutzen – aber ohne ihre Daten in die Cloud zu schicken. Genau hier setzt Ollama an: Eine einfache, quelloffene Lösung, um moderne KI-Sprachmodelle wie DeepSeek, LLaMA 3, Mistral oder Gemma lokal auf dem eigenen PC zu betreiben – ganz ohne Internetverbindung.
In diesem Beitrag zeige ich Dir, wie Du Ollama installierst, ein Modell wie DeepSeek verwendest und warum das für kleine und mittlere Unternehmen (KMU) ein echter Gamechanger sein kann.
Was ist Ollama?
Ollama ist eine leichtgewichtige Plattform, mit der Du KI-Modelle lokal ausführen kannst – ähnlich wie ChatGPT, aber ohne Server oder Cloud. Es nutzt Containertechnologie für Sprachmodelle und basiert auf der quelloffenen Engine llama.cpp.
Highlights:
- Lokale Ausführung von Sprachmodellen (z. B. LLaMA 3, Mistral, DeepSeek)
- Alle verfügbaren Modelle werden von Ollama detailliert beschrieben.
- Funktioniert unter Windows, macOS und Linux
- Keine Daten verlassen den eigenen Rechner
- CLI-Interface für Entwickler, GUI über Tools wie Open WebUI möglich
Voraussetzungen
Hardware-Empfehlung für Mittelklasse-Nutzung:
- CPU: AMD Ryzen 7 oder Intel i7 ab 10. Gen
- RAM: Mindestens 16 GB (besser 32 GB)
- GPU: Optional – Ollama nutzt primär CPU (GPU-Support für macOS/M1/M2 vorhanden)
- Speicherplatz: Mindestens 10-20 GB frei (Modelle brauchen je nach Größe 4-10 GB)
Schritt-für-Schritt-Anleitung
1. Ollama installieren
Windows/macOS:
Gehe auf https://ollama.com und lade den Installer für Dein Betriebssystem herunter. Installation erfolgt wie gewohnt über Doppelklick.
Linux (z. B. Ubuntu/Debian):
curl -fsSL https://ollama.com/install.sh | sh
Danach kannst Du in CMD prüfen, ob es funktioniert:
ollama run llama3
Das lädt das LLaMA-3-Modell herunter (5 GB, dauert etwas…) und startet eine interaktive Konsole.
2. DeepSeek-Modell starten
DeepSeek ist ein leistungsfähiges Open-Source-Sprachmodell aus China – besonders geeignet für komplexere Aufgaben und Codierung.
ollama run deepseek-coder
Wichtig: Das erste Laden dauert etwas länger, da das Modell (~1-400 GB) heruntergeladen wird.
3. Modelle anzeigen und verwalten
Liste aller installierten Modelle:
ollama list
Ein Modell entfernen:
ollama remove deepseek-coder
Modelle können mit ollama pull <modell> auch manuell geladen werden:
ollama pull deepseek-coder:instruct
4. Integration in eigene Anwendungen
Du kannst Ollama-Modelle auch über eine lokale REST–API nutzen (und somit auch in einer Microsoft Access Datenbank):
curl http://localhost:11434/api/generate \
-d '{
"model": "deepseek-coder",
"prompt": "Schreibe eine SQL-Abfrage, die alle Kunden mit offenen Rechnungen listet"
}'
5. ChatBox AI lokal mit Ollama verbinden
Wenn Du eine grafische Benutzeroberfläche suchst, um lokal mit Deinen KI-Modellen zu sprechen, ist ChatBox AI eine hervorragende Wahl. Es ist kostenlos, Open Source und unterstützt Ollama direkt über die API.
So funktioniert’s:
1. ChatBox AI herunterladen
Gehe auf https://chatboxai.app/de und lade die Version für Windows, macOS oder Linux herunter.
2. Installieren und starten
Einfach installieren und starten. Beim ersten Start wirst Du gefragt, welchen KI-Anbieter Du nutzen möchtest.
3. Lokalen Ollama-Provider einrichten
- Wähle „Ollama“ als Backend.
- Gib als API-URL ein:
http://localhost:11434 - Unter „Modell“ trägst Du z. B. ein:
deepseek-coderoder llama3
Fertig – Du kannst nun lokal über eine Chat-Oberfläche mit DeepSeek oder anderen Ollama-Modellen kommunizieren. Keine Anmeldung, kein Cloud-Account, keine Weitergabe von Daten.
Tipp: Du kannst mehrere „Personas“ oder „Chats“ anlegen – z. B. eine für SQL, eine für Automatisierung oder eine für allgemeinen Office-Support.
Natürlich! Hier ist Abschnitt 6 zur Installation von CodeGPT und der Verbindung zu Ollama in Visual Studio Code, ergänzt in den bestehenden Beitrag:
6. CodeGPT in Visual Studio Code mit Ollama verbinden
Wenn Du direkt in Visual Studio Code (vs Code) mit KI-Unterstützung programmieren willst (z. B. in SQL, VBA oder PowerShell) ist CodeGPT ein großartiges Plugin. Es unterstützt lokale KI-Modelle wie Ollama und integriert sich nahtlos in Deine Entwicklungsumgebung.
So geht’s:
1. CodeGPT-Erweiterung installieren
- Öffne VS Code
- Gehe in den Extensions Marketplace
- Suche nach
CodeGPTvom Anbieter Daniel San (Veröffentlichung: Daniel San) - Klicke auf Installieren
2. Ollama lokal einrichten (falls noch nicht passiert)
Siehe Schritt 1 bis 3 oben. Stelle sicher, dass Ollama läuft und z. B. das Modell deepseek-coder geladen ist:
ollama run deepseek-coder
3. CodeGPT konfigurieren für lokalen Ollama-Zugriff
- Öffne in VS Code die Einstellungen (Strg + ,)
- Suche nach:
CodeGPT: Provider - Wähle: Custom Provider
- Suche in den Einstellungen nach
CodeGPT: Custom Provider Endpoint - Trage als Endpoint ein:
http://localhost:11434/api/generate - Bei „Custom Provider Model“ gib z. B. ein:
deepseek-coder
4. Verwendung
Du kannst nun in jeder Datei mit Strg + Shift + I oder via Rechtsklick auf eine Codezeile den Befehl „Ask CodeGPT“ verwenden, z. B.:
- „Erkläre diesen VBA-Code“
- „Schreibe eine SQL-Abfrage für alle Kunden ohne Bestellung im letzten Monat“
- „Finde den Bug in diesem Skript“
💡 Tipp: Die lokale Nutzung ist blitzschnell, kostenlos und bleibt komplett offline.
Warum lohnt sich das für KMU?
✅ Datenschutz und Compliance
Die Daten bleiben im Haus. Ideal für sensible Informationen – besonders in Branchen wie Gesundheitswesen, Produktion oder Mittelstand generell.
✅ Kostenkontrolle
Keine laufenden Kosten für API-Zugriffe oder Cloud-Abos. Einmal installieren, dauerhaft nutzen – besonders bei häufiger Nutzung spart das enorm.
✅ Flexibilität
Du kannst Modelle selbst wechseln, optimieren oder sogar trainieren – ohne auf externe Anbieter angewiesen zu sein.
✅ Integration in bestehende Workflows
Ob Access VBA, SQL Server oder Power Automate – über die REST-API kannst Du lokale KI-Funktionen direkt in Deine bestehenden Tools einbauen.
Mit Ollama kannst Du leistungsfähige KI-Modelle wie DeepSeek komplett lokal betreiben – datenschutzkonform, günstig und flexibel. Gerade für KMU mit sensiblen Informationen ist das ein echter Fortschritt. Wer seine Prozesse digitalisieren will, ohne alles in die Cloud zu geben, hat mit Ollama eine hervorragende Lösung zur Hand.
Sönke Schäfer, AI & Automatisierung bei SeSoft GmbH
Neugierig geworden?
Wenn Du wissen möchtest, wie man KI lokal in bestehende Microsoft-Workflows integriert – ob mit Access, Power Automate oder SQL – dann schreib mir gern.
📈 Datenschäfer: AI & Automatisierung für KMU im Norden 🐑
PS: Wusstest Du schon? Du kannst die lokal laufenden Ollama-Modelle auch direkt aus Access, Excel oder Word ansprechen – z. B. per VBA über die REST-API (http://localhost:11434/api/generate). Damit lassen sich Texte analysieren, automatisch zusammenfassen, SQL- oder VBA-Code erzeugen, Übersetzungen liefern oder Eingaben validieren – direkt in Deinen Office-Anwendungen, ganz ohne Cloud!
✅ Beispiel: Ollama lokal via REST-API aus VBA nutzen
Function QueryOllama(prompt As String) As String
Dim http As Object
Dim url As String
Dim requestBody As String
Dim response As String
Set http = CreateObject("MSXML2.XMLHTTP")
url = "http://localhost:11434/api/generate"
requestBody = "{""model"":""deepseek-coder"",""prompt"":""" & Replace(prompt, """", "\""") & """,""stream"":false}"
With http
.Open "POST", url, False
.setRequestHeader "Content-Type", "application/json"
.Send requestBody
response = .responseText
End With
' Extrahiere die Ausgabe aus dem JSON (rudimentär)
Dim startPos As Long, endPos As Long
startPos = InStr(response, """response"":""") + 12
endPos = InStr(startPos, response, """}")
If startPos > 0 And endPos > startPos Then
QueryOllama = Mid(response, startPos, endPos - startPos)
Else
QueryOllama = "Keine Antwort oder Fehler beim Parsen."
End If
End Function
Verwendung:
Sub TestOllama()
Dim antwort As String
antwort = QueryOllama("Erkläre in einfachen Worten, was ein SQL-Join ist.")
MsgBox antwort
End Sub
Hinweise:
- Funktioniert in Access, Excel, Word, überall dort, wo VBA läuft.
- Voraussetzung: Das Modell (z. B.
deepseek-coder) wurde bereits perollama runoderollama pullgestartet oder geladen. - Nur Textverarbeitung (kein Bildinput).
- Für strukturierte JSON-Antworten oder „Function Calling“ kannst Du das JSON auch mit einer passenden Bibliothek (z. B.
JsonConverter.bas) sauber parsen.
Aktuell verarbeiten Ollama-Modelle reinen Text (also keine Bilder oder Websuche). Funktionen wie „Agents“ oder „Function Calling“ sind in manchen Modellen wie LLaMA 3 oder DeepSeek technisch möglich, aber nur, wenn Du sie manuell mit Tools wie OpenDevin oder einem eigenen Agent-Framework kombinierst.
Für die meisten KMU-Anwendungsfälle reicht das aber völlig aus: Texte, Tabelleninhalte und Code lokal automatisieren – sicher, schnell und datenschutzkonform.
Keine Antworten