Start / Wissen

Lokale KI installieren: Ollama, LM Studio und Open WebUI

Stand: 12. November 2026 · Team ki-agenten-lokal.de (Über uns)

Lokale KI installieren dauert mit Ollama einen Befehl: curl -fsSL https://ollama.com/install.sh | sh unter Linux und macOS, danach lädt ollama run qwen3:8b ein Modell und startet den Chat. Für flüssige Antworten empfehlen wir eine GPU mit 8 GB VRAM oder einen Mac mit 16 GB Speicher. Wer lieber klickt, nimmt LM Studio; für Teams kommt Open WebUI dazu.

Auf dem eigenen Rechner ist das in einer Mittagspause erledigt. Die eigentliche Frage kommt danach: Soll die KI nur für dich laufen, für das ganze Team oder rund um die Uhr für Agenten, die nachts E-Mails sortieren? Davon hängt ab, ob der Laptop reicht oder ein dauerhaft laufender Server nötig ist. Die Entscheidung vorab:

Welcher Weg passt?

Unsere Empfehlung: lokal am eigenen Rechner anfangen und die Modelle testen. Sobald Agenten zuverlässig rund um die Uhr laufen sollen, gehört die Orchestrierung auf einen Rechner, der nicht in den Standby geht. Welche Modellgröße auf welche Hardware passt, steht im Modellvergleich unter On-Premise LLM: lokale KI-Modelle.

Schritt 1: Ollama installieren

Ollama ist der Motor: Es lädt Modelle, verwaltet den Grafikspeicher und stellt eine lokale API bereit. Die Installationsbefehle stammen aus der offiziellen Ollama-Dokumentation auf GitHub:

# Linux und macOS
curl -fsSL https://ollama.com/install.sh | sh

# Windows (PowerShell)
irm https://ollama.com/install.ps1 | iex

# Docker mit NVIDIA-GPU (braucht das NVIDIA Container Toolkit)
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Alternativ gibt es grafische Installer für macOS und Windows unter ollama.com/download.

Schritt 2: Modell laden und testen

# Modell herunterladen und Chat im Terminal starten
ollama run qwen3:8b

# Welche Modelle liegen lokal, welche sind gerade geladen?
ollama list
ollama ps

# API-Test: Ollama lauscht auf Port 11434
curl http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "Fasse in einem Satz zusammen: Was ist RAG?", "stream": false}'

ollama ps zeigt in der Spalte PROCESSOR, ob das Modell vollständig auf der GPU liegt. Steht dort ein CPU-Anteil, ist das Modell zu groß für den Grafikspeicher und eine kleinere Variante die bessere Wahl.

Schritt 3: Open WebUI als Chat-Oberfläche

Open WebUI ist die Oberfläche, die Kollegen ohne Terminal nutzen: Chatverlauf, Benutzerkonten, Dokumente hochladen und befragen. Der Docker-Befehl aus der Projektdokumentation:

docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main

Danach ist die Oberfläche unter http://localhost:3000 erreichbar; das erste angelegte Konto wird Administrator. Läuft Ollama auf einem anderen Rechner, hängt man -e OLLAMA_BASE_URL=http://<ip-des-ollama-servers>:11434 vor den Imagenamen.

Alternative: LM Studio ohne Kommandozeile

LM Studio bündelt Modellsuche, Download und Chat in einer Desktop-App für Windows, macOS und Linux. Die App zeigt vor dem Download an, ob ein Modell in den Speicher passt, und kann einen lokalen, OpenAI-kompatiblen Server starten. Für Einzelplätze ist das der bequemste Weg; für dauerhaften Teambetrieb mit mehreren Nutzern ist Ollama hinter Open WebUI robuster.

Rund um die Uhr: wenn der Laptop nicht mehr reicht

Lokal entwickeln und testen ist ideal. Aber ein Agent, der Webhooks aus dem Shop annimmt, per Cronjob Berichte baut oder als Telegram- oder Teams-Bot antwortet, schläft mit dem Laptop ein. Für diesen Dauerbetrieb braucht es einen Linux-Rechner, der durchläuft. Zwei saubere Varianten:

• Sensible Daten: eine eigene GPU-Workstation oder ein Server im Haus übernimmt Modell und Agenten. Zugriff von außen nur per VPN.
• Nicht sensible Automatisierung: ein KVM-VPS mit Docker trägt Open WebUI, Reverse Proxy, Agenten-Orchestrierung, Vektordatenbank und kleine quantisierte Modelle. Große Modelle laufen dort nicht sinnvoll; ein CPU-Server ist kein GPU-Ersatz.

Für die zweite Variante genügen dieselben Befehle wie oben auf einem Ubuntu-Server: KVM-VPS für 24/7-Agenten bei Hostinger prüfen. Beachten: Ein gemieteter Server ist eine Auftragsverarbeitung nach Art. 28 DSGVO; was das praktisch heißt, steht in der Checkliste DSGVO-konforme KI. Den kompletten Vergleich Eigenbetrieb, Miete und GPU-Server mit Kostenlogik gibt es unter KI selbst hosten.

Typische Fehler beim Installieren und ihre Lösung

Unser Fazit

Eine lokale KI zu installieren ist heute kein Projekt mehr, sondern ein Nachmittag. Der Aufwand steckt im Betrieb: Modellwahl, Speicherplanung, Zugriffskonzept und die Frage, wo Agenten dauerhaft laufen. Wie weit eure Organisation bei diesen Punkten ist, zeigt der Souveränitäts-Check.

Häufige Fragen zum Installieren lokaler KI

Ist es kostenlos, eine lokale KI zu installieren?

Die Software ja: Ollama und Open WebUI sind Open Source, LM Studio ist kostenlos erhältlich (Lizenzbedingungen für den Firmeneinsatz auf lmstudio.ai prüfen), die Modelle selbst sind Open-Weight-Modelle. Kosten entstehen durch Hardware und Strom, und bei Teamnutzung durch den Betrieb eines Rechners, der dauerhaft läuft.

Welcher PC reicht, um eine lokale KI zu installieren?

Für den Einstieg mit Modellen der 8B-Klasse genügt eine Grafikkarte mit 8 GB VRAM oder ein Apple-Silicon-Mac mit 16 GB gemeinsamem Speicher. Für die 30B-Klasse, die bei deutschen Bürotexten deutlich besser abschneidet, sollten es 24 bis 32 GB VRAM sein. Ohne GPU laufen kleine Modelle bis etwa 4B auf der CPU, aber langsam.

Ollama oder LM Studio: was ist besser?

LM Studio ist der bequemere Einstieg mit grafischer Oberfläche, Modellsuche und Chatfenster in einer App. Ollama ist schlanker, läuft als Dienst im Hintergrund und bietet eine API, an die sich Open WebUI, Agenten-Frameworks und eigene Skripte anbinden lassen. Wer später automatisieren oder im Team arbeiten will, fährt mit Ollama besser.

Bleiben meine Daten bei einer lokalen KI wirklich auf dem Rechner?

Prompts und Antworten werden lokal verarbeitet, solange man ein lokales Modell nutzt. Internetzugriff braucht die Software für den Download von Modellen und Updates. Wer ganz sichergehen will, lädt die Modelle einmal herunter und betreibt den Rechner danach ohne Internetzugang; bei Open WebUI verhindert HF_HUB_OFFLINE=1 zusätzliche Downloads.

Wie greifen Kollegen auf meine lokale KI zu?

Ollama lauscht nach der Installation nur auf 127.0.0.1, also auf dem eigenen Rechner. Für Zugriff im Firmennetz wird OLLAMA_HOST auf 0.0.0.0:11434 gesetzt und der Port in der Firewall nur für das interne Netz geöffnet. Bequemer ist Open WebUI als gemeinsame Oberfläche mit Benutzerkonten. Ins offene Internet gehört Port 11434 nie ohne vorgeschalteten Proxy mit Anmeldung.

Kann ich eine lokale KI auf einem gemieteten Server installieren?

Ja, die Befehle sind auf einem Linux-Server identisch. Ein CPU-Server trägt kleine Modelle, Open WebUI und Agenten, die rund um die Uhr laufen müssen. Für 30B-Modelle braucht es GPU-Hardware. Und: Ein gemieteter Server ist rechtlich eine Auftragsverarbeitung, sensible Unternehmensdaten gehören deshalb auf eigene Hardware.