Start / Wissen

KI selbst hosten: Der eigene KI-Server im Vergleich

Stand: 12. November 2026 · Team ki-agenten-lokal.de (Über uns)

KI selbst hosten heißt: Sprachmodell, Oberfläche und Agenten laufen auf Servern unter eigener Kontrolle statt bei einem Cloud-Anbieter. Für 30B-Modelle braucht der eigene KI-Server eine GPU mit 24 bis 32 GB VRAM, eine Workstation dafür beginnt bei rund 5.000 €. Oberfläche, Agenten und kleine Modelle laufen schon auf einem günstigen KVM-VPS.

Die meisten Teams scheitern nicht an der Installation, sondern an der falschen Aufteilung: Sie mieten GPU-Leistung für Aufgaben, die keine brauchen, oder stellen die Orchestrierung auf einen Laptop, der nachts in den Standby geht. Deshalb trennen wir zwei Schichten. Die Modellschicht rechnet die Tokens und braucht Grafikspeicher. Die Betriebsschicht mit Oberfläche, Agenten, Webhooks, Vektordatenbank und Reverse Proxy braucht vor allem eines: einen Rechner, der durchläuft.

Die Betriebsmodelle im Vergleich

Unsere Empfehlung für den Mittelstand: Modellschicht auf eigene Hardware, sobald echte Unternehmensdaten im Spiel sind. Die Betriebsschicht kann für nicht sensible Automatisierungen (öffentliche Webinhalte, Monitoring, Benachrichtigungen) auf einem gemieteten Linux-Server laufen, der rund um die Uhr erreichbar ist: VPS-Tarife für 24/7-Agenten bei Hostinger vergleichen.

Break-Even: Kaufen, mieten oder Cloud-API?

Ob sich ein eigener KI-Server rechnet, entscheidet eine einfache Formel:

Amortisation in Monaten = Kaufpreis / (monatliche Alternativkosten - monatliche Betriebskosten)

Die Alternativkosten sind entweder die Cloud-API-Rechnung oder die Miete eines vergleichbaren GPU-Servers. Unser offengelegtes Beispiel aus dem Leitfaden On-Premise LLM: 25 Mitarbeitende, acht Agenten-Läufe pro Tag, rund 190 Mio. Tokens im Monat, bei Premium-Cloud-Preisen etwa 1.900 € monatlich. Ein Server für 16.000 € mit rund 240 € Betriebskosten ergibt:

16.000 € / (1.900 € - 240 €) = rund 9,6 Monate

Gegen GPU-Miete funktioniert dieselbe Rechnung: Mietpreis aus dem aktuellen Angebot des Anbieters einsetzen, Betriebskosten abziehen. Liegt das Ergebnis unter der geplanten Nutzungsdauer von 36 Monaten, ist Kaufen günstiger. Wer stark schwankende Last hat oder erst testen will, mietet zuerst. Die eigenen Zahlen rechnet der Token-Rechner durch.

Die Bausteine eines selbst gehosteten KI-Stacks

Nur die erste Zeile braucht teure Hardware. Alles andere ist klassischer Linux-Betrieb und kann getrennt davon laufen, solange die Verbindung zur Modellschicht abgesichert ist.

Setup: eigener KI-Server mit Docker Compose

Ein minimaler Stack aus Ollama, Open WebUI und Caddy für HTTPS. Voraussetzung: Linux-Server mit Docker, für GPU-Betrieb zusätzlich das NVIDIA Container Toolkit, und ein DNS-Eintrag, der auf den Server zeigt.

# docker-compose.yml
services:
  ollama:
    image: ollama/ollama
    volumes:
      - ollama:/root/.ollama
    restart: always
    # GPU-Server: Block einkommentieren
    # deploy:
    #   resources:
    #     reservations:
    #       devices:
    #         - driver: nvidia
    #           count: all
    #           capabilities: [gpu]

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    restart: always

  caddy:
    image: caddy
    ports:
      - "80:80"
      - "443:443"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile
      - caddy_data:/data
    restart: always

volumes:
  ollama:
  open-webui:
  caddy_data:

# Caddyfile (Domain anpassen, Caddy holt das TLS-Zertifikat selbst)
ki.example.de {
  reverse_proxy open-webui:8080
}

docker compose up -d
docker compose exec ollama ollama pull qwen3:8b

Ollama veröffentlicht in diesem Aufbau keinen Port nach außen; nur Caddy ist auf 80 und 443 erreichbar. Das erste Konto in Open WebUI wird Administrator; laut Doku bleiben neue Registrierungen danach abgeschaltet und werden nur bei Bedarf freigeschaltet, neue Konten erst nach Freigabe aktiv. Auf einem CPU-VPS bleibt es bei kleinen Modellen; auf dem GPU-Server im Haus läuft derselbe Stack mit 30B-Modellen. Die Befehle für den Einstieg am eigenen Rechner stehen in der Anleitung Lokale KI installieren.

Sicherheits-Checkliste vor dem Livegang

1. Port 11434 dicht: Die Ollama-API hat keine eigene Anmeldung und gehört nie offen ins Internet.
2. HTTPS und Anmeldung: Zugriff nur über den Reverse Proxy; Registrierung in Open WebUI nur bei Bedarf öffnen und neue Konten einzeln freigeben.
3. Firewall: Nur 22 (besser auf VPN beschränkt), 80 und 443 öffnen.
4. Backups: Volumes von Open WebUI und Vektordatenbank sichern; Modelle lassen sich neu laden, Chatverläufe und Wissensbasis nicht.
5. Updates: Container-Images regelmäßig aktualisieren, vorher Changelog lesen.
6. Datenklassen festlegen: schriftlich regeln, welche Daten auf den gemieteten Server dürfen und welche nur auf eigene Hardware.

Datenschutz: eigener Server oder gemietet?

Auf eigener Hardware entfallen Drittlandtransfer und externer Auftragsverarbeiter für den Modellbetrieb. Bei jedem gemieteten Server, auch bei einem EU-Hoster, ist der Anbieter Auftragsverarbeiter nach Art. 28 DSGVO; ein entsprechender Vertrag gehört dazu. Für Berufsgeheimnisträger wie Kanzleien, Praxen oder Steuerberater bleibt die Modellschicht deshalb im eigenen Haus. Die vollständige Liste der Pflichten steht in der Checkliste DSGVO-konforme KI, die grundsätzliche Abwägung im Vergleich Lokale KI vs. Cloud-KI.

Häufige Fragen zum eigenen KI-Server

Was kostet ein eigener KI-Server?

Eine Workstation für Modelle bis zur 30B-Klasse beginnt nach unserer Projekterfahrung bei rund 5.000 €, ein Server für 32B- bis 70B-Modelle und mehrere Abteilungen bei rund 15.000 €. Dazu kommen Strom und Wartung, bei uns kalkuliert mit etwa 90 € bzw. 240 € im Monat. Für reine Orchestrierung ohne große Modelle reicht ein deutlich günstigerer CPU-Server.

Lohnt es sich, KI selbst zu hosten statt Cloud-APIs zu nutzen?

Es lohnt sich, sobald der Token-Verbrauch hoch und planbar ist oder Daten das Haus nicht verlassen dürfen. In unserer Beispielrechnung mit 25 Mitarbeitenden und acht Agenten-Läufen pro Tag amortisiert sich ein Server für 16.000 € in rund zehn Monaten. Bei wenigen Anfragen im Monat bleibt die Cloud-API günstiger.

Kann ich KI auf einem normalen VPS selbst hosten?

Teilweise. Ein KVM-VPS ohne GPU trägt Open WebUI, Agenten-Frameworks, Vektordatenbank, Reverse Proxy und kleine quantisierte Modelle bis etwa 4B Parameter. Modelle der 30B-Klasse laufen auf der CPU zu langsam für den Alltag; dafür braucht es eine GPU im eigenen Haus oder einen gemieteten GPU-Server.

Welche Software brauche ich für einen eigenen KI-Server?

Einen Inferenz-Server (Ollama für den einfachen Einstieg, vLLM für viele parallele Nutzer), eine Oberfläche wie Open WebUI, bei Dokumenten-Chat eine Vektordatenbank, einen Reverse Proxy mit HTTPS und Anmeldung sowie Monitoring und Backups. Alles davon läuft als Docker-Container auf einem Linux-Server.

Ist selbst gehostete KI automatisch DSGVO-konform?

Nein, aber sie macht es deutlich einfacher. Auf eigener Hardware entfällt der Drittlandtransfer und kein externer Auftragsverarbeiter sieht die Prompts. Bleiben Pflichten wie Verarbeitungsverzeichnis, Zugriffskonzept, Löschfristen und gegebenenfalls eine Datenschutz-Folgenabschätzung. Bei einem gemieteten Server kommt ein Vertrag zur Auftragsverarbeitung mit dem Hoster hinzu.

Wie sichere ich einen selbst gehosteten KI-Server ab?

Die Inferenz-API (bei Ollama Port 11434) nie direkt ins Internet stellen. Zugriff über einen Reverse Proxy mit HTTPS und Anmeldung oder ausschließlich per VPN, Firewall auf das Nötigste beschränken, Benutzerkonten in Open WebUI statt geteilter Zugänge, regelmäßige Updates der Container und Backups der Volumes mit Chatverläufen und Wissensbasis.