Start / Wissen

On-Premise LLM: Lokale KI-Modelle, Hardware, Kosten

Stand: 21. Juli 2026 · Team ki-agenten-lokal.de (Über uns)

Lokale KI-Modelle sind Open-Weight-Sprachmodelle wie Qwen, Llama, Gemma, Mistral, DeepSeek oder gpt-oss, die auf eigener Hardware laufen. Für Büroaufgaben auf Deutsch ist die 30B-Klasse der Sweet Spot: In 4-Bit-Quantisierung braucht sie 24 bis 32 GB VRAM. 8B-Modelle laufen schon auf 8 GB, 70B-Modelle brauchen 48 GB oder zwei GPUs.

Ein On-Premise LLM ist ein solches Modell im Unternehmenseinsatz: im eigenen Serverraum oder in gemieteter EU-Colocation, aber immer unter eigener Kontrolle. Möglich machen das Modelle, deren Gewichte (die trainierten Parameter) frei veröffentlicht sind und lizenzkonform selbst betrieben werden dürfen. Dieser Leitfaden beantwortet die drei Praxisfragen: Welches Modell? Welche Hardware? Was kostet es?

Die Modellfamilien

Die Lizenzlage ist bei allen Familien für internen Unternehmenseinsatz handhabbar, unterscheidet sich aber im Detail (z. B. Namensnennung, Nutzungsrichtlinien, Schwellen für sehr große Nutzerzahlen). Vor dem Rollout einmal die Model Card prüfen, etwa in der Ollama-Modellbibliothek oder auf Hugging Face.

Lokale KI-Modelle im Vergleich: welche Größe für welche Aufgabe?

Die Größe entscheidet mehr über das Ergebnis als die Familie. Die folgende Tabelle ordnet die Klassen nach Aufgabe und Speicherbedarf; die VRAM-Werte folgen der Faustregel weiter unten und gelten für 4-Bit-Quantisierung.

• 8B-Klasse: Klassifikation, Extraktion, E-Mail-Routing, einfache Zusammenfassungen. Läuft auf einer einzelnen Consumer-GPU.
• 30B-Klasse (der Sweet Spot): Dokumentenanalyse, internes Wissens-Q&A mit Retrieval, Angebotsentwürfe, mehrstufige Agenten-Läufe. Das beste Verhältnis aus Qualität und Hardwarekosten für die meisten Mittelständler.
• 70B+ und MoE-Modelle: Komplexes Reasoning, lange Verträge, anspruchsvolle Generierung. Braucht Server-Hardware mit mehreren GPUs oder viel VRAM.

Faustregel für den Speicherbedarf: In 4-Bit-Quantisierung (dem üblichen Kompromiss aus Qualität und Größe) braucht ein Modell grob 0,6 bis 0,7 GB VRAM pro Milliarde Parameter plus Reserve für den Kontext. Ein 32B-Modell läuft damit komfortabel auf einer GPU mit 24 bis 32 GB VRAM; für 70B sollten es 48 GB oder zwei GPUs sein. Als Inferenz-Server haben sich vLLM (Durchsatz, parallele Nutzer) und Ollama (einfacher Einstieg) etabliert.

Die beste lokale KI finden: so testen wir Modelle

Öffentliche Bestenlisten messen Englisch, Mathematik und Code. Ob ein Modell eure Lieferantenverträge sauber zusammenfasst, zeigen sie nicht. Unser Vorgehen in vier Schritten:

1. Testset bauen: 20 bis 30 echte Aufgaben aus dem Alltag sammeln, mit der Antwort, die ein Mitarbeiter als korrekt abnehmen würde.
2. Zwei bis drei Kandidaten derselben Größenklasse laden: ollama pull qwen3:32b, ollama pull gemma4:31b, ollama pull gpt-oss:20b.
3. Mit gleichem Kontext prüfen: Kontextfenster für alle Kandidaten gleich setzen, etwa OLLAMA_CONTEXT_LENGTH=16384 ollama serve. Sonst vergleicht man Speicherlimits statt Modelle.
4. Blind bewerten lassen: Fachabteilung bewertet die Antworten ohne zu wissen, welches Modell sie erzeugt hat. Erst danach Geschwindigkeit und Speicher abwägen.

Typische Fehler bei der Modellwahl

Wie man Ollama und eine Chat-Oberfläche dafür in wenigen Minuten aufsetzt, zeigt unsere Anleitung Lokale KI installieren.

Die drei Hardware-Stufen

Wer Modelle erst erproben will, bevor Hardware bestellt wird, kann kleine quantisierte Modelle bis etwa 4B auch auf einem CPU-Server testen, mit Testdaten statt echter Kundendokumente. Ein gemieteter KVM-VPS ersetzt keine GPU für 30B-Modelle, taugt aber als Spielwiese für Pipelines, Chat-Oberfläche und Agenten-Logik: KVM-VPS für Modell-Tests bei Hostinger prüfen. Wann eigene Hardware, wann Miete und wann ein Mix sinnvoll ist, rechnen wir unter KI selbst hosten durch.

Die Kostenrechnung gegen Cloud-APIs

Agenten-Workloads sind token-intensiv: Ein einzelner Automatisierungslauf (Dokument lesen, Werkzeuge aufrufen, Ergebnis strukturieren) verbraucht nach unserer Erfahrung im Schnitt rund 45.000 Tokens. Bei 25 Mitarbeitenden mit je acht Läufen pro Arbeitstag kommen so über 190 Mio. Tokens pro Monat zusammen. Bei Premium-Cloud-Preisen (rund 10 € je 1 Mio. Tokens, gemischt Ein-/Ausgabe) sind das etwa 1.900 € monatlich, Tendenz mit jedem weiteren Use Case steigend. Eine Server-Stufe für 16.000 € amortisiert sich in diesem Szenario in rund zehn Monaten; über drei Jahre liegt die Ersparnis bei über 40.000 €. Nach der Abschreibung produziert die Hardware Tokens zum Strompreis und wird bilanziell zum Betriebsvermögen statt zur Dauermiete. Das konkrete Szenario für euer Team rechnet der Token-Rechner durch; alle Annahmen sind dort offengelegt.

Was On-Premise nicht löst

Ehrlichkeit gehört dazu: Für offene Kreativaufgaben und die absolute Spitzenqualität bleiben Frontier-Cloud-Modelle vorn. Eigene Hardware verlangt außerdem Betriebsverantwortung (Updates, Monitoring, Kapazitätsplanung), die entweder das eigene IT-Team oder ein Dienstleister übernehmen muss. Der Vergleich beider Welten mit allen Trade-offs: Lokale KI vs. Cloud-KI.

Häufige Fragen zu lokalen KI-Modellen

Welches lokale KI-Modell ist das beste?

Ein bestes Modell für alle Fälle gibt es nicht. Für deutschsprachige Büroarbeit mit Dokumenten und Werkzeugaufrufen ist ein Modell der 30B-Klasse aus den Familien Qwen, Gemma oder Mistral der sinnvollste Startpunkt. Entscheidend ist ein Test mit 20 bis 30 echten Aufgaben aus dem eigenen Betrieb, nicht ein Platz in einer Bestenliste.

Wie viel VRAM brauche ich für ein lokales KI-Modell?

In 4-Bit-Quantisierung rund 0,6 bis 0,7 GB pro Milliarde Parameter plus Reserve für das Kontextfenster. Ein 8B-Modell passt damit auf eine GPU mit 8 GB, ein 32B-Modell braucht 24 bis 32 GB, ein 70B-Modell 48 GB oder zwei Karten. Passt das Modell nicht in den Grafikspeicher, lagert die Software Schichten in den Arbeitsspeicher aus und die Antworten werden deutlich langsamer.

Laufen lokale KI-Modelle auch ohne Grafikkarte?

Ja, Ollama und llama.cpp rechnen auch auf der CPU. Für kleine Modelle bis etwa 4B Parameter reicht das zum Ausprobieren und für einfache Klassifikationsaufgaben. Für flüssiges Arbeiten mit 30B-Modellen und mehreren Nutzern ist eine GPU mit ausreichend VRAM oder ein Rechner mit schnellem Unified Memory nötig.

Dürfen Unternehmen Open-Weight-Modelle kommerziell nutzen?

Für den internen Einsatz in der Regel ja, die Bedingungen unterscheiden sich aber. gpt-oss, Gemma 4 und viele Qwen-Modelle stehen unter Apache 2.0, Llama und ältere Gemma-Versionen haben eigene Lizenzen mit Nutzungsrichtlinien und teils Namensnennungspflichten. Die Model Card auf Hugging Face oder in der Ollama-Bibliothek nennt die gültige Lizenz und gehört vor dem Rollout geprüft.

Warum vergisst mein lokales Modell lange Dokumente?

Meist liegt es am Kontextfenster, nicht am Modell. Ollama arbeitet laut eigener Dokumentation standardmäßig mit 4.096 Tokens Kontext. Für lange Verträge oder Protokolle muss der Wert über OLLAMA_CONTEXT_LENGTH oder den Parameter num_ctx erhöht werden, was zusätzlichen Speicher kostet.

Was ist der Unterschied zwischen Dense- und MoE-Modellen?

Bei einem Dense-Modell rechnen für jedes Token alle Parameter mit. Mixture-of-Experts-Modelle wie DeepSeek oder die großen Qwen- und gpt-oss-Varianten aktivieren pro Token nur einen Teil der Experten. Sie antworten dadurch schneller, als ihre Gesamtgröße vermuten lässt, müssen aber trotzdem vollständig in den Speicher passen.