On-Premise LLM: Modelle, Hardware, Kosten
Ein On-Premise LLM ist ein großes Sprachmodell, das auf unternehmenseigener Hardware läuft — im eigenen Serverraum oder in gemieteter EU-Colocation, aber immer unter eigener Kontrolle. Möglich machen das Open-Weight-Modelle: Modelle, deren Gewichte (die trainierten Parameter) frei veröffentlicht sind und lizenzkonform selbst betrieben werden dürfen. Dieser Leitfaden beantwortet die drei Praxisfragen: Welches Modell? Welche Hardware? Was kostet es?
Die Modellfamilien
| Familie | Herkunft | Typische Größen | Stärken im Unternehmenseinsatz |
|---|---|---|---|
| Qwen | Alibaba | 0,6B–235B | Sehr starke mehrsprachige Leistung (auch Deutsch), gute Tool-/Agenten-Fähigkeiten, breite Größenauswahl |
| Llama | Meta | 8B–405B | Größtes Ökosystem, viele Fine-Tunes und Werkzeuge, gut dokumentiert |
| Mistral | Mistral AI (EU) | 7B–124B | Europäischer Anbieter, effiziente Modelle, starke Code- und Funktionsaufruf-Leistung |
| DeepSeek | DeepSeek | 7B–671B (MoE) | Starkes Reasoning bei niedrigen Betriebskosten durch Mixture-of-Experts-Architektur |
Die Lizenzlage ist bei allen vier Familien für internen Unternehmenseinsatz unproblematisch, unterscheidet sich aber im Detail (z. B. Namensnennung, Schwellen für sehr große Nutzerzahlen) — vor dem Rollout einmal prüfen.
Welche Modellgröße für welche Aufgabe?
- 8B-Klasse: Klassifikation, Extraktion, E-Mail-Routing, einfache Zusammenfassungen. Läuft auf einer einzelnen Consumer-GPU.
- 30B-Klasse (der Sweet Spot): Dokumentenanalyse, internes Wissens-Q&A mit Retrieval, Angebotsentwürfe, mehrstufige Agenten-Läufe. Das beste Verhältnis aus Qualität und Hardwarekosten für die meisten Mittelständler.
- 70B+ und MoE-Modelle: Komplexes Reasoning, lange Verträge, anspruchsvolle Generierung. Braucht Server-Hardware mit mehreren GPUs oder viel VRAM.
Faustregel für den Speicherbedarf: In 4-Bit-Quantisierung (dem üblichen Kompromiss aus Qualität und Größe) braucht ein Modell grob 0,6–0,7 GB VRAM pro Milliarde Parameter plus Reserve für den Kontext. Ein 32B-Modell läuft damit komfortabel auf einer GPU mit 24–32 GB VRAM; für 70B sollten es 48 GB oder zwei GPUs sein. Als Inferenz-Server haben sich vLLM (Durchsatz, parallele Nutzer) und Ollama (einfacher Einstieg) etabliert.
Die drei Hardware-Stufen
| Workstation | Server | Cluster | |
|---|---|---|---|
| Investition | ab ca. 5.000 € | ab ca. 15.000 € | Projektpreis nach Last |
| Modellklasse | 8B–32B | 32B–70B+ | beliebig, inkl. Fine-Tuning |
| Typische Nutzer | Team bis ~25 Personen | Abteilungen, parallele Agenten | unternehmensweit |
| Betrieb (Strom, Wartung) | ~90 €/Monat | ~240 €/Monat | nach Auslastung |
| Aufstellung | Steckdose statt Rechenzentrum | Serverraum/Rack | eigenes RZ oder EU-Colocation |
Die Kostenrechnung gegen Cloud-APIs
Agenten-Workloads sind token-intensiv: Ein einzelner Automatisierungslauf (Dokument lesen, Werkzeuge aufrufen, Ergebnis strukturieren) verbraucht nach unserer Erfahrung im Schnitt rund 45.000 Tokens. Bei 25 Mitarbeitenden mit je acht Läufen pro Arbeitstag kommen so über 190 Mio. Tokens pro Monat zusammen — bei Premium-Cloud-Preisen (rund 10 € je 1 Mio. Tokens, gemischt Ein-/Ausgabe) etwa 1.900 € monatlich, Tendenz mit jedem weiteren Use Case steigend. Eine Server-Stufe für 16.000 € amortisiert sich in diesem Szenario in rund zehn Monaten; über drei Jahre liegt die Ersparnis bei über 40.000 €. Nach der Abschreibung produziert die Hardware Tokens zum Strompreis — und wird bilanziell zum Betriebsvermögen statt zur Dauermiete. Das konkrete Szenario für euer Team rechnet der Token-Rechner durch; alle Annahmen sind dort offengelegt.
Was On-Premise nicht löst
Ehrlichkeit gehört dazu: Für offene Kreativaufgaben und die absolute Spitzenqualität bleiben Frontier-Cloud-Modelle vorn. Eigene Hardware verlangt außerdem Betriebsverantwortung — Updates, Monitoring, Kapazitätsplanung — die entweder das eigene IT-Team oder ein Dienstleister übernehmen muss. Der Vergleich beider Welten mit allen Trade-offs: Lokale KI vs. Cloud-KI.
Wo steht euer Unternehmen?
Der Souveränitäts-Check zeigt in 3 Minuten, wie abhängig eure KI-Nutzung heute ist — und der Token-Rechner, ab wann sich eigene Hardware rechnet.