Blog · 2026-05-18
LLM Self-Hosting im Mittelstand 2026: Die Hardware-Frage
Warum 2026 das Jahr ist, in dem Self-Hosting für den Mittelstand wirtschaftlich wird — Workstation-Klasse, Inferenz-NPUs, Production-Server, und die Frage, wann sich der Wechsel rechnet.
Self-hosted KI-Modelle waren bis vor kurzem eine Frage des Großkundenbudgets. Eine H100-Karte für 25.000 US-Dollar, ein Acht-GPU-Server für eine halbe Million, dazu ein Team, das den Betrieb stemmt — das war jenseits dessen, was ein typisches mittelständisches Unternehmen rechtfertigen konnte. 2026 hat sich die Lage verändert: Workstations mit 128 GB unified memory kosten unter 5.000 US-Dollar, NPU-Karten von neuen Anbietern erreichen H200-Performance bei deutlich niedrigerem Strombedarf, und der koreanische Markt drückt die Cloud-Preise für Inferenz-Workloads.
Damit verschiebt sich die Entscheidung: nicht mehr „ob Self-Hosting überhaupt möglich ist", sondern „welche Hardware-Klasse passt zu welchem Workload". Dieser Artikel ordnet die aktuellen Optionen ein.
Warum überhaupt Self-Hosting?
Vier Treiber, in der Reihenfolge, in der sie meist über die Entscheidung kippen:
IP-Schutz. Wer mit einem Cloud-LLM arbeitet — Microsoft Copilot, GitHub Copilot, Anthropic Claude, ChatGPT Enterprise — schickt mit jeder Anfrage Inhalte an einen Anbieter im außereuropäischen Ausland. Bei Source-Code, Konstruktionsdaten, Mandantenkommunikation oder klinischen Daten ist das ein steigendes Problem. Self-Hosting setzt eine prüfbare Grenze: Daten verlassen das Netzwerk nicht.
Compliance. Der EU Cyber Resilience Act, NIS2, branchenspezifische Regulierung (MDR, BaFin-Anforderungen, ISO 27001) verlangen zunehmend nachvollziehbare Datenflüsse. Eine API zu einem US-Anbieter ist nicht automatisch unzulässig — aber sie braucht Vertragsklauseln, Auftragsverarbeitungs-Verträge, Datenschutz-Folgeabschätzungen. Self-Hosting reduziert diesen Aufwand strukturell.
Volumenökonomie. Aktuelle Analysen aus 2026 zeigen klare Break-Even-Schwellen: Unter 100 Millionen Token pro Monat gewinnen Cloud-APIs fast immer. Zwischen 500 Millionen und einer Milliarde Token wird Self-Hosting konkurrenzfähig. Darüber wird der Unterschied klar.
Latenz. Agenten-Workflows mit mehreren LLM-Calls pro Anfrage akkumulieren Netzlatenz. Lokale Inferenz auf eigener Hardware schneidet diese Zeit weg — bei manchen Workloads ein Faktor 3 bis 5 für die End-to-End-Antwort.
Drei Hardware-Klassen für drei Use-Cases
Die Hardware-Landschaft 2026 lässt sich grob in drei Klassen einteilen. Jede deckt einen anderen Workload-Typ ab.
Klasse 1: Workstation
Leitbeispiel: NVIDIA DGX Spark. Anfang 2025 als „Project DIGITS" auf der CES angekündigt, im März 2025 als DGX Spark, seit Oktober 2025 ausgeliefert — Einstiegspreis ab 3.999 US-Dollar (Marktplatz-Listings bis rund 4.699 US-Dollar). Spezifikation: GB10 Grace-Blackwell-Superchip, 20-Core-Arm-CPU, 128 GB unified LPDDR5x-Memory, 4 TB SSD, bis zu 1 PFLOP FP4-Leistung. Software-Updates (TensorRT-LLM, Speculative Decoding) haben die Inferenz-Geschwindigkeit seither weiter angehoben.
Die unified memory ist hier der eigentliche Hebel: Anders als bei klassischen Grafikkarten, wo die GPU-VRAM-Begrenzung das Modell limitiert, teilen sich CPU und GPU denselben Speicher-Pool. 70-Milliarden-Parameter-Modelle lassen sich damit auf einer Workstation laufen lassen, was vor zwei Jahren noch eine Server-Anschaffung erforderte.
Geeignet für: Prototypen, Pilot-Projekte, Fine-Tuning kleinerer Modelle, Entwicklungsteams unter zehn Personen. Wer Self-Hosting ausprobieren will, ohne sich auf eine Datacenter-Investition festzulegen, fängt hier an.
Grenzen: Bei nennenswertem Produktiv-Traffic (mehrere Nutzer parallel, hoher Throughput) reicht die Klasse nicht.
Klasse 2: Inferenz-NPU
Leitbeispiel: Rebellions REBEL-Quad (SiP „Rebel 100"). Ein koreanischer Hersteller, der 2026 mit einem Vier-Chiplet-Design über UCIe-Advanced-Interconnect den Sprung in die Production-Klasse geschafft hat. Spezifikation: vier HBM3e-Stacks mit zusammen 144 GB pro Package, 1 PetaFLOP FP16 (2 PetaFLOP FP8). Bei der ISSCC 2026 wurde Performance auf dem Niveau einer NVIDIA H200 bei geringerem Energieverbrauch gezeigt. Daneben das kleinere ATOM-Max für kompaktere Inferenz-Budgets.
Daneben FuriosaAI RNGD (Renegade-Serie), ebenfalls aus Korea, mit Fokus auf Token-Generation-Bandbreite (HBM3-Speicher) und niedriger Kontext-Switching-Latenz — speziell für agentic Frameworks ausgelegt.
NPUs unterscheiden sich von GPUs in einer entscheidenden Hinsicht: Sie sind nicht universell, sondern auf Inferenz spezialisiert. Training läuft darauf nur eingeschränkt oder gar nicht. Wer das Modell nicht selbst trainiert, sondern ein bestehendes Open-Weight-Modell betreibt, zahlt nichts für nicht genutzte Allzweck-Funktionen.
Geeignet für: Dedizierte Inferenz-Workloads mit hohem Throughput, agentic Pipelines mit vielen sequenziellen LLM-Calls, Setups mit knappen Power- oder Kühl-Budgets.
Grenzen: Verfügbarkeit ist 2026 noch primär über koreanische Cloud-Anbieter (KT Cloud, NHN Cloud, Naver Cloud); direkter Hardware-Kauf in Europa ist begrenzt.
Klasse 3: Production-Server
Leitbeispiele: NVIDIA H200, B200, AMD MI300X. Multi-GPU- Konfigurationen für Produktiv-Workloads mit höherer paralleler Durchsatzleistung. Eine Acht-GPU-H200-Konfiguration deckt das vollständige Modell-Spektrum bis 405-Milliarden-Parameter-Modelle ab. Sekundärmarkt-Preise für gebrauchte H100 SXM liegen 2026 grob zwischen 12.000 und 22.000 US-Dollar — deutlich gesunken vom Niveau von rund 40.000 US-Dollar Ende 2023.
Geeignet für: Produktion ab etwa 500 Millionen Token pro Monat, Multi-Tenant-Szenarien innerhalb eines Unternehmens, größte Modelle bei voller Präzision.
Grenzen: Capex von 40.000 bis 190.000 US-Dollar für eine produktionsreife Konfiguration. Plus Operations-Personal, Kühlung, Strom, redundante Stromversorgung — die laufenden Kosten sind nicht trivial.
Was läuft auf welcher Klasse?
| Modellgröße | Quantisierung | Speicherbedarf | Empfohlene Klasse |
|---|---|---|---|
| 7B–13B | 4-bit | ~10 GB | Workstation (auch Konsumenten-GPU) |
| 30B–34B | 4-bit | ~20 GB | Workstation |
| 70B | 4-bit | ~40 GB | Workstation (DGX Spark), Inferenz-NPU |
| 70B | 8-bit/FP16 | 80+ GB | Inferenz-NPU, Production-Server |
| 123B Dense | 4-bit | ~70 GB | Workstation (knapp), Inferenz-NPU |
| 405B | 4-bit | ~230 GB | Production-Server |
| 405B | FP16 | 800+ GB | Multi-GPU Production-Server |
Die Tabelle ist eine Näherung. Tatsächlicher Speicherbedarf hängt von Kontext-Länge, KV-Cache-Größe und Batch-Size ab.
Break-Even gegen Cloud-APIs
Drei Szenarien aus 2026er Vergleichsrechnungen:
Szenario A — Cloud bleibt günstiger. Ein Mittelständler mit 50 Mitarbeitern, die Copilot- und Claude-Workflows für Produktivität nutzen. Geschätztes Volumen: 30 Millionen Token pro Monat. Cloud-Kosten: rund 3.000 US-Dollar monatlich. Self-Hosting-Setup (DGX-Spark-Workstation, ein Engineer in Teilzeit): höhere Gesamtkosten bei niedrigerer Verfügbarkeit. API gewinnt klar.
Szenario B — Break-Even-Zone. Software-Haus mit hohem Code-Generation-Volumen. 600 Millionen Token pro Monat. Cloud-Kosten: rund 45.000 US-Dollar monatlich. Production-Server-Setup (zwei-GPU-H200, Operations-Partner-Vertrag): 35.000 bis 50.000 US-Dollar monatlich für vergleichbare Last. Paritäts-Zone, IP- und Latenz-Argumente entscheiden.
Szenario C — Self-Hosting gewinnt klar. Engineering-Unternehmen mit umfangreichen LLM-Pipelines für Datenanalyse und Konstruktions-Assistenz. Über 2 Milliarden Token pro Monat. Cloud-Kosten: über 150.000 US-Dollar monatlich. Eigene Inferenz-NPU-Konfiguration über koreanischen Hoster: 50.000 bis 70.000 US-Dollar monatlich. Self-Hosting gewinnt um Faktor 2 bis 3, der IP-Schutz kommt obendrauf.
Hidden Costs
Drei Kostenpositionen, die in der ersten Rechnung oft fehlen:
Operations-Personal. Ein dedizierter ML-Engineer in Deutschland kostet 150.000 bis 200.000 US-Dollar pro Jahr. Wer Self-Hosting ohne Operations-Partner macht, braucht diese Rolle intern.
Compliance-Audits. SOC 2 Type II: 30.000 bis 60.000 US-Dollar jährlich. HIPAA-Audit: 20.000 bis 50.000 US-Dollar. Diese Kosten fallen unabhängig davon an, ob die KI selbst oder die umgebende Infrastruktur zertifiziert wird — aber Self-Hosting verlagert sie ins eigene Haus.
Modell-Updates. Open-Weight-Modelle erscheinen alle paar Monate. Wer auf dem Stand bleiben will, braucht einen Re-Deployment-Prozess. Cloud-APIs erledigen das implizit.
Drei Entscheidungs-Szenarien
Regulierte Branche, sensitives Material. On-Prem ab Tag 1, auch bei kleinem Volumen. Die Kosten sind höher als Cloud, aber die Compliance-Anforderung ist nicht verhandelbar. Einstieg über Workstation-Klasse als Pilot, Skalierung nach Volumen.
Hohes API-Volumen, generische Workloads. Schrittweiser Übergang. Cloud bleibt für Mittel-Volumen-Workflows, Self-Hosting kommt für die volumenstärksten Pipelines hinzu. Ziel: Reduktion der API-Kosten um 50 bis 70 Prozent bei gleichbleibender Cloud-Backup-Option für Spitzenlasten.
Experimentier-Phase. Workstation-Klasse zum Lernen. DGX Spark oder vergleichbare Hardware, ein Pilot-Use-Case (typisch: interner Coding-Assistent für eine Entwicklungs-Abteilung), drei bis sechs Monate Erfahrung sammeln. Erst dann Architektur-Entscheidung für die Produktiv-Skalierung.
Was Self-Hosting nicht löst
Self-Hosting ist eine Architektur-Entscheidung, keine Wunder-Lösung. Was bleibt:
- Modell-Auswahl. Welches Open-Weight-Modell für welchen Use-Case? Llama-Varianten, Mistral, Qwen, GLM — die Landschaft ist breiter geworden, die Auswahl anspruchsvoller.
- Prompt- und RAG-Engineering. Die eigentliche Produkt-Qualität entsteht über dem Modell. Self-Hosting ändert daran nichts.
- Sicherheitsupdates der Infrastruktur. OS, Container-Runtime, Inferenz-Framework — die normalen Sicherheits-Disziplinen gelten unverändert.
Wie Creaminds dabei unterstützt
Creaminds berät bei der Architektur-Entscheidung — Modell-Auswahl, Hardware-Klasse, Hoster-Wahl, Migrations-Pfad. Wir hosten nicht selbst und sind nicht an einen Anbieter gebunden. Mehr dazu auf der Service- Seite LLM Self-Hosting & On-Prem-Inferenz.
PS — Stand der Angaben: Preise und Performance-Werte in diesem Artikel wurden im Mai 2026 ermittelt. Hardware-Markt und Modell-Landschaft bewegen sich schnell — einzelne Werte können inzwischen überholt sein.