Self-Hosted KI: wann es sich wirklich rechnet
Llama 3 und Mistral laufen sauber auf eigener Hardware. Wann ist Self-Hosting günstiger als API - und wann nicht? Wir rechnen mit konkreten GPU-Preisen.
Reality-Check
Wo Self-Hosted-KI heute wirklich steht
Llama 3.3 70B und Mistral Large erreichen für viele produktive Aufgaben das Niveau von GPT-4-Mini oder Claude Haiku. Das ist die nüchterne Ausgangslage 2026 - und damit eine echte Option für Workloads, die bisher reflexartig in die OpenAI-API gegangen sind.
Open-Weight ist nicht Open-Source
Llama steht unter einer Community-Lizenz, Mistral unter Apache 2.0 für die kleineren Modelle und kommerzieller Lizenz für die großen. Wer Self-Hosted bauen will, prüft pro Modell die Nutzungsbedingungen - inklusive Klauseln zu Konkurrenzprodukten und Hosting-Volumen. Diese Lizenzlage ändert sich häufiger als die GPU-Preise.
Worüber wir hier nicht reden
Wir reden nicht über das Training eigener Foundation-Modelle. Das ist ein achtstelliges Projekt und für Mittelständler praktisch nie sinnvoll. Wir reden über Inference: ein bestehendes Open-Weight-Modell auf eigener Hardware oder gemieteter GPU laufen lassen, optional ergänzt um Fine-Tuning oder LoRA-Adapter.
1. Die ehrliche Kalkulation
Wann der Inference-Server günstiger ist als die API
Eine NVIDIA H100 mit 80 GB VRAM kostet im Kauf rund 35.000 Euro, in der Cloud zwischen 2 und 4 Euro pro Stunde - abhängig von Anbieter und Commitment. Darauf läuft ein 70B-Modell mit Quantisierung (Q4 oder Q5) flüssig, mit Throughput von grob 30 bis 60 Tokens pro Sekunde pro gleichzeitiger Anfrage.
Rechnet man eine reale Auslastung von 50 Prozent (Mensch-im-Loop, Nacht-Idle), liegt der Token-Preis Self-Hosted bei gemieteter H100 bei rund 0,6 bis 1,2 Euro pro Million Output-Tokens - die OpenAI-API für GPT-4o-Mini liegt zum Vergleich aktuell bei knapp 0,6 Euro, GPT-4o bei etwa 10 Euro. Self-Hosted lohnt sich also fast nie gegen die kleinen Modelle und sehr deutlich gegen die großen.
Break-Even bei kontinuierlicher Last
Eine eigene H100 amortisiert sich gegen die API erst bei mehreren Hundert Millionen Tokens pro Monat - das entspricht ungefähr 2.000 bis 5.000 Mitarbeitern im täglichen LLM-Einsatz. Darunter ist Cloud-GPU per Stunde fast immer günstiger als gekaufte Hardware, weil Idle-Stunden direkt einsparbar sind.
Kleine Modelle ändern die Rechnung
Für viele Klassifikations- und Strukturierungs-Aufgaben reicht ein Mistral 7B oder ein Llama 3.2 8B - auf einer einzelnen RTX 4090 oder A10 mit unter 1 Euro pro Stunde Cloud-Preis. Hier kippt die Rechnung schnell zugunsten Self-Hosted, vor allem bei hohem Anfrage-Volumen. Wir setzen kleine Modelle selbst regelmäßig für Vorklassifikation ein, bevor ein großes Modell die Detailarbeit übernimmt.
2. Wenn der Datenschutz das Argument ist
DSGVO und Data Sovereignty als harte Anforderung
In regulierten Branchen kippt die Kalkulation häufig schon vor der Token-Rechnung. Wer mit Gesundheitsdaten, Anwaltsakten oder Steuerunterlagen arbeitet, darf nicht jede Anfrage an einen US-Anbieter senden - selbst mit EU-Region und DPA. Hier ist Self-Hosting nicht „günstiger“, sondern oft die einzige zulässige Option.
Wichtig ist die nüchterne Trennung: nicht jeder Use-Case in einem Krankenhaus oder einer Kanzlei braucht ein On-Premise-Modell. Eine Marketing-Texterstellung darf weiter über die API laufen. Aber sobald Patientendaten, Mandantengespräche oder Vertragsentwürfe in den Prompt fließen, ist die Diskussion eindeutig - und ein On-Premise-Llama oder gehosteter EU-Provider wie Aleph Alpha oder Mistral die richtige Wahl.
Auftragsverarbeitung ersetzt keine Architektur
Eine AV-Vereinbarung mit einem US-Anbieter ist juristisch ein Werkzeug, keine Lösung. Wer Daten nicht in Drittstaaten transferieren darf - aus Sektor-Regulierung, Konzern-Policy oder Mandanten-Verträgen - kommt mit Schrems-konformer Architektur weiter als mit dem nächsten Standardvertrag. Self-Hosting in einer EU-Cloud oder im eigenen Rechenzentrum ist die saubere Antwort.
Hybrid-Setup als Standard
In Kundenprojekten sehen wir am häufigsten ein hybrides Modell: sensible Daten laufen über ein selbst gehostetes Llama oder Mistral, allgemeine Aufgaben über die API. Ein Routing-Layer entscheidet pro Anfrage anhand der Datenklassifikation. So bleibt die Schutzpflicht eingehalten, ohne dass jede Mail-Klassifikation auf die teure Inference-Hardware muss.
Klingt nach Ihrer Lage?
Wir kalkulieren Ihr konkretes Token-Volumen gegen Cloud-GPU und gekaufte Hardware - mit klarer Empfehlung.
3. Stack und Betrieb
Womit man baut, wenn man Self-Hosted geht
Auf Inference-Server-Seite haben sich zwei Stacks etabliert: vLLM für hohen Durchsatz und Multi-User-Workloads, Ollama für Einzelplatz- und Entwickler-Setups. Für produktive APIs ist vLLM Pflicht: PagedAttention, Continuous Batching, OpenAI-kompatible Schnittstelle. Das macht den Anbieterwechsel später trivial - die Clients merken keinen Unterschied.
Auf Modell-Seite sind Llama 3.3 70B, Llama 3.2 in den kleineren Größen, Mistral Large, Mixtral 8x22B und Qwen 2.5 die Arbeitspferde. Quantisierung mit AWQ oder GPTQ drückt den VRAM-Bedarf um Faktor 2 bis 4 - bei minimalem Qualitätsverlust für die meisten Aufgaben.
Betriebskosten unter dem Token-Preis
Self-Hosting kostet nicht nur GPU-Stunden. Monitoring, Modell-Updates, Security-Patching, GPU-Treiber-Kompatibilität, Load-Balancing über mehrere Instanzen - all das ist Plattformarbeit, die in den Token-Preis der API hineingerechnet ist. Bei sauberer Kalkulation rechnen wir ein bis zwei Personentage pro Monat als laufenden Betriebsaufwand obendrauf.
OpenAI-kompatible API als Brücke
vLLM, Text Generation Inference und LiteLLM bieten OpenAI-kompatible Endpunkte. Das heißt: Anwendungscode, der heute gegen OpenAI läuft, spricht morgen ohne Refactoring mit einem eigenen Inference-Server. Diese Eigenschaft ist der unterschätzte Hebel - sie reduziert das Wechsel-Risiko praktisch auf null und macht aus Self-Hosting eine Architektur-Option, keine Architektur-Revolution.
Faustregel
Self-Hosted ist die richtige Antwort, wenn entweder Datenschutz, Volumen oder Latenz-Anforderungen die API ausschließen. Für alles andere ist API der einfachere Weg - bis er es nicht mehr ist.
Artikel teilen
Lohnt sich Self-Hosted bei Ihnen?
Schicken Sie uns Ihr Use-Case-Portfolio mit Volumen, Datenklassifikation und gewünschten Modellgrößen - wir rechnen API, Cloud-GPU und gekaufte Hardware in einer schriftlichen Empfehlung gegeneinander.