Lokale KI-Modelle im Unternehmen: wann sich ein eigener Server lohnt

Kurzantwort

Lokale KI-Modelle sind Open-Source-Sprachmodelle, die auf eigener Hardware laufen. Die Daten verlassen das Haus nicht. Ein eigener Server lohnt sich, wenn Sie regelmäßig sensible Daten verarbeiten, etwa Kundendaten, Verträge oder HR-Unterlagen. Für öffentliche Marketing-Daten bleibt eine Cloud-Plattform günstiger und meist stärker. Stand: Oktober 2026.

Kosten: Hardware einmalig, dazu Strom und Wartung. Die Lizenz vieler Modelle ist kostenlos, etwa Apache 2.0 bei gpt-oss.
Dauer: Konzept und erster Prototyp (MVP) laufen zuerst auf unserer Infrastruktur. Bis zur stabilen Lösung auf Ihrer Hardware vergehen mehrere Wochen, weil die Infrastruktur bei Ihnen erst aufgebaut wird.
Voraussetzung: eine GPU ab 24 GB Grafikspeicher (VRAM) für Modelle mit 20 bis 30 Milliarden Parametern.
Datenschutz: Lokale Modelle sind die Plattform für Stufe 3 „Sensibel“ im Datenklassen-Modell.
Grenze: Bei langen, mehrstufigen Aufgaben liegen lokale Modelle hinter Claude und GPT.

Entscheidung

Lohnt sich ein eigener KI-Server? Die Entscheidungstabelle

Ein eigener KI-Server lohnt sich, wenn die Daten es verlangen, nicht wenn die Cloud zu teuer wirkt. Suchen Sie Ihre Situation in der linken Spalte.

Lokal, EU-Server oder Cloud: Entscheidung nach Situation, Stand Oktober 2026
Ihre Situation	Empfehlung	Grund
Sie arbeiten mit Keywords, veröffentlichten Inhalten, Wettbewerbsdaten	Cloud-Plattform mit AVV	Stufe 1, beste Qualität, kein Hardwareaufwand
Sie verarbeiten interne Strategien und Angebote ohne Kundennamen	Cloud mit AVV und EU-Verarbeitung oder EU-Server	Stufe 2, lokale Hardware ist nicht nötig
Sie verarbeiten regelmäßig Kundendaten, Verträge, HR-Unterlagen	eigener Server oder dedizierter Server	Stufe 3, Daten verlassen das Haus nicht
Ein Kunde oder Ihr Datenschutzbeauftragter verbietet externe KI-Dienste	eigener Server	ohne Auftragsverarbeiter für die Modellnutzung
Sie brauchen die stärkste Textqualität für lange Kampagnen	Cloud-Plattform	lokale Modelle sind hier schwächer
Sie wollen nur Lizenzkosten sparen	Cloud bleibt meist günstiger	Hardware, Strom und Wartung übersteigen die Lizenzen bei kleinen Teams
Sie nutzen KI nur gelegentlich für sensible Dokumente	Anonymisieren, dann Cloud mit AVV	ein Server lohnt sich erst bei regelmäßiger Nutzung
Die Aufgabe braucht Personendaten, aber nicht die Namen	pseudonymisieren, dann lokales Modell	pseudonymisierte Daten bleiben personenbezogen; lokal liefern sie oft gute Ergebnisse
Eine eng gesteckte Aufgabe wiederholt sich sehr oft	lokales Modell, wenn ein Server ohnehin läuft	Ergebnisse in Millisekunden, kaum zusätzlicher Strom

Die Stufen stammen aus dem Datenklassen-Modell: welche Daten in welche KI-Plattform dürfen

Modelle

Open-Source-Modellfamilien für lokale KI im Oktober 2026

Fünf Modellfamilien decken die meisten Aufgaben im Unternehmen ab. Die Größe in Gigabyte zeigt, wie viel Grafikspeicher das Modell in 4-Bit-Quantisierung mindestens belegt.

Open-Source-Modelle für lokale KI, Größen in 4-Bit (Q4), Stand Oktober 2026
Familie	Anbieter	Beispiel und Größe	Lizenz	Passt auf
gpt-oss	OpenAI	gpt-oss 20B, rund 16 GB; gpt-oss 120B, 65 GB	Apache 2.0	24 GB; 80 bis 96 GB
Qwen	Alibaba	Qwen3.6 27B, 17 GB; Qwen3.5 122B, 81 GB	Apache 2.0 (Qwen3.6-27B), sonst je Modell prüfen	24 GB; 96 GB knapp
Gemma	Google	Gemma 4 26B, 18 GB	Apache 2.0 (Gemma 4 12B), sonst je Modell prüfen	24 GB
Llama	Meta	Llama 3.3 70B, 43 GB	eigene Lizenz von Meta, Bedingungen prüfen	48 GB
Mistral	Mistral AI	Devstral 24B, 14 GB	Apache 2.0	24 GB

Quellen: Morph, Modellliste nach VRAM (geändert 16.10.2026); BenchLM, lokale Modelle (20.10.2026). Zum Kontext kommen 2 bis 6 GB Zwischenspeicher dazu. Prüfen Sie die Lizenz jedes Modells vor dem Einsatz im Unternehmen.

Hardware

Hardware für lokale KI: was ab 24 GB VRAM läuft

Der Grafikspeicher (VRAM) entscheidet, welches Modell läuft, nicht die Rechenleistung. Mehr VRAM erlaubt größere Modelle und längere Texte im Kontext.

VRAM-Stufen und Modellklassen für lokale KI, Stand Oktober 2026
VRAM	Hardware-Beispiel	Modellklasse	Typische Aufgaben
24 GB	eine Grafikkarte der Oberklasse, z. B. RTX 4090	20 bis 30 Mrd. Parameter	Zusammenfassen, Klassifizieren, Umformulieren
32 GB	Workstation-Karte oder Mac mit 32 GB gemeinsamem Speicher	bis 35 Mrd. Parameter	wie oben, mit längeren Dokumenten
48 GB	zwei Karten mit je 24 GB	70 Mrd. Parameter	Entwürfe, Wissensdatenbank-Abfragen (RAG)
80 bis 96 GB	eine Profi-Karte mit 80 oder 96 GB	120 Mrd. Parameter mit Mixture-of-Experts	anspruchsvolle Texte, mehrere Nutzer gleichzeitig
384 GB und mehr	mehrere Profi-Karten im Server	Spitzenmodelle mit mehreren hundert Mrd. Parametern	Rechenzentrumsbetrieb

Quellen: Morph (16.10.2026), Dr. Web (06.07.2026). Ein Praxisleitfaden nennt für zwei gebrauchte RTX 3090 mit zusammen 48 GB rund 1.740 €. Ein Server mit 384 GB VRAM kostet dort rund 45.000 € allein für die Hardware.

Der Server von tiny web hat 96 GB VRAM.

Kosten

Kosten lokaler KI im Vergleich zu Cloud-Plattformen

Lokale KI verschiebt Kosten von der monatlichen Lizenz zur einmaligen Hardware. Bei kleinen Teams ist die Cloud fast immer günstiger. Lokal lohnt sich, wenn der Datenschutz es verlangt.

Hardware: einmalig. Hängt von der VRAM-Stufe ab (Tabelle oben).
Strom: Leistungsaufnahme mal Betriebsstunden mal Strompreis.
Wartung: Updates von Modellen und Software, Überwachung, Datensicherung. Planen Sie dafür feste Stunden im Monat ein.
Einrichtung: Auswahl, Installation, Anbindung an Ihre Workflows. Bei tiny web ist die Einrichtung ein Projekt. Der Preis hängt von Anwendungsfall, Leistungsfähigkeit und Ausfallsicherheit ab. Beratung kostet 1.500 bis 1.700 € pro Tag, netto zzgl. Reisekosten. Den Betrieb übernehmen Sie.
Cloud zum Vergleich: Lizenz pro Person und Monat, ohne Hardware. Aktuelle Preise: Claude Team für Unternehmen: Preis und Datenschutz

So rechnen Sie den Vergleich: Jahreskosten lokal sind Hardware geteilt durch Nutzungsjahre, plus Strom, plus Wartung. Jahreskosten Cloud sind Lizenz mal Personen mal zwölf. Für den 384-GB-Server aus dem Dr.-Web-Beispiel schätzen Leser den Break-even gegen ein Cloud-Abo auf 16 bis 74 Jahre bei Volllast.

Das Ergebnis ist ehrlich: Lokale KI lohnt sich selten wegen der Kosten, sondern wegen der Daten. Eine Ausnahme sind kleine, häufig wiederholte Aufgaben. Läuft der Server ohnehin, kosten sie kaum zusätzlichen Strom.

Qualität

Qualität lokaler Modelle im Vergleich zu Claude und GPT

Lokale Modelle erledigen klar umrissene Aufgaben zuverlässig. Bei langen Aufgaben mit vielen Schritten liegen Claude und GPT vorn. Komprimierte Modelle machen dort mehr Fehler, die sich aufsummieren (Dr. Web, Juli 2026).

E-Mails und Dokumente zusammenfassen
Dokumente klassifizieren und Felder extrahieren
Fragen an eine interne Wissensdatenbank (RAG)
Texte mit Personenbezug umformulieren oder anonymisieren
eng gesteckte Aufgaben mit hoher Wiederholungsrate, etwa Klassifizieren im Sekundentakt
Aufgaben mit pseudonymisierten Personendaten

lange Texte mit festem Stil und vielen Vorgaben
Recherchen mit vielen Quellen
Agenten, die viele Schritte selbstständig ausführen

Eigene Messwerte

Messwerte vom KI-Server der tiny web GmbH mit 96 GB VRAM

Wir betreiben einen eigenen KI-Server für Kundenprojekte und Automatisierungen. Die Werte unten sind auf diesem Server gemessen.

Alt: Eigener KI-Server der tiny web GmbH mit 96 GB Grafikspeicher für lokale Open-Source-Modelle Bildunterschrift: siehe Abschnitt 2 (G-07)

Gemessen auf dem tiny web KI-Server, Stand Oktober 2026
Modell und Größe	Tokens pro Sekunde	Leistungsaufnahme unter Last

Zur Einordnung: Ein Mensch liest etwa vier bis acht Wörter pro Sekunde. Ein Token entspricht im Deutschen grob einem halben bis einem Wort.

Wenn alle Messwerte fehlen, entfallen Tabelle und Einleitungssatz; die H2 lautet dann „Der KI-Server der tiny web GmbH mit 96 GB VRAM“ und zeigt nur Foto und Hardware-Satz.

Anbindung

Lokale Modelle an n8n und bestehende Workflows anbinden

Lokale Modelle ersetzen in einem Workflow nur das Modell, nicht den Ablauf. n8n hat einen eigenen Knoten für Ollama-Modelle. vLLM bietet eine Schnittstelle, die wie die von OpenAI funktioniert.

Damit bleibt ein Workflow gleich, der heute ein Cloud-Modell aufruft. Nur der Modell-Knoten zeigt auf Ihren Server. Was Sie in Claude Projects für Stufe 1 aufgebaut haben, läuft so mit einem lokalen Modell für Stufe 3 weiter.

Für den Chat im Team gibt es Oberflächen wie Open WebUI. Sie sieht ähnlich aus wie ChatGPT, läuft aber auf Ihrem Server.

Beispiele für Automatisierungen: Marketing-Automatisierung mit n8n: Beispiele und Aufbau

Grenzen

Grenzen lokaler KI im Unternehmen

Lokale KI löst das Datenproblem, nicht jedes andere. Diese Grenzen sollten Sie vor dem Kauf kennen.

Lokal ist nicht automatisch DSGVO-konform. Rechtsgrundlage, Zugriffsrechte, Protokolle und Verzeichnis bleiben Pflicht.
Modelle veralten schnell. Wer nicht regelmäßig aktualisiert, arbeitet nach einem Jahr mit einem schwachen Modell.
Ein Server ist ein Single Point of Failure. Fällt er aus, stehen die Workflows.
Gleichzeitige Nutzer teilen sich den Grafikspeicher. Viele parallele Anfragen machen jede Antwort langsamer.
Bilder, Videos und aktuelle Websuche sind lokal deutlich schwieriger als in der Cloud.
Hardware ist schnell gekauft, aber selten schnell eingerichtet. Ohne feste Zuständigkeit im Haus bleibt der Server ungenutzt.

Aus der Praxis

Verlag

Lokale LLMs sind für eng gesteckte Aufgaben mit hoher Wiederholungsrate prädestiniert. Das sehen wir im Projekt mit einem Verlag. Wenn der Server eh schon läuft, fallen kleine Zusatzschritte nicht auf. Sie liefern Ergebnisse in Millisekunden, bei fast gleichbleibendem Stromverbrauch. Bei personenbezogenen Daten frage ich zuerst: Brauchen wir die personenbezogene Zuordnung, oder erreichen wir dasselbe Ergebnis mit anonymen Daten? In vielen Fällen arbeiten wir mit pseudonymisierten Daten. Dann erreichen wir mit lokalen LLMs gute Ergebnisse.

Hans Jung, tiny web GmbH

Datenschutz bei lokalen KI-Modellen

Lokale Modelle sind im Datenklassen-Modell die Plattform für Stufe 3 „Sensibel“. Sie brauchen keinen externen Auftragsverarbeiter für die Modellnutzung. Die übrigen Pflichten der DSGVO bleiben. Prüfen Sie vorher, ob die Aufgabe den Personenbezug braucht. Oft reichen pseudonymisierte Daten, und das lokale Modell liefert damit gute Ergebnisse. Die Übersicht dazu: welche Daten in welche KI-Plattform dürfen

Ob sich ein Workflow überhaupt lohnt, zeigt eine schnelle Rechnung: Zeitersparnis und Amortisation berechnen

Häufige Fragen zu lokalen KI-Modellen im Unternehmen

Was kostet ein eigener KI-Server?

Das hängt vom Grafikspeicher ab. Ein Praxisleitfaden nennt rund 1.740 € für 48 GB aus gebrauchten Karten und rund 45.000 € für 384 GB. Dazu kommen Strom, Wartung und Einrichtung.

Welche Grafikkarte brauche ich mindestens für lokale KI?

Für Modelle mit 20 bis 30 Milliarden Parametern reichen 24 GB VRAM. Beispiele sind Qwen3.6 27B oder Gemma 4 26B in 4-Bit. Größere Modelle brauchen 48 bis 96 GB.

Ist lokale KI automatisch DSGVO-konform?

Nein. Die Daten verlassen zwar das Haus nicht. Rechtsgrundlage, Zugriffsrechte, Protokolle und Verarbeitungsverzeichnis bleiben trotzdem Pflicht.

Sind lokale Modelle so gut wie ChatGPT oder Claude?

Bei klaren Aufgaben wie Zusammenfassen und Klassifizieren oft ja. Bei langen, mehrstufigen Aufgaben liegen Claude und GPT vorn. Deshalb nutzen wir lokale Modelle für sensible Daten und für eng gesteckte, häufig wiederholte Aufgaben.

Kann n8n lokale KI-Modelle nutzen?

Ja. n8n hat einen eigenen Knoten für Ollama. vLLM bietet eine OpenAI-kompatible Schnittstelle. Bestehende Workflows wechseln nur das Modell.

Verkauft tiny web Hardware oder Hosting?

Nein. Wir beraten, richten lokale Modelle auf Ihrer Hardware ein und binden sie an Ihre Workflows an. Betrieb und Hardware bleiben bei Ihnen.

Was kostet die Einrichtung lokaler KI bei tiny web?

Die Beratung kostet 1.500 bis 1.700 € pro Tag, netto zzgl. Reisekosten. Die Einrichtung ist ein Projekt. Ihr Preis hängt von Anwendungsfall, Leistungsfähigkeit und Ausfallsicherheit ab.

Nächster Schritt

Finden wir heraus, ob Ihre Daten einen eigenen KI-Server brauchen.

30 Minuten, unverbindlich, mit ehrlicher Einschätzung. Manchmal lautet die Antwort: Die Cloud reicht. Sie sprechen direkt mit Hans Jung.

Erstgespräch buchen Anrufen: 089 23747176

Antwort: innerhalb eines Werktags
Format: Video-Call oder Telefon