Lokale KI für sensible Daten: eingerichtet und an Ihre Workflows angebunden
tiny web richtet Open-Source-Modelle auf Ihrer Hardware ein und bindet sie an n8n und Ihre Tools an. Kundendaten, Verträge und HR-Unterlagen verlassen das Haus nicht.
Was zur Leistung gehört → #umfang
- Für Daten der Stufe 3
- Eigener KI-Server mit 96 GB VRAM
- Kein Hosting, kein Hardware-Verkauf
Auf einen Blick
- Leistung
- Beratung, Einrichtung und Anbindung lokaler KI-Modelle
- Plattformen
- Ollama oder vLLM, Open WebUI, n8n
- Für
- KMU mit sensiblen Daten, Marketing und weitere Abteilungen
- Datenklasse
- Stufe 3: Sensibel (personenbezogene Kundendaten, HR, Finanzen, Verträge, Geschäftsgeheimnisse)
- Hardware
- bei Ihnen: eigener Server oder dedizierter Mietserver
- Investition
- Beratung 1.500–1.700 € pro Tag zzgl. Reisekosten · Einrichtung als Projekt nach Anwendungsfall, Leistungsfähigkeit und Ausfallsicherheit
- Nicht enthalten
- Hosting, Hardware-Verkauf, Modelltraining
- Format
- vor Ort oder remote
Aus dem eigenen Betrieb
Der eigene KI-Server von tiny web
tiny web betreibt selbst einen KI-Server mit 96 GB Grafikspeicher für lokale Open-Source-Modelle. Die Erfahrung aus diesem Betrieb fließt in jede Einrichtung bei Kunden.
- Grafikspeicher: 96 GB VRAM
- Einsatz: Automatisierungen und Kundenprojekte
Welche Hardware sich für welches Unternehmen lohnt, beschreibt der Ratgeber: wann sich lokale KI-Modelle im Unternehmen lohnen.
Datenklasse
Welche Daten in ein lokales KI-Modell gehören
Lokale KI ist für Daten der Stufe 3 gedacht: personenbezogene Kundendaten, HR, Finanzen, Verträge und Geschäftsgeheimnisse. Unkritische Marketing-Daten laufen günstiger und besser in einer Cloud-Plattform mit Auftragsverarbeitungsvertrag.
| Stufe | Beispiele | Plattform |
|---|---|---|
| Stufe 1: Öffentlich und unkritisch | Keyword-Daten, Wettbewerbsanalysen, veröffentlichte Inhalte | Cloud-Plattform im Team-Plan mit AVV |
| Stufe 2: Intern und vertraulich | Strategiepapiere, Angebote, interne Auswertungen | Cloud-Plattform mit EU-Datenverarbeitung oder Open-Source-Modell auf EU-Server |
| Stufe 3: Sensibel | Kundendaten, HR, Finanzen, Verträge, Geschäftsgeheimnisse | Lokales Open-Source-Modell auf Ihrer Hardware |
Öffentliche Informationen und Inhalte, die für Ihre Website bestimmt sind, sind in der Regel unkritisch. Sie dürfen in Business-Accounts der großen Anbieter. Bei personenbezogenen Daten fragen wir zuerst: Brauchen wir den Personenbezug, oder erreichen wir dasselbe Ergebnis mit anonymen Daten? Oft lassen sich die Daten pseudonymisieren. Mit pseudonymisierten Daten liefern lokale Modelle in vielen Fällen gute Ergebnisse.
Die Datenklasse entscheidet über die Plattform, nicht die Gewohnheit. Die drei Stufen im Detail: welche Daten in welche KI-Plattform dürfen.
Wann Unternehmen lokale KI einrichten lassen
Unternehmen kommen, wenn sensible Daten mit KI verarbeitet werden sollen, der Datenschutz Cloud-Werkzeuge ablehnt, eine zweite Abteilung nach dem Marketing starten will oder n8n-Workflows ohne Cloud-Modell laufen sollen.
Kundendaten sollen ausgewertet werden
Anfragen, Tickets oder CRM-Notizen enthalten Namen und Adressen. Ein lokales Modell fasst sie zusammen, ohne dass Daten das Haus verlassen.
Der Datenschutz sagt Nein zur Cloud
Ihr Datenschutzbeauftragter lehnt eine Cloud-Plattform für bestimmte Daten ab. Lokale KI ist dann der Weg, KI trotzdem zu nutzen.
Nach dem Marketing kommt die nächste Abteilung
Vertrieb, Kundenservice oder HR arbeiten mit Daten der Stufe 3. Dieselben Workflows laufen dort mit einem anderen Modell auf anderer Hardware.
n8n soll ohne Cloud-Modell laufen
Ein Workflow verarbeitet E-Mails oder Formulare. n8n ruft dann das lokale Modell statt eines Cloud-Dienstes.
Leistung
Was zur Einrichtung lokaler KI gehört
Die Leistung hat drei Teile: Beratung zu Modell und Hardware, Einrichtung auf Ihrer Hardware und Anbindung an n8n und Ihre Tools. Danach übergeben wir mit Dokumentation an Ihr Team oder Ihre IT.
- Beratung
- Wir klären, welche Aufgaben lokal laufen müssen, welches Modell reicht und welche Hardware dafür nötig ist. Die Hardware kaufen Sie bei einem Händler Ihrer Wahl.
- Einrichtung
- Wir installieren den Modell-Server (Ollama oder vLLM), eine Chat-Oberfläche (Open WebUI) und die Zugänge für Ihr Team.
- Anbindung
- Wir verbinden das Modell mit n8n und Ihren bestehenden Tools. Workflows aus Claude Projects übertragen wir, wo das Modell es leisten kann.
Was tiny web bei lokaler KI nicht macht
tiny web verkauft keine Hardware, betreibt keine Server für Kunden und trainiert keine Modelle. Das Modell läuft bei Ihnen, und Ihr Team oder Ihre IT ist für den Betrieb zuständig.
- Kein Hardware-Verkauf. Wir empfehlen herstellerneutral und verdienen nicht an der Hardware.
- Kein Hosting. Wir betreiben keine Server für Kunden.
- Kein Modelltraining. Wir nutzen fertige Open-Source-Modelle und passen sie über Anweisungen und Wissensbasis an.
- Kein Rechenzentrumsbetrieb. Klimatisierung, Strom und Ausfallsicherheit liegen bei Ihnen oder Ihrem Hoster.
- Keine Entwickler-Schulung zu Ollama oder vLLM. Ihr Team lernt die Bedienung, nicht die Programmierung.
Ablauf
Ablauf der Einrichtung lokaler KI
Die Einrichtung läuft in vier Schritten: Daten und Aufgaben klären, Modell und Hardware wählen, auf Ihrer Hardware einrichten, an Ihre Workflows anbinden und übergeben.
- 01
Daten und Aufgaben klären
Wir ordnen Ihre Aufgaben den Datenklassen zu. Nur was in Stufe 3 liegt, muss lokal laufen.
Format: Beratung zum Tagessatz · Ergebnis: Liste der Aufgaben mit Datenklasse
- 02
Modell und Hardware wählen
Wir testen passende Modelle an Ihren Beispielaufgaben. Daraus folgt der nötige Grafikspeicher.
Ergebnis: Modellempfehlung, Hardware-Anforderung
- 03
Auf Ihrer Hardware einrichten
Wir installieren Modell-Server, Oberfläche und Zugänge. Updates und Datensicherung legen wir mit Ihnen fest.
Ergebnis: laufendes Modell mit Chat-Oberfläche
- 04
Anbinden und übergeben
Wir verbinden das Modell mit n8n und Ihren Tools. Ihr Team bekommt eine Einweisung und eine Dokumentation.
Ergebnis: angebundene Workflows, Dokumentation, Einweisung
Grafikspeicher und Modellgröße für lokale KI
Die Modellgröße bestimmt den Grafikspeicher. Mit 24 GB laufen Modelle bis rund 30 Milliarden Parameter, mit 48 GB bis rund 70 Milliarden, mit 80 bis 96 GB Modelle um 120 Milliarden Parameter.
| Grafikspeicher | Modellgröße | Beispiele aus diesen Familien | Typische Aufgaben |
|---|---|---|---|
| 16 bis 24 GB | bis rund 30 Mrd. Parameter | Qwen, Gemma, Mistral Small, gpt-oss-20b | Zusammenfassen, Klassifizieren, Entwürfe |
| 48 GB | bis rund 70 Mrd. Parameter | Llama, Qwen | längere Texte, Auswertungen mit Kontext |
| 80 bis 96 GB | um 120 Mrd. Parameter | gpt-oss-120b | anspruchsvolle Texte und Analysen |
Die Werte sind eine Orientierung. Längere Eingaben brauchen zusätzlichen Speicher. Welches Modell Ihre Aufgaben schafft, testen wir in Schritt 2.
Lokale Modelle in n8n-Workflows einbinden
n8n kann ein lokales Modell über Ollama ansprechen statt eines Cloud-Dienstes. So laufen dieselben Workflows mit sensiblen Daten, ohne dass Daten an einen KI-Anbieter gehen.
n8n lässt sich selbst hosten und mit Ollama verbinden. Das offizielle AI Starter Kit von n8n bündelt n8n, Ollama, eine Vektordatenbank und eine Datenbank. n8n beschreibt es als Ausgangspunkt, nicht als fertige Produktivumgebung (n8n Docs, abgerufen Oktober 2026). Wir richten die Verbindung deshalb mit Zugriffsschutz, Protokollierung und Datensicherung ein.
- Eingehende Anfragen zusammenfassen und einem Team zuordnen
- CRM-Notizen nach Gesprächen strukturieren
- Verträge und Angebote nach Klauseln durchsuchen
- Bewerbungen nach festen Kriterien vorsortieren, mit Freigabe durch einen Menschen
Die Workflows selbst bauen wir in der Automatisierung: lokale Modelle in n8n-Workflows einbinden lassen. Beispiele und Aufbau: Marketing-Automatisierung mit n8n: Beispiele und Aufbau.
Was lokale Modelle schlechter können als Claude oder GPT
Lokale Open-Source-Modelle sind bei langen, kreativen Texten und komplexem Schlussfolgern meist schwächer als die großen Cloud-Modelle. Für Zusammenfassen, Klassifizieren und Extrahieren reichen sie oft aus. Ihre Stärke sind eng gesteckte Aufgaben, die sich oft wiederholen.
- Lange, stilsichere Marketing-Texte gelingen Claude oder GPT meist besser. Für Stufe-1-Daten bleibt die Cloud deshalb die erste Wahl.
- Ein lokales Modell kennt keine aktuellen Webinhalte. Recherche braucht eine eigene Anbindung.
- Größere Modelle brauchen teurere Hardware. Nicht jede Aufgabe rechtfertigt das.
- Updates und Sicherheit liegen bei Ihnen. Ohne feste Zuständigkeit veraltet das System.
Den direkten Vergleich zeigt die Übersicht Claude, ChatGPT, Gemini und lokale Modelle vergleichen.
Kosten der Einrichtung lokaler KI
Beratung kostet 1.500 bis 1.700 € pro Tag, zzgl. Reisekosten. Die Einrichtung rechnen wir als Projekt ab. Die Hardware kaufen oder mieten Sie selbst. Laufende Kosten an tiny web entstehen nicht.
Der Projektpreis der Einrichtung hängt von drei Dingen ab: dem gewünschten Anwendungsfall, der nötigen Leistungsfähigkeit und der Ausfallsicherheit. Sie bekommen nach dem Erstgespräch ein Angebot. Alle Preise sind netto. Wer nach der Übergabe Updates einspielt, legen wir im Angebot fest.
Datenschutz bei lokaler KI
Bei lokaler KI gehen keine Daten an einen KI-Anbieter. Die DSGVO gilt trotzdem: Zugriffsrechte, Löschfristen und Protokolle müssen Sie regeln. Wir richten die technischen Grundlagen ein, die rechtliche Prüfung bleibt bei Ihrem Datenschutzbeauftragten.
Ist der Server gemietet, brauchen Sie in der Regel weiter einen Auftragsverarbeitungsvertrag mit dem Hoster. Steht er im eigenen Haus, entfällt dieser Vertrag für das Modell. Die Stufenlogik erklärt der Ratgeber welche Daten in welche KI-Plattform dürfen.
Häufige Fragen zu lokaler KI
Ist lokale KI DSGVO-konform?
Welche Hardware brauchen wir für lokale KI?
Was kostet die Einrichtung lokaler KI?
Verkauft oder hostet tiny web die Hardware?
Sind lokale Modelle so gut wie Claude oder ChatGPT?
Laufen unsere Workflows aus Claude Projects auch lokal?
Verwandte Leistungen zu lokaler KI
Für unkritische Marketing-Daten passt der KI-Rollout mit einer Cloud-Plattform. Läuft ein Workflow täglich, bauen wir ihn in n8n.
Alle KI-Leistungen im Überblick: KI-Beratung für Marketing-Teams.
Nächster Schritt
Finden wir heraus, wo KI Ihrem Marketing-Team Zeit spart.
30 Minuten, unverbindlich, mit ehrlicher Einschätzung. Sie sprechen direkt mit Hans Jung.
- Antwort
- innerhalb eines Werktags
- Format
- Video-Call oder Telefon