llms.txt-Generator: llms.txt und KI-Crawler-Regeln erzeugen
Erstellt eine llms.txt nach der Spezifikation von llmstxt.org und die passenden robots.txt-Regeln für GPTBot, ClaudeBot, Google-Extended und weitere KI-Crawler, getrennt nach Training und Suche. Läuft vollständig in Ihrem Browser. Nichts wird gesendet oder gespeichert.
Für Websites, die KI-Systemen ihre wichtigsten Seiten zeigen oder einzelne KI-Crawler sperren wollen. Nicht für Rankings in Google: Google Search liest keine llms.txt.
Generator
Ihre llms.txt entspricht der Spezifikation llmstxt.org (Version 2).
Erzeugt im Browser. Ihre Eingaben werden nicht übertragen und nicht gespeichert. Beim Neuladen der Seite sind sie weg.
llms.txt
# tiny web GmbH
> tiny web GmbH aus München baut und vermittelt KI-gestützte Marketing- und SEO-Workflows für Marketing-Teams in KMU. Geschäftsführer ist Hans Jung, SEO-Consultant seit 2018.
Die Website ist auf Deutsch. Preise stehen auf den Leistungsseiten. Die Tools sind kostenlos und ohne Anmeldung nutzbar.
## Leistungen
- [SEO-Beratung für KMU](https://tinyweb.com/seo/): Strategie, Audit, Umsetzung und Automation
- [KI-Beratung für Marketing-Teams](https://tinyweb.com/ki-workflows/): KI-Workflows mit Claude, ChatGPT, Gemini oder lokalen Modellen
- [Marketing-Automatisierung](https://tinyweb.com/automatisierung/): n8n-Workflows und individuelle Tools
- [SEO-Zweitmeinung](https://tinyweb.com/seo/zweitmeinung/): SEO-Strategie und Agenturleistung unabhängig prüfen lassen
- [Workshops im Vergleich](https://tinyweb.com/workshops/): Formate, Dauer und Preise
## Ratgeber
- [Claude Projects: Anleitung](https://tinyweb.com/claude-projects-grundlagen/): erstellen, Wissen hochladen, teilen
- [Claude, ChatGPT und Gemini im Vergleich](https://tinyweb.com/claude-chatgpt-gemini-vergleich/): welche Plattform wofür
- [KI-Sichtbarkeit (GEO)](https://tinyweb.com/ki-sichtbarkeit/): wie Websites in KI-Antworten erscheinen
## Tools
- [llms.txt-Generator](https://tinyweb.com/llms-txt-generator/): llms.txt und robots.txt-Regeln für KI-Crawler
- [Common Crawl Checker](https://tinyweb.com/common-crawl-checker/): Domain im Common-Crawl-Index prüfen
- [Canonical-Generator für PDFs](https://tinyweb.com/pdf-header-canonical-generator/): Canonical im HTTP-Header erzeugen
## Optional
- [Über uns](https://tinyweb.com/ueber-uns/): Hans Jung und die Arbeitsweise von tiny web
- [Erstgespräch buchen](https://tinyweb.com/kontakt/): 30 Minuten, Video oder Telefon
robots.txt
# KI-Crawler-Regeln, erzeugt mit dem llms.txt-Generator von tiny web
# Bot-Liste Stand Oktober 2026, Vorlage: Sichtbar in Suche und Training
# Training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Allow: /
# KI-Suche
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
# Nutzerabruf (robots.txt gilt hier nur eingeschränkt)
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Allow: /
Sitemap: https://tinyweb.com/sitemap.xml
Erzeugt im Browser. Ihre Eingaben werden nicht übertragen und nicht gespeichert.
Ergebnis erklärt
Was die erzeugte llms.txt und die robots.txt-Regeln bewirken
Die llms.txt fasst Ihre wichtigsten Seiten für Sprachmodelle und KI-Agenten zusammen. Die robots.txt-Regeln legen fest, welche KI-Crawler Ihre Seiten lesen dürfen. Nur die robots.txt hat eine verbindliche Wirkung auf Crawler, die sich an den Standard halten.
Die llms.txt
Die Datei beginnt mit Ihrem Namen und einer Kurzbeschreibung. Danach folgen Abschnitte mit Links und je einer Notiz. Ein KI-System, das die Datei liest, versteht so in wenigen Zeilen, wer Sie sind und welche Seiten zählen. Google Search liest sie nicht. Laut Ahrefs wurden 97 % aller llms.txt im Mai 2026 nie abgerufen. Die Datei ist deshalb eine kleine Ergänzung, kein Ranking-Hebel.
Die robots.txt-Regeln
Jeder Block nennt einen oder mehrere Crawler und sagt
Allow(erlauben) oderDisallow(sperren). Hat ein Crawler einen eigenen Block, gilt für ihn Ihre allgemeine GruppeUser-agent: *nicht mehr. Deshalb übernimmt der Generator Ihre gesperrten Verzeichnisse in jeden erlaubten Block. Bei Nutzerabrufen gilt die robots.txt nur eingeschränkt: OpenAI und Perplexity schreiben, dass sie Abrufe auf Nutzerwunsch nicht immer daran binden.Was Sie mit dem Ergebnis tun
Entscheiden Sie zuerst, ob Ihr Geschäftsmodell Training erlaubt. Für die meisten KMU-Websites lautet die Antwort ja: Ein Modell, das Ihre Marke kennt, nennt sie eher. Wie die drei Wege in KI-Antworten zusammenspielen, erklärt der Ratgeber Sichtbarkeit in ChatGPT, Claude und AI Overviews verbessern.
Anleitung
llms.txt und robots.txt hochladen und prüfen
Beide Dateien gehören ins Stammverzeichnis Ihrer Domain. Prüfen Sie danach im Browser, dass sie erreichbar sind. Die Wirkung zeigt sich über Tage bis Wochen.
- 01
Dateien ablegen
Laden Sie llms.txt und robots.txt in das Stammverzeichnis, bei WordPress zum Beispiel per FTP oder über ein SEO-Plugin mit robots.txt-Editor. Ersetzen Sie eine bestehende robots.txt nur, wenn Sie sie vorher in den Generator eingefügt haben.
- 02
Erreichbarkeit prüfen
Öffnen Sie ihre-domain.de/llms.txt und ihre-domain.de/robots.txt. Beide müssen ohne Weiterleitung als Text erscheinen. Ein Serverfehler beim Abruf der llms.txt meldet auch Chrome Lighthouse.
- 03
Wirkung beobachten
Crawler lesen die robots.txt neu, laut RFC 9309 spätestens nach 24 Stunden Cache. OpenAI und Perplexity nennen etwa 24 Stunden für ihre Suche. Ob Ihre Domain im Common Crawl steht, zeigt der Common Crawl Checker.
KI-Crawler im Detail
Elf KI-Crawler: Zweck, Gruppe und Folge einer Sperre
Die Anbieter trennen Training, Suche und Nutzerabruf in eigene Bots. So können Sie die Verlinkung in KI-Antworten erlauben und das Training sperren.
| Token | Anbieter | Gruppe | Folge einer Sperre | Quelle, Stand |
|---|---|---|---|---|
| GPTBot | OpenAI | Training | kein Training mit neuen Inhalten; ChatGPT-Suche bleibt | OpenAI Bots, abgerufen 21.10.2026 |
| ClaudeBot | Anthropic | Training | künftige Inhalte nicht im Training | Anthropic, 07.04.2026 |
| CCBot | Common Crawl | Training (Archiv) | fehlt in künftigen Archiven | Common Crawl, abgerufen 21.10.2026 |
| Google-Extended | Training und Grounding Gemini | kein Einfluss auf Google Suche und AI Overviews | Google, 15.10.2026 | |
| Applebot-Extended | Apple | Training | kein Einfluss auf Siri, Spotlight, Safari | Apple, 04.09.2026 |
| OAI-SearchBot | OpenAI | KI-Suche | nicht mehr Quelle in ChatGPT-Suchantworten | OpenAI Bots, abgerufen 21.10.2026 |
| Claude-SearchBot | Anthropic | KI-Suche | nicht im Suchindex von Claude | Anthropic, 07.04.2026 |
| PerplexityBot | Perplexity | KI-Suche | fehlt in Perplexity-Antworten | Perplexity, abgerufen 21.10.2026 |
| ChatGPT-User | OpenAI | Nutzerabruf | robots.txt gilt womöglich nicht | OpenAI Bots, abgerufen 21.10.2026 |
| Claude-User | Anthropic | Nutzerabruf | Claude kann Ihre Seite auf Nutzerwunsch nicht lesen | Anthropic, 07.04.2026 |
| Perplexity-User | Perplexity | Nutzerabruf | robots.txt wird in der Regel ignoriert | Perplexity, abgerufen 21.10.2026 |
Google-Extended und Applebot-Extended sind keine Crawler, sondern Steuerungs-Token für bereits gecrawlte Inhalte. Fremde Crawler geben sich mitunter als CCBot oder GPTBot aus; die Anbieter veröffentlichen IP-Listen zur Prüfung (zum Beispiel openai.com/gptbot.json, index.commoncrawl.org/ccbot.json).
Grenzen
Was der llms.txt-Generator nicht kann
Der Generator schreibt Dateien, er liest Ihre Website nicht aus und garantiert keine Nennung. Er ersetzt keine Prüfung der Seiten, auf die die llms.txt verweist.
- Er crawlt Ihre Website nicht. Sie wählen die Seiten selbst aus. Das ist Absicht: Eine llms.txt soll eine Auswahl sein, keine Sitemap.
- Er prüft nicht, ob die verlinkten Seiten erreichbar sind.
- Er schützt keine Daten. Eine robots.txt ist eine Bitte an Crawler, kein Zugriffsschutz.
- Er kann Nutzerabrufe nicht sicher sperren. Dafür braucht es Regeln auf dem Server, etwa nach IP-Listen der Anbieter.
- Er bringt keine Rankings in Google. Dafür zählen Indexierung, Inhalte und Links.
Wann das nicht passt: Wenn Sie viele Unterbereiche mit eigener Dokumentation haben, legen Sie je Bereich eine eigene llms.txt an (zum Beispiel /docs/llms.txt). Laut Spezifikation gilt dann die spezifischste Datei.
Methodik und Quellen des llms.txt-Generators
Die llms.txt folgt der Spezifikation llmstxt.org in Version 2 vom 10.08.2026. Die robots.txt-Regeln folgen RFC 9309. Die Bot-Liste stammt aus den Dokumentationen von OpenAI, Anthropic, Google, Perplexity, Apple und Common Crawl, Stand Oktober 2026.
Wir prüfen die Bot-Liste jährlich und bei jeder Änderung durch einen Anbieter. Neue Bots ergänzen wir mit Datum. Quellen:
- llmstxt.org, Spezifikation Version 2 (Jeremy Howard, Answer.AI), Stand 10.08.2026
- RFC 9309, Robots Exclusion Protocol, September 2022
- OpenAI: Overview of OpenAI Crawlers (developers.openai.com/api/docs/bots), abgerufen 21.10.2026
- Anthropic: Does Anthropic crawl data from the web (support.claude.com), Stand 07.04.2026
- Google: Google’s common crawlers (developers.google.com), Stand 15.10.2026; Leitfaden zu generativen KI-Funktionen, Stand 10.07.2026
- Perplexity: Perplexity Crawlers (docs.perplexity.ai), abgerufen 21.10.2026
- Apple: About Applebot (support.apple.com/en-us/119829), Stand 04.09.2026
- Common Crawl: CCBot und FAQ (commoncrawl.org), abgerufen 21.10.2026
- Ahrefs: llms.txt-Studie mit 137.210 Domains, 15.06.2026
„llms.txt-Generator von tiny web, https://tinyweb.com/llms-txt-generator/, Stand Oktober 2026.“
Häufige Fragen zum llms.txt-Generator
Wo lege ich die llms.txt ab?
Muss ich meine bestehende robots.txt ersetzen?
Werden meine Eingaben gespeichert?
Was passiert, wenn ich OAI-SearchBot sperre?
Hilft eine llms.txt bei Google?
Nächster Schritt
Prüfen wir, ob KI-Assistenten Ihr Unternehmen finden.
30 Minuten, unverbindlich, mit ehrlicher Einschätzung zu SEO und KI-Sichtbarkeit. Sie sprechen direkt mit Hans Jung.
- Antwort
- innerhalb eines Werktags
- Format
- Video-Call oder Telefon