Am 30. Oktober 2026 haben Google, Microsoft, OpenAI und Anthropic angekündigt, ein gemeinsames Signal in der robots.txt zu unterstützen, mit dem Website-Betreiber das Training von KI-Modellen mit ihren Inhalten ausschließen können. Das Signal stammt aus einem Entwurf bei der IETF, der Standardisierungsorganisation des Internets. Für Sie ist das wichtig, wenn Ihre Website Texte, Bilder oder Fachwissen enthält, das Sie nicht ungefragt in KI-Modellen wiederfinden möchten. Sofort umgesetzt ist es noch nicht.
Was ist passiert?
Ein Entwurf von Kevin Kelley von Anthropic beschreibt ein sogenanntes Policy-Token namens __usage_ai-training. Es wird wie ein Crawler-Name in der robots.txt verwendet. Der Entwurf selbst nennt als Beispiel eine Gruppe, die das Training für die ganze Website ablehnt und nur den Ordner /press-kit/ ausnimmt. Er führt keine neue Syntax ein, sondern nutzt die gewohnten Gruppen. Es ist ein Entwurf eines Einzelautors, die IETF hat ihn nicht beschlossen, er hat deshalb noch keinen offiziellen Standardstatus.
Microsoft hat die Details auf seinem Bing-Blog beschrieben. Danach beachtet Microsoft die neuen Angaben ab dem 1. Februar 2027. Sie ersetzen die bisherigen Angaben NoArchive und NoCache. Zusätzlich gibt es eine Einstellung, die nur einzelne Seiten betrifft: Mit ihr legen Sie fest, ob Inhalte zur Beantwortung von KI-Fragen herangezogen werden dürfen (im Text "Grounding" genannt). Microsoft weist darauf hin, dass ein Ausschluss die Sichtbarkeit in KI-Anwendungen verringert, die Eignung für die normalen Bing-Ergebnisse aber nicht berührt.
Auch Google hat auf dem Search-Central-Blog einen Beitrag zum Thema veröffentlicht. Dessen Text konnten wir nicht vollständig abrufen. Nach übereinstimmenden Berichten von Fachmedien will Google das Signal im Jahr 2027 unterstützen und es als Sperre für Google-Extended werten, wenn eine Website Google-Extended nicht gesondert angibt. Google-Extended steuert, ob Inhalte für Gemini genutzt werden. Die normale Google-Suche bleibt davon unberührt. Für OpenAI und Anthropic nennen die Berichte "in den kommenden Monaten" beziehungsweise einen bereits begonnenen Umbau, jeweils ohne festes Datum.
Was bedeutet das für Ihr Unternehmen?
Für die meisten kleinen Unternehmen ändert sich heute nichts. Ihre Seite wird weiterhin gefunden, und die Suche funktioniert wie bisher. Wichtig sind drei Punkte:
- Es ist eine Erklärung, kein technischer Zaun. Das Token drückt eine Präferenz zur Nutzung aus. Es verhindert nicht, dass ein Crawler die Seite abruft. Ob sich jeder Anbieter daran hält, können Sie nicht erzwingen.
- Fehlt die Angabe, gilt keine Präferenz. Wer nichts einträgt, hat nach dem Entwurf auch nichts erklärt.
- Sperren hat einen Preis. Wer Inhalte vom KI-Training oder von KI-Antworten ausschließt, wird dort seltener genannt. Für Betriebe, die in KI-Antworten auftauchen wollen, kann das ein Nachteil sein. Das gilt besonders für Microsofts Grounding-Einstellung, die ausdrücklich die Sichtbarkeit in KI-Erlebnissen betrifft.
Ob ein Opt-out für Sie sinnvoll ist, hängt davon ab, was Ihre Website zeigt. Ein Betrieb, der mit Auffindbarkeit Kunden gewinnt, will meist genannt werden. Ein Verlag, ein Fotograf oder eine Beratung mit viel eigenem Fachtext sieht das möglicherweise anders.
Was sollten Sie jetzt tun?
- Nichts überstürzen. Das Signal wird erst 2027 bei Google und Microsoft wirksam, bei OpenAI ist der Zeitpunkt offen.
- Ihre robots.txt ansehen. Viele Baukästen und Sicherheits-Plugins tragen dort bereits KI-Crawler ein, oft unbemerkt. Wissen Sie, was bei Ihnen steht?
- Entscheiden, was Sie wollen: in KI-Antworten genannt werden, nicht für Training genutzt werden, oder beides getrennt regeln.
- Bestehende, crawlerspezifische Regeln beibehalten. Wer heute schon bestimmte Crawler sperrt, sollte diese Regeln nicht gegen das neue Token tauschen, solange die Anbieter es nicht unterstützen.
- Wer NoArchive oder NoCache für Bing nutzt: Microsoft nennt Übergangsfristen bis zum 1. März 2027. Die Einzelheiten stehen im Bing-Blog.
Wie sich KI-Systeme grundsätzlich beeinflussen lassen, erklärt unser Beitrag zur GEO-Optimierung.
Was ist noch offen?
Der Entwurf kann sich bis zur Annahme noch ändern. Ob und wann weitere Anbieter wie Meta mitziehen, ist nicht bestätigt. Auch ist offen, wie verbindlich sich die Anbieter in der Praxis daran halten, und ob Verträge zwischen Website und KI-Anbieter das Signal überschreiben. Dieser Beitrag informiert allgemein und ist keine Rechtsberatung; zu urheberrechtlichen Fragen berät Sie eine Fachanwältin oder ein Fachanwalt. Stand ist der 1. November 2026.
Wie unterstützt KSTAQ?
Wir prüfen bei Websites, welche Crawler Ihre robots.txt zulässt, und stellen sie so ein, wie Sie es wollen. Das gehört zu SEO und GEO. Wenn Sie eine neue Website planen, richten wir die Vorgaben von Anfang an ein, siehe Webdesign. Schreiben Sie uns kurz, was Sie erreichen möchten.
Quellen
- Supporting a shared AI training control for websites, Google Search Central Blog, Oktober 2026
- Your content, your choice: clearer preferences for training and grounding, Bing Blog, 30.10.2026
- Machine-Readable Training Preference Signal (Internet-Draft), Kevin Kelley, IETF, 30.10.2026
- Google, Microsoft, OpenAI and Anthropic back one AI training opt-out, The Next Web, Oktober 2026