Cloudflare baut Kontrolle über KI-Crawler weiter aus

Cloudflare passt seine Möglichkeiten zur Kontrolle von KI-Crawlern an und will Webseitenbetreibern damit genauer bestimmen lassen, wie automatisierte Systeme auf ihre Inhalte zugreifen dürfen. Im Mittelpunkt stehen künftig getrennte Einstellungen für klassische Suchmaschinen, das Training von KI-Modellen und sogenannte KI-Agenten. Die neuen Einstellungen werden seit dem 15. September schrittweise für Kunden ausgerollt.

Cloudflare trennt Suche und KI-Training deutlicher

Eine wesentliche Änderung betrifft sogenannte Training Crawler. Cloudflare empfiehlt hier künftig nicht mehr generell das Blockieren, sondern die Einstellung „Disallow AI Training“. Dadurch sollen große Suchmaschinen-Crawler wie Googlebot, Bingbot oder Applebot eine Webseite weiterhin für Suchergebnisse erfassen können. Gleichzeitig wird ihnen signalisiert, dass die Inhalte nicht für das Training von KI-Systemen verwendet werden sollen.

Damit versucht Cloudflare, zwei bislang häufig miteinander vermischte Interessen voneinander zu trennen. Wer seine Inhalte vor der Nutzung für KI-Training schützen möchte, muss dadurch nicht zwangsläufig auf die Auffindbarkeit über klassische Suchmaschinen verzichten. Gerade für redaktionelle Webseiten, Blogs und andere Content-Angebote kann diese Unterscheidung relevant sein.

Cloudflare migriert bestehende Einstellungen automatisch

Wer bei Cloudflare bislang „Block AI Bots“ oder „Managed Robots.txt“ aktiviert hatte, muss die Konfiguration nicht komplett neu vornehmen. Cloudflare überführt bestehende Einstellungen im Laufe der kommenden Woche automatisch in die neuen Kategorien Search, Training und Agent.

War „Block AI Bots“ zuvor auf Blockieren gestellt, sieht die neue Standardkonfiguration Search: Allow, Training: Disallow AI Training und Agent: Block on pages with ads vor. Suchmaschinen dürfen die Inhalte damit grundsätzlich weiterhin erfassen, während KI-Training eingeschränkt wird. KI-Agenten werden auf Seiten mit Werbung blockiert. Manuelle Änderungen, die während der Umstellungsphase vorgenommen werden, sollen laut Cloudflare erhalten bleiben.

Neue KI-Crawler-Regeln geben Webseiten mehr Kontrolle

Wer die entsprechenden Funktionen bislang überhaupt nicht konfiguriert hat, muss ebenfalls mit keiner automatischen Verschärfung rechnen. In diesem Fall bleibt die bisherige Einstellung auf „Allow“. Cloudflare verändert die Zugriffsregeln also nicht pauschal für sämtliche Kunden.

Die neuen Möglichkeiten bauen auf den Maßnahmen auf, die Cloudflare bereits vor rund einem Jahr zur Kontrolle von KI-Bots eingeführt hatte. Damals rückte vor allem die Frage in den Mittelpunkt, ob Betreiber von Webseiten ausdrücklich darüber bestimmen können sollten, ob ihre Inhalte von KI-Systemen automatisiert erfasst werden.

Search, Training und Agent werden getrennt verwaltet

Mit der aktuellen Umstellung wird Cloudflare diese Kontrolle nun granularer gestalten. Statt eines einzelnen Schalters für KI-Bots können unterschiedliche Arten automatisierter Zugriffe separat behandelt werden. Das ist vor allem deshalb interessant, weil ein vollständiges Blockieren von Bots auch unerwünschte Folgen für die Sichtbarkeit einer Webseite haben kann.

Cloudflare rollt die Änderungen schrittweise aus. Dass die Migration abgeschlossen wurde, erkennst Du laut Unternehmen unter anderem daran, dass der bisherige Schalter „Block AI Bots“ aus dem Dashboard verschwunden ist. Wer Cloudflare nutzt und bereits eigene Regeln für KI-Crawler eingerichtet hat, sollte deshalb einen Blick auf die neue Aufteilung werfen und prüfen, ob Search, Training und Agent weiterhin den eigenen Vorstellungen entsprechend konfiguriert sind.