Testphase Techaro BotStopper (Anubis)

Seit einiger Zeit beobachten wir auf unseren Webservern eine massive Zunahme verdächtiger HTTP-Zugriffe, deren Zugriffsmuster dem von Web-Crawlern entspricht. Diese Crawler sammeln Daten von Webseiten, Online-Shops, Blogs, Foren usw., um sie für eigene Zwecke zu verwenden. Dabei weisen sie sich jedoch nicht wie üblich im HTTP User Agent Header als Crawler aus, sondern als ganz normale Web-Browser, vermutlich um Sperrungen oder Rate-Limits zu umgehen.

Die Zugriffe erfolgen von vielen unterschiedlichen IP-Adressen und Adressbereichen, viele dieser IP-Adressen gehören nicht zu Servern in Rechenzentren, sondern zu ganz normalen Internet-Anbietern, so dass es keine Hinweise auf die tatsächlichen Urheber dieser Zugriffe gibt. Hinter diesen Zugriffen stecken sehr wahrscheinlich zweifelhafte KI-Firmen, die sehr aggressiv Trainingsdaten für Large Language Modelle sammeln.

Auswirkungen für Webseitenbetreiber

Die schiere Menge dieser Anfragen verursacht auf manchen Webservern eine so hohe CPU-Last, dass die Erreichbarkeit von Webseiten spürbar leidet. Während seriöse Suchmaschinen-Bots wie Google oder Bing einen echten Mehrwert bieten, indem sie Besucher auf Ihre Seiten leiten, sammeln diese Crawler ausschließlich Trainingsdaten für eigene Zwecke – ohne Nutzen für Sie als Webseitenbetreiber.

Unsere Lösung: BotStopper (Anubis)

Für Kunden mit eigenen Webservern (ab Pro.B bzw. Reseller.Dedicated 100) bieten wir ab sofort auf Wunsch einen neuen Bot-Schutz mittels Techaro BotStopper (besser bekannt als Anubis) an. Die Software wird bereits von einigen großen Webseiten eingesetzt, und kann in vielen Fällen kostenpflichtige Dienste wie Cloudflare überflüssig machen.

So funktioniert der Schutz

BotStopper setzt auf ein einfaches Prinzip:

• Beim ersten Seitenaufruf muss der Browser eine kleine JavaScript-Rechenaufgabe lösen.
• Während dieser Zeit erscheint kurz eine Prüfseite (ähnlich wie bei Cloudflare).
• Nach erfolgreicher Prüfung erfolgt eine automatische Weiterleitung zur eigentlichen Webseite.
• Weitere Aufrufe sind dann ohne Prüfung möglich.

Da die meisten Crawler kein JavaScript beherrschen, scheitern sie an dieser Hürde.
Ausnahmen gibt es für seriöse Crawler wie Google, Bing oder ChatGPT – Ihre Seite bleibt also weiterhin in den relevanten Suchmaschinen sichtbar.

Aktueller Stand und Ausblick

Der BotStopper lässt sich derzeit nur global für alle Domains eines Servers aktivieren. In Zukunft planen wir, ihn auch gezielt für einzelne Domains freischalten zu können.

Wenn Sie BotStopper auf Ihrem Server (ab Pro.B / Dedicated.100) ausprobieren möchten, wenden Sie sich einfach an unsere Kundenbetreuung.