Bad Bots manuell auf Ihrem Shared Hosting sperren

Ihr Server oder Shared Hosting wird lahmgelegt durch massiven Netzwerk-Traffic verursacht durch Bot-Anfragen?
Wir haben Ihnen eine kurze Anleitung zusammengestellt, wie Sie diese Anfragen mittels verschiedener Einstellungen (z.B. durch Plesk) unterbinden können.

Beachten Sie bitte UNBEDINGT, dass diese Einstellungen bei jedem Update Ihres Hostings oder JTL-Shops erneut durchgeführt werden müssen!

 

1. Möglichkeit - Bearbeitung der robots.txt

Die robots.txt stellt eine einfache Möglichkeit dar, Bots und automatisierte Anfragen abzuwehren. Problem hierbei ist, dass dies nur als "Empfehlung" angesehen wird und teilweise von Bots ignoriert wird.

Öffnen Sie hierfür die robots.txt-Datei im Basisverzeichnis Ihres Hostings (z.B. /httpdocs) und editieren diese mit Ihrem bevorzugten Editor.

Fügen Sie folgende Zeilen hinzu:

User-agent: Fügen Sie hier den Namen des zu sperrenden Bots ein!
Disallow: /

Als Beispiel möchten wir den Crawler-Bot Claudebot aussperren.
Hierfür fügen wir folgende Zeilen in unsere robots.txt ein:

User-agent: Claudebot
Disallow: /

 

2. Möglichkeit - Bearbeitung der .htaccess-Datei

Ähnlich zur robots.txt ist dies eine einfache Möglichkeit, Bots und deren Anfragen auszusperren. Im Gegensatz zur robots.txt wird dies jedoch nicht nur als "Empfehlung" angesehen, da hier der Webserver aktiv die Anfrage prozessiert und überprüft, aber danach die Anfrage abweist.
Während Sie hier akut Bots aussperren können, gibt es hierbei jedoch den Nachteil, dass der Webserver die Anfragen trotzdem bearbeitet und dadurch Lasten erzeugt werden.

Wie bei der Bearbeitung der robots.txt-Datei, öffnen Sie hierfür das Basisverzeichnis Ihres Hostings (z.B. /httpdocs) und editieren die Datei .htaccess mit Ihrem bevorzugten Editor.

Fügen Sie exemplarisch folgende Zeilen an den Anfang der Datei hinzu:

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (PetalBot|UptimeBot|Amazonbot) [NC]
RewriteRule (.*) - [F,L]
</IfModule>

Wir haben hier bereits einige Bots aufgeführt, welche Webserver teilweise mit Anfragen überlasten oder als "Bad Bot" eingestuft sind.
Sie können hier ebenfalls weitere Bots angeben.