Bots verbringen in der Regel nicht viel Zeit auf einer Website - sie suchen lediglich nach Aktualisierungen und ziehen weiter. Die meiste Zeit verhalten sie sich wie Besucher, indem sie dieselbe Seite während verschiedener Sitzungen wiederholt besuchen. Wenn Sie mehrere Besuche auf derselben Seite innerhalb weniger Sekunden feststellen und jeder Besuch eine neue Sitzung erzeugt (auch wenn er von derselben IP-Adresse oder demselben Gerät aus erfolgt), handelt es sich mit ziemlicher Sicherheit um einen Bot.
Die einzige Ausnahme könnte sein, wenn ein echter Benutzer Cookies blockiert hat oder im Inkognito-Modus surft. Aufgrund der Geschwindigkeit und der sich wiederholenden Art dieser Besuche ist es jedoch höchst unwahrscheinlich, dass es sich um menschliches Verhalten handelt.
In unserer App, verwenden wir eine Bibliothek namens CrawlerDetect. CrawlerDetect ist eine Open-Source-PHP-Bibliothek, die weit verbreitet ist, um Web-Crawler und Bots anhand ihrer User-Agent-Strings und anderer HTTP-Header zu identifizieren. Dieses Tool ist besonders nützlich für Website-Besitzer, -Entwickler und -Analysten, die nicht-menschlichen Datenverkehr herausfiltern müssen, um genaue Analysen zu gewährleisten oder um Crawler-spezifische Regeln zu implementieren. Es verwendet die folgende Liste: Crawlers.txt.
Obwohl wir bereits Tausende von Bots herausfiltern, schlüpfen immer noch einige durch, weil sich die User-Agent-Strings ständig ändern. Wir versichern Ihnen, dass wir versuchen werden, unsere Filter zu verbessern und zu sehen, wie wir eine größere Anzahl von Bots ignorieren können, da sie sich ständig ändern.
Bis dahin gibt es einen Workaround, um einige von ihnen manuell anhand ihrer IP-Adressen zu ignorieren. Sie können den Artikel "Warum erhalte ich Besuche aus Ländern, mit denen meine Website nichts zu tun hat?" in unserem Abschnitt über die Funktionsweise der Funktionen lesen oder den Zugang zu einigen Bots blockieren, indem Sie die Datei robot.txt erstellen und einige der wichtigsten Bots ausschließen.