Die Besucher Ihrer Webseite: Mensch oder Roboter?

Die meisten Internetnutzer werden denken, dass Videos, Musik, Bilder und Downloads von Softwareprogrammen und sonstigen großen Dateien einen Großteil des Traffics verursachen.

Dies ist auch nicht falsch, jedoch wird der meiste Traffic mittlerweile, und das überrascht eventuell den ein oder anderen Leser, nicht von Menschen, sondern von Bots und Webcrawlern produziert. Hier handelt es sich um Programme, die von ihren Entwicklern mit dem Ziel geschrieben wurden, Informationen im Web zu sammeln, zu kategorisieren und das Ergebnis zu speichern.

Populäre Beispiele hierfür sind die Bots von Suchmaschinen wie Google, Bing, Yahoo! etc.

Die oftmals hohe Suchfrequenz dieser Bots sorgt dafür, dass zahlreiche Webseiten in Abständen von wenigen Stunden aufgesucht und nach neuen Inhalten untersucht werden. Dies alles verursacht natürlich Datentransfer, denn jede Datei muss an den Bot ausgeliefert werden, damit er sie indizieren kann.

Der Anteil am weltweiten Datentransfer wird von der Firma DeviceAtlas (einer Firma, die sich auf das Erkennen der Hard- und Software-Eigenschaften von Webclients spezialisiert hat), in ihrem Mobile Web Intelligence Report daher mittlerweile auf mehr als 50% beziffert:

deviceatlas

(Quelle und Zahlen: DeviceAtlas Mobile Web Intelligence Report for Q1 2016)

Diese Angabe resultiert natürlich aus einem Durchschnitt aller besuchten Webseiten. Je nach Webseite kann der Anteil an Bots niedriger oder aber auch höher ausfallen.

Dennoch ist deutlich erkennbar, dass nicht jeder Besucher einer Webseite ein Mensch ist. Durchschnittlich jeder zweite „Besucher“ besucht Ihre Webseite zwar in bestimmter Absicht, wird aber zum Beispiel nie ein Produkt bei Ihnen kaufen, nie einen Kommentar in Ihrem Blog oder Ihrem Forum verfassen und sich auch nie für die Gestaltung Ihrer Webseite und die Grafiken auf Ihrer Homepage begeistern.

Was tun?

Prinzipiell sind Bots nichts „Schlechtes“, denn viele von ihnen sorgen dafür, dass Ihre Webseite von Suchmaschinen indiziert und anschließend für Besucher im Suchindex ersichtlich ist. Dennoch können Bots auch zu Problemen führen und neben dem erhöhten Traffic auch zu einer erhöhten Serverlast führen. Dies ist vor allem dann der Fall, wenn zahlreiche Bots in kurzen Abständen und dann auch noch gleichzeitig Ihre Webseite besuchen.

Um dieses Phänomen zu entschärfen, kann man den Bots in der Datei robots.txt unter anderem mitteilen, welche Verzeichnisse von Bots ausgelesen werden dürfen und in welchem Zeitabstand der Besuch der Webseite erfolgen darf.

Weiterführende Informationen zur Konfiguration Ihrer robots.txt, die sie lediglich im Verzeichnis public_html ablegen müssen, finden Sie zum Beispiel unter folgenden Links:

https://de.wikipedia.org/wiki/Robots_Exclusion_Standard

https://wiki.selfhtml.org/wiki/Grundlagen/Robots.txt

Beachten Sie bitte, dass sich zwar die meisten Bots an die Vorgaben halten, die Berücksichtigung dieser Regeln jedoch freiwillig passiert. Kein Bot ist verpflichtet, sich an die von Ihnen hinterlegten Vorgaben zu halten. So sorgt der relativ unbekannte „MJ12bot“ laut der Studie von DeviceAtlas für den meisten Traffic, jedoch ist nicht ersichtlich, welche Ziele dieser Bot verfolgt und welchen Suchindex dieser Bot aufbaut. Die robots.txt ersetzt deshalb keinen Verzeichnisschutz und sorgt nicht zwingend dafür, dass Inhalte Ihrer Webseite nicht im Index von Suchmaschinen landen.

Dennoch handelt es sich bei der robots.txt um ein sinnvolles Werkzeug, welches von den meisten Suchmaschinen genutzt wird und vom Betreiber einer Webseite für das Steuern von Botzugriffen genutzt werden sollte.

Dieser Beitrag wurde unter Allgemein abgelegt und mit , , , verschlagwortet. Setze ein Lesezeichen auf den Permalink.