Asoziale Botbetreiber
27. April 2009 um 0:48 Uhr von Atari-Frosch
Ich habe gern Besucher auf meiner Website. Es zeigt mir, daß das, was ich hier mache, auf Interesse stößt und nicht sinnlos ist. Und natürlich sind unter den Besuchern auch Bots, also Programme, die beispielsweise meine Seiten für Suchmaschinen einsammeln, damit sie dort gefunden werden.
Aber es gibt auch andere Bots, deren Zweck offenbar einzig und allein darin besteht, Serverlast und Traffic hochzutreiben. Nein, ich meine nicht mal Angreifer, davon gibt es hier nur wenige, und meine Logs sagen mir, daß sie allesamt zurückgewiesen werden. Ich meine auch nicht mal die Harvester, die nur den Zweck haben, Mailadressen einzusammeln, um diese hinterher bespammen zu können, so ärgerlich diese auch sind; das Traffic-Volumen, das Harvester erzeugen, ist relativ gering, weil sie ausschließlich HTML-Dateien ziehen (und nur selten tieferen Links folgen).
Ab und zu kommt aber noch eine weitere Sorte an Bots dazu. Das sind solche, die einfach nur versuchen, in möglichst kurzer Zeit die gesamte Site herunterzuladen, mitsamt allen Bildern, und bevorzugt mit den Großversionen aller Bilder. So einen hatte ich mal wieder am 6. April. Ein Serverkunde von Hosteurope. Der zog mal eben binnen weniger Minuten etwa 250 MB durch die Leitung, ohne Sinn und Verstand und vermutlich auch ohne einen wirklichen Zweck. So nebenbei haut er mir dabei das Logfile unnötig voll, und meine Serverplatte ist nicht gerade riesig.
Die Browser-Kennung sieht aus wie bei einem Harvester (Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)). Das war mit Sicherheit kein menschlicher Besucher. Dazu war die Auswahl zu wahllos; menschliche Besucher erkenne ich im Log, selbst wenn sie sich ausführlich auf den Seiten umschauen.
Es geht (derzeit noch) nicht um den Traffic, und auch (noch) nicht um den Plattenplatz für die Serverlogs. Aber wenn das Mode wird, wird beides irgendwann ein Thema. Und dann können sich diejenigen, die den Über-Traffic produzieren, auf eine Rechnung gefaßt machen. Denn meistens befinden sich die Server mit diesen asozialen Bots in Deutschland oder in EU-Ländern, in denen ich sie durchaus belangen kann.
Mir geht es einfach gewaltig auf den Zeiger, daß ich hier 'ne Menge Arbeit reinstecke, und mir andere durch schlichte Hirnlosigkeit unnötige Arbeit und im Extremfall sogar Kosten verursachen. Testet Eure Bots gefälligst woanders, hier ist kein Bot-Kindergarten, und insbesondere mein Bilderverzeichnis ist kein Selbstbedienungsladen!