Welche Suchmaschine klaut wo?
Dienstag, 1. Februar 2011
Auf diversen Websites steht zu lesen, daß Google meint, die Suchmaschine Bing würde dort Ergebnisse abgreifen, um seine eigenen zu verbessern. So berichten das zum Beispiel Heise (Google: Bing guckt ab) und Golem (Google: Microsoft schummelt bei Bing). Nur: Die Betreiber von Google sollten, was das Thema „klauen” angeht, lieber mal ganz stille sein.
Die Sache sieht hier nämlich so aus: (mehr …)
Asoziale Botbetreiber
Montag, 27. April 2009
Ich habe gern Besucher auf meiner Website. Es zeigt mir, daß das, was ich hier mache, auf Interesse stößt und nicht sinnlos ist. Und natürlich sind unter den Besuchern auch Bots, also Programme, die beispielsweise meine Seiten für Suchmaschinen einsammeln, damit sie dort gefunden werden.
Aber es gibt auch andere Bots, deren Zweck offenbar einzig und allein darin besteht, Serverlast und Traffic hochzutreiben. Nein, ich meine nicht mal Angreifer, davon gibt es hier nur wenige, und meine Logs sagen mir, daß sie allesamt zurückgewiesen werden. Ich meine auch nicht mal die Harvester, die nur den Zweck haben, Mailadressen einzusammeln, um diese hinterher bespammen zu können, so ärgerlich diese auch sind; das Traffic-Volumen, das Harvester erzeugen, ist relativ gering, weil sie ausschließlich HTML-Dateien ziehen (und nur selten tieferen Links folgen). (mehr …)
Microsoft klaut Bilder
Dienstag, 24. Februar 2009
Direkt aus Redmond kommt der Bot, der sich seit kurzem Stück für Stück alle großen Bilder meiner Website zieht. Der IP-Block 207.46.92.* ist laut whois eindeutig Microsoft zuzuordnen. Damit's nicht so auffällt, holt das Teil die Bilder nicht in einem Rutsch, sondern immer mal hier eins und mal da eins. Dabei weist sich das Teil auch nicht wirklich als Bot aus; als User-Agent ist LWP::Simple/5.812 bzw. LWP::Simple/5.814 angegeben. Das Referer-Feld bleibt ganz leer. Ein typischer Eintrag:
Leutz, Ihr müßt es ja echt nötig haben. Ich trag den Block jetzt gleich in die .htaccess ein, dann ist Ruhe.
Markenrechts-Traffic-Sauger
Montag, 24. März 2008
Alle halbe Jahre saugt bei mir ein Bot sämtliche Bilder ab. Das Teil nennt sich BPImageWalker und kommt von www.bdbrandprotect.com. Da mir diese Blutsauger damit eine Menge Traffic klauen, habe ich den entsprechenden IP-Bereich jetzt mal via .htaccess geblockt:
Jedem Webmaster, der viele Bilder auf seiner Seite hat und unnötigen Traffic vermeiden möchte, sei hiermit das selbe ans Herz gelegt. Danke an Michael für den Tip 🙂