Froschs Blog

Computer und was das Leben sonst noch so zu bieten hat

Zur Website | Impressum

gitweb und die robots.txt

Donnerstag, 5. März 2020

In den letzten paar Monaten fiel mir auf, daß unterschiedlichste Hosts ziemlich fleißig meine Gitweb-Site crawlten, und zwar allesamt mit der Crawler-Kennung „MJ12Bot“. Dieser Crawler wird tatsächlich dezentral betrieben, das heißt, wer mag, kann sich das Ding auf seinem Host installieren und ihn dann fleißig laufen lassen. Gemeldet werden die Daten dann wohl an eine zentrale Datenbank.

Weil ich das nicht wollte, hatte ich den MJ12Bot in die robots.txt für die Gitweb-Site eingetragen. Den MJ12Bot schien das nicht weiter zu stören. Ich nahm ihn dann vor einiger Zeit in den badbots-Filter von fail2ban auf, weil ich ihn offenbar nicht anders loswerden konnte.

Heute stellte ich dann „endlich“ fest, daß ich hier mal wieder ein PEBCAK produziert hatte … (mehr …)


gitweb auf nginx

Montag, 18. April 2016

Hey, endlich mal wieder ein Artikel mit IT-Bezug! 😉 Gestern habe ich von Dr. Michael Stehmann, dem Autor der Anwaltssoftware Canzeley, eine ausführliche und gute Einführung in git incl. einer lokalen Installation von gitweb (unter apache2) bekommen. Nochmals vielen Dank dafür! Heute wollte ich das ganze mal so in die Praxis umsetzen, wie es für mich am sinnvollsten erscheint.

Ziel: Der Git-Server soll auf dem neueren meiner beiden Server laufen, und zwar mit gitweb als grafischem Browser, damit ich meine Projekte auf Dauer auch anderen zugänglich machen kann. Weil ich dort keinen Apachen mehr betreibe, sondern eben nginx, habe ich mir da einen V-Host für gitweb eingerichtet und (mit Hilfe des WWW) nginx erklärt, wie er mit diesem umgehen soll. (mehr …)