Da haben wir nicht schlecht gestaunt, als wir auf unseren Systemen massive Zugriffe vom Seekport Bot gesehen haben.
Die älteren werden sich erinnern: Seekport war eine deutsche Suchmaschine, welche Mitte der 2000er Jahre als Alternative zu Google an den Start gegangen ist. Geschafft hat sie es jedoch leider nicht – 2009 wurde das Insolvenzverfahren eröffnet. Ein Zombie Bot?
Aufgefallen war uns der Bot, weil er sich nicht an die Auszeichnung rel=“noindex“ im HTML gehalten hat und zudem massiv Downloads gestartet hat. Denn ein guter Bot hält sich daran und macht genau das nicht.
Eine kurze Recherche hat ergeben: Die Domain Seekport ist von Sistrix gekauft worden. Scheinbar betreibt Sistrix unter dem Namen Seekport eine neue Suchmaschine oder nutzt den „bekannten“ Bot für eigene Spider.
Im konkreten Fall hat der Bot – weil er sich nicht an die Auszeichnung gehalten hat – bei uns so viele Downloads von Binärdateien verursacht, dass wir handeln mussten: Wir haben den Bot ausgesperrt. Neben einem Eintrag in der robots.txt, haben wir den Bot auch auf Serverlevel, direkt im Varnish, ausgesperrt.
Das ging ganz einfach durch folgenden Eintrag in der Varnish-Config:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
sub vcl_recv { ...... # block for secific user agent # e.g. seekport, which does not follow # the rel="noindex" tag if (req.http.User-Agent ~ "Seekport") { return(synth(403,"Forbidden.")); } ..... } |
Diesen Eintrag haben wir anschließend in unserer Puppet-Konfiguration eingetragen, einen Tag erstellt und schon konnte die Anpassung für den betroffenen Dienst ausgerollt werden. Verifizieren, dass der Bot nun tatsächlich ausgesperrt ist, kann man das per cURL:
|
1 2 |
curl -I --user-agent "Mozilla/5.0 (compatible; Seekport Crawler; http://seekport.com/)" \ https://www.domain.name/ |
Das Ergebnis ist dann:
|
1 2 3 4 5 6 7 8 9 10 11 |
HTTP/1.1 403 Forbidden. date: Wed, 14 Jul 2021 06:58:02 GMT server: Varnish x-varnish: 1421139 content-type: text/html; charset=utf-8 content-length: 782 |
Im Moment prüfen wir noch, ob wir den Bot in all unseren Diensten aussperren sollen. Sofern wir weitere Informationen über den Bot finden und er sich an die Auszeichnung im HTML hält, werden wir erneut prüfen.
Vielleicht können die Kollegen von Sistrix als Kommentar ein paar weitere Informationen geben?
Bildquellen
- Zugriffe pro Minute vom Seekport-Bot: MFC Screenshot
- Titelbild – Zugriffe des Zombiebots: Scott Rodgerson via Unsplash | CC 0
Über Ingo Schmitt
Spricht Typoscript, php, und sql. Perl und bash verhandlungssicher.Besitzt java Grundkenntnisse.
Ist als CTO in der Geschäftsleitung zuständig für Entwicklung und Betrieb und bloggt hier über alles was technisch interessant ist.
- Profile:
