Angriff des Zombie Bots?

Da haben wir nicht schlecht gestaunt, als wir auf unseren Systemen massive Zugriffe vom Seekport Bot gesehen haben.

Die älteren werden sich erinnern: Seekport war eine deutsche Suchmaschine, welche Mitte der 2000er Jahre als Alternative zu Google an den Start gegangen ist. Geschafft hat sie es jedoch leider nicht – 2009 wurde das Insolvenzverfahren eröffnet. Ein Zombie Bot?

Aufgefallen war uns der Bot, weil er sich nicht an die Auszeichnung rel=“noindex“ im HTML gehalten hat und zudem massiv Downloads gestartet hat. Denn ein guter Bot hält sich daran und macht genau das nicht.

Auswertung aus graylog, Zugruffe für den User-Agent SeekPort

Eine kurze Recherche hat ergeben: Die Domain Seekport ist von Sistrix gekauft worden. Scheinbar betreibt Sistrix unter dem Namen Seekport eine neue Suchmaschine oder nutzt den „bekannten“ Bot für eigene Spider.

Im konkreten Fall hat der Bot  – weil er sich nicht an die Auszeichnung gehalten hat – bei uns so viele Downloads von Binärdateien verursacht, dass wir handeln mussten: Wir haben den Bot ausgesperrt. Neben einem Eintrag in der robots.txt, haben wir den Bot auch auf Serverlevel, direkt im Varnish, ausgesperrt.

Das ging ganz einfach durch folgenden Eintrag in der Varnish-Config:

Diesen Eintrag haben wir anschließend in unserer Puppet-Konfiguration eingetragen, einen Tag erstellt und schon konnte die Anpassung für den betroffenen Dienst ausgerollt werden. Verifizieren, dass der Bot nun tatsächlich ausgesperrt ist, kann man das per cURL:

Das Ergebnis ist dann:

Im Moment prüfen wir noch, ob wir den Bot in all unseren Diensten aussperren sollen. Sofern wir weitere Informationen über den Bot finden und er sich an die Auszeichnung im HTML hält, werden wir erneut prüfen.

Vielleicht können die Kollegen von Sistrix als Kommentar ein paar weitere Informationen geben?

Bildquellen

Über Ingo Schmitt

Spricht Typoscript, php, und sql. Perl und bash verhandlungssicher.Besitzt java Grundkenntnisse.
Ist als CTO in der Geschäftsleitung zuständig für Entwicklung und Betrieb und bloggt hier über alles was technisch interessant ist.

Homepage: http://www.marketing-factory.de

      Profile:
    • googleplus
    • linkedin
    • skype
    • twitter

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.