Haben Sie sich auch schon über regelmässig wiederkehrende Besuche ab einer Seite von www.competitor-analysis.com gewundert? Kurz beschrieben: Es handelt sich hier um einen Monitoringdienst der im Auftrag von Dritten Ihre und andere Seiten Ihrer oder des Auftraggebers Konkurrenten regelmässig nach Veränderungen untersucht.
Das ist natürlich nicht verboten und für "beobachtete" Konkurrenten einerseits ein Kompliment, andererseits aber auch unangenehm. Wer den "Überwachungsauftrag" aufgegeben hat, ist diesem nämlich nicht bekannt. Zudem erfährt der Auftraggeber immer aus "erster Hand" wann der geschätzte Konkurrent ein neues, womöglich innovatives, Angebot lanciert hat; um dieses dann postum unter eigener Flagge lancieren zu können. Und genau hier liegt die Brisanz.
Wie geht competitor-analysis.com vor?
"Zum Glück" gibt sich der Crawler von competitor-analysis.com nicht als solcher aus. Was wohl aus Überlegungen um eine möglichst geschickte Tarnung resultierte, entpuppt sich in der Welt der Logfiles und Statistiken als Rohrkrepierer: der Auswertende wird nämlich schnell aufmerksam und schöpft Verdacht.
Ein Besuch des Crawlers schlägt sich im Logfile wiefolgt nieder:
Da sich der Crawler als "normaler User" ausgibt und erst noch einen Referer angibt, müssen dessen Besuche einem aufmerksamen Auswertenden früher oder später einfach auffallen. Auch dürfte ein wirklicher Mozilla wohl kaum einen HTTP/1.0, sonder viel eher HTTP/1.1 Request absetzen.
Fazit
Ist dieses ungeschickte Verhalten vielleicht doch bewusst, um dem Beobachteten die Möglichkeit zu geben sich zu schützen? Damit würde competitor-analysis.com aber seine eigenen Kunden um einen Grad an Effektivität bringen. Und wenn schon "friendly": dann würde sich der Crawler besser auch als solchen ausgeben mit Berücksichtigung von robots.txt. So hinterlässt dieser Dienst einen - zumindest bei mir - schlechten und unprofessionellen Eindruck.
Wie auch immer: diese IP wird bei mir ab sofort geblockt.
