Als ich Vor 5 Tagen den Traffic der letzten 4 Wochen für das ungenutzte Forum sah, musste ich schon leicht stutzen als ich merkte das dort ein Traffic von 6,5 GB angefallen ist ( zum Vergleich die Hauptseite hier hat gerademal 350 MB im gleichen Zeitraum verbraucht.).

Nach einer Kurzen Recherche meiner Serverlogs zeigte sich eine IP Addressrange 46.229.168.* eines amerikanischen Serverhosters als die Ursache, offenbar wurde von dieser Range aus großangelegt eine Suchmaschiene gefüttert, was an sich kein Problem ist, wenn diese Suchmaschiene, den Content scannnen würde und dann nach XX Tagen für einen Rescan wiederkommen würde. Sie verblieb jedoch dauerhaft scannend auf meiner Subdomain, fraß meinen Traffic und lief Amok.

Der Reine Traffic war mir eigendlich egal, aber mein MYSQL Server im Backend bekam auch allmählich Stresserscheinungen und so beschwerte sich mein Server im Backend desöfteren über eine GELBE ( > 50% ) bzw. ROTE ( > 90% ) Auslastung durch den MYSQL Prozess. Und auch hier zeigte sich wieder das Forum als Quelle, und der Grund war die dauernde Abfrage des Forums und aller Inhalte.

Da ich die Firma SemRush nicht kenne und sie auch nicht für die gängigen Suchmaschienen zu scannen schienen, schloß ich sie aus der Robots.txt aus, sie scannten weiter … ein kleiner Nervpunkt … ergo gleich einen RANGEBAN für diesen Serveranbieter … IPTABLES sei dank. Siehe da keine Last mehr , alles schick.

Also Danke SemRush, wiedermal für eine Sinnlose Aufgabe über meine Freizeit -.-