Wer zur Analyse der Besucherstatistiken mit einem Webanalyse-Tool wie beispielsweise Google Analytics oder Piwik arbeitet, der wird ein Lied davon singen können: Unerwünschte Besucher-Peaks und falsche Statistiken durch Referrer-Spam.
Typischer Referrer-Spam kommt unter anderem von:
- buttons-for-website.com
- darodar.com
- floating-share-buttons.com
- googlsucks.com
- hulfingtonpost.com
- ilovevitaly.com
- makemoneyonline.com
- semalt.com
- simple-share-buttons.com
- social-buttons.com
- webmonetizer.net
- 4webmasters.org
Inhaltsverzeichnis:
Was ist Referrer-Spam?
Referrer-Spam ist eine Sonderform des Suchmaschinen-Spamming, bei dem Webseiten massenhaft aufgerufen werden, um in den Referal- (Verweis-) Informationen der Statistiken der angegriffenen Webseiten aufzutauchen. Hierdurch wird – je nach Aggressivität – nicht nur zusätzlicher Datenverkehr generiert, sondern es werden auch die relevanten Informationen für die Auswertung der Logdateien verfälscht.
Wie man anhand der Grafik sehen kann, ist bspw. social-buttons.com derzeit einer der aggressivsten Referrer-Spams und verfolgt – wie auch die anderen seiner Art – das einfache Ziel, die Aufmerksamkeit der Webseitenbetreiber auf sich zu lenken und damit Besuchertraffic zu generieren. Als Webmaster kommen Sie nicht umhin, sich für den unbekannten Traffic-Lieferanten zu interessieren und werden sich also dessen Seite ansehen, um an nähere Informationen zu gelangen… einfacher kann man kaum an (mehr oder minder guten) Traffic kommen, ohne auch nur einen Cent dafür bezahlen zu müssen.
Manche Referrer-Spammer gehen auch noch einen Schritt weiter:
- Es wird aggressiv versucht die Reichweite und Besuchermenge zu erhöhen, um die Zielseite zu monetarisieren (Bannerschaltungen, Affiliate Programme, etc.).
- Dem Besucher werden unbemerkt Cookies von Shoppingportalen untergeschoben, um bei späteren Umsätzen eine Provision zu erhalten (bspw. bei Amazon).
- Der Spammer hofft, durch die Veröffentlichung von Webseitenstatistiken (oder Beiträge wie dem, den Sie hier gerade lesen), reale und damit für Google relevante Backlinks zu erhalten.
Die obig genannten Punkte sind der Grund, wieso ich in diesem Beitrag auf keine der genannten Spamseiten verlinke. Wenn Sie als Webseitenbetreiber auf eine solche Webseite verweisen, trifft es im Falle einer Abstrafung dieser Seite im schlimmsten Fall auch Sie selbst.
Was also tun? Im Folgenden werden einige wirkungsvolle Maßnahmen beschrieben, um die unerwünschten Referrer-Spammer sowohl serverseitig (NGINX, Apache, PHP) als auch in Google Analytics zu blockieren bzw. herauszufiltern.
Wie kann man Referrer-Spam erkennen?
Es gibt kostenlose SEO Tools wie beispielsweise Google Analytics, Piwik oder Open Web Analytics, mit deren Hilfe Sie unter anderem messen können, wie viele Besucher Ihre Webseite hat und woher diese kommen. Wenn Sie sich dafür interessieren, von welchen Quellen die Nutzer Ihre Webseite besuchen, werden Sie zwangsläufig auf Referrer-Spam stoßen. Dieser täuscht Ihnen vor, dass Sie von einer Quelle besonders häufig Zugriffe erhalten und hofft darauf, Ihre Aufmerksamtkeit zu erregen, so dass Sie die Quellseite besuchen.
Referrer Spam mit PHP blockieren
<?php # spam referrers list $spamrefs = [ 'buttons-for-website.com/', 'darodar.com/', 'econom.co/', 'floating-share-buttons.com/', 'free-social-buttons.com/', 'googlsucks.com/', 'hulfingtonpost.com/', 'ilovevitaly.com/', 'ilovevitaly.co/', 'makemoneyonline.com/', 'semalt.com/', 'simple-share-buttons.com/', 'social-buttons.com/', 'trafficmonetizer.org/', 'priceg.com' 'webmonetizer.net', '4webmasters.org' ]; # see ya foreach ($spamrefs as $value) { if (strpos($_SERVER['HTTP_REFERER'], $value) !== false) { header('Location: http://google.com/'); } } ?>
Serverseitige Blockade (NGINX)
server { location / { if ($http_referer ~* (buttons-for-website.com|darodar.com|econom.co|floating-share-buttons.com|free-social-buttons.com|googlsucks.com|ilovevitaly.com|ilovevitaly.co|makemoneyonline.com|simple-share-buttons.com|social-buttons.com|semalt.com|trafficmonetizer.org|webmonetizer.net|4webmasters.org) ) { rewrite ^ http://google.com permanent; } } }
Serverseitige Blockade per .htaccess (Apache)
Eine recht einfach Möglichkeit ist folgender Eintrag in die .htaccess des Apache Webservers. Dieser bewirkt, dass der Referrer blockiert und an sich selbst zurückgeleitet wird:
RewriteEngine On # Referrer Spam blockieren RewriteCond %{HTTP_REFERER} ^http://.*(buttons-for-website|darodar|econom|floating-share-buttons|free-social-buttons|googlsucks|ilovevitaly|ilovevitaly|makemoneyonline|simple-share-buttons|social-buttons|semalt|trafficmonetizer|webmonetizer|4webmasters) [NC] RewriteRule .* %{HTTP_REFERER} [R,L]
Weitere Spam-Referrers, die Sie auf Ihrer Webseite blockieren möchten, tragen Sie einfach innerhalb der Klammern ein und fügen dazwischen einen Trenner ein.
Wer es etwas ausführlicher haben möchte, kann auch folgenden Eintrag in seiner .htaccess verwenden. Die Liste ist sicherlich nicht vollständig, umfasst jedoch die meisten der derzeit bekannten Spam-Referrers und kann bei Bedarf beliebig erweitert werden. Fügen Sie die folgenden Zeilen einfach in Ihre .htaccess ein.
Fertiger htaccess-Code gegen den Spam:
# Referrer Spam blockieren RewriteEngine On RewriteCond %{HTTP_REFERER} ^http://.*200please\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*4webmasters\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*7makemoneyonline.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*adviceforum\.info/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*backgroundpictures\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*baixar-musicas-gratis\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*best\-seo\-offer\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*bestwebsitesawards\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-website\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buttons\-for\-your\-website\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*buy\-cheap\-online\.info/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*cenoval\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*darodar\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*disqus\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*econom\.co/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*embedle\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*extener\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*fbfreegifts\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*feedouble\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*floating\-share\-buttons\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*free\-social\-buttons\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*get\-free\-traffic\-now\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*googlsucks\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*hulfingtonpost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*humanorightswatch\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*ilovevitaly\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*iskalko\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joinandplay\.me/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*joingames\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*kambasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*lumb\.co/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*makemoneyonline.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*muchosol\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*musicprojectfoundation\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*myftpupload\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*myprintscreen\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*o\-o\-6\-o\-o\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openfrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*openmediasoft\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*priceg\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*prodvigator\.ua/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*savetubevideo\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*semalt\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*simple\-share\-buttons\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*social\-buttons\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.ru/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*softomix\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*soundfrost\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*srecorder\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*trafficmonetizer\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*vapmedia\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*videofrost\.com/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*webmonetizer\.net/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youporn\-forum\.ga/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*youtubedownload\.org/ [NC,OR] RewriteCond %{HTTP_REFERER} ^http://.*zazagames\.org/ [NC] RewriteRule ^(.*)$ – [F,L]
Egal für welche der beiden Varianten Sie sich entscheiden: Beim Blockieren von Referral-Spam via .htaccess werden die Log-Dateien des Webservers weiteren mit Daten zugemüllt. Dieses Problem können Sie umgehen, indem Sie in der httpd.conf des Apache Webserver die Zeile zum CustomLog folgendermaßen ergänzen:
CustomLog logs/access.log common env=!nolog
…und die RewriteRule in der .htaccess entsprechend erweitern:
RewriteRule .* - [F,L,E=nolog:1]
Hinweis:
Einige Spam-Referrals können nicht per .htaccess ausgeschlossen werden, da diese nicht direkt auf die Webseite zugreifen, sondern lediglich die Trackingcodes von Google Analytics aufrufen. Empfehlenswert ist es also, dafür ein paar spezielle Filter einzurichten.
Referrer Spam in Google Analytics: Filter einrichten
Bei Referrer Spam gehen nicht zwangsläufig alle Zugriffe (Bots, Ghost Hits, Crawler) auf die Webseite, um einen Hit zu verursachen, sondern rufen direkt die Trackingcodes von Google Analytics auf, nur um in den Auswertungen sichtbar zu sein. In den meisten Fällen betrifft dies lediglich die Tracking-Property -1 (XX-XXXXXXXX-1) – mit einer neuen Tracking-ID könnte man das Problem also möglicherweise recht einfach beheben (getestet habe ich das nicht, denn selbst wenn es funktioniert gehe ich davon aus, dass es nur eine Frage der Zeit ist, bis auch weitere Tracking-IDs betroffen sind. Zudem gehen beim Anlegen einer neuen Property die Tracking-Daten der alten Property verloren).
Eine weitaus effizientere Lösung ist das Anlegen von Filtern in Google Analytics. Diese greifen zwar leider nicht rückwirkend, schließen jedoch für die Zukunft alle unerwünschten Referrer aus der Statistik aus. Ab dem Zeitpunkt der Aktivierung des Filters werden die Zugriffs- bzw. Verweisdaten also sauber getrackt.
Google Analytics – Referrer Spam-Filter einrichten:
Loggen Sie sich in Ihren Google Analytics Account ein und rufen Sie im Bereich Verwalten unter Konto die Webseite auf, deren Statistik von Referrer Spam betroffen ist. Im Anschluss klicken Sie im rechten Bereich unter Datenansicht auf Einstellungen der Datenansicht:
Auf der nachfolgenden Seite aktivieren Sie die Option Alle Treffer von bekannten Bots und Spidern ausschließen und bestätigen die Änderung mit einem Klick auf Speichern am Ende der Seite. Durch diese Einstellung werden die Google bereits bekannten Bots automatisch ausgeschlossen.
Im nächsten Schritt erfolgt nun die Einrichtung der Filter für unseren speziellen Referral-Spam. Dazu klicken Sie im Navigationsbereich auf der linken Seite auf Filter und legen dort einen neuen Filter an (+ Neuer Filter) mit folgenden Einstellungen an:
Der Filtername kann frei ausgewählt werden. Ich habe ihm die Bezeichnung „Referrer Bots blockieren“ gegeben, Sie können ihn aber auch „Botblocker“ oder „Ätschibätsch“ nennen. Bei Filtertyp muss „Benutzerdefiniert“ ausgewählt werden, damit die weiteren Einstellungsmöglichkeiten zum Ausschließen der Verweisseiten erscheinen. Bei Filterfeld wählen Sie „Verweis“ und geben dort dann folgendes Filtermuster ein:
(?:([^. ]+)\.)?(?:([^.]+)\.)?(buttons-for-website|darodar|econom|floating-share-buttons|free-social-buttons|googlsucks|ilovevitaly|ilovevitaly|makemoneyonline|simple-share-buttons|social-buttons|semalt|trafficmonetizer|webmonetizer)\.(com?|de|net|org)
Durch diesen Eintrag (Regular Expression) werden gleich mehrere Varianten von Referrern abgedeckt, so dass nicht für jede einzelne Domain ein eigener Filter angelegt werden muss.
Das war’s auch schon. Ab sofort wird der unerwünschte Referrer-Spam automatisch aus Ihrer Google Analytics Statistik herausgefiltert.
Google Analytics – Neue Property erstellen:
Die schnellste Möglichkeit, unerwünschten Referrer-Spam zu blockieren, ist das Anlegen einer neuen Tracking-Property – allerdings ist diese Vorgehensweise mit Vorsicht zu genießen! Eine neue Tracking-Property anzulegen bedeutet auch, dass das komplette Tracking für diese ID neu beginnt – die Tracking-Daten der „alten“ ID können nicht übernommen werden! Auch ist es nur eine Frage der Zeit, bis sich die Bots und Crawler anpassen und automatisiert weitere Properties ansteuern. Wenn überhaupt empfiehlt sich diese Vorgehensweise m.M.n. also nur bei neuen Webseiten oder Webseiten, bei denen Google Analytics neu eingebunden wird.
Standardmäßig hat die erste Tracking-Property die ID 1 (UA-xxxxxx-1) und genau darüber kommen die Referrer-Spam-Zugriffe. Über die Google Analytics Verwaltung können Sie eine neue Property erstellen, der dann automatisch die ID 2, 3, usw. zugeteilt wird: