Zum Inhalt springen
AnmeldenKostenlos testen

Bot-Erkennung

MetriXs verwendet mehrere Ebenen, um Bot-Traffic aus Ihren Analysen herauszufiltern.

  • User-Agent-Filterung, die isbot-Bibliothek deckt 1500+ bekannte Bots ab
  • Automationsmuster, blockiert Puppeteer, Playwright, Selenium, python-requests, curl, Scrapy und mehr
  • Ratenlimitierung, max 120 Events pro IP pro Minute, plus ein pro-/24-Subnetz-Limit (200 Events / 5 Min) um verteilte Botnets zu erfassen (Redis-basiert)
  • Domain-Verifizierung, der Origin-Header muss mit der registrierten Domain uebereinstimmen
  • Accept-Language-Pruefung, Anfragen ohne gueltigen Accept-Language-Header werden verworfen
  • Browser-Fingerprint-Token, der Tracker kodiert echte Browser-Signale (Bildschirmgroesse, Zeitzone, Hardware-Concurrency, etc.) in einen Token, den rohe HTTP-Bots nicht produzieren koennen

Das Tracker-Skript erkennt auch Bots, bevor es Events sendet:

  • navigator.webdriver === true, Selenium/CDP
  • window._phantom, window.__nightmare, PhantomJS, Nightmare.js
  • window.Cypress, Cypress-Test-Runner
  • screen.width === 0, Headless Chrome
  • navigator.languages.length === 0, viele Headless-Umgebungen

MetriXs verwendet die MaxMind-ASN-Datenbank, um Traffic von bekannten Cloud- und Datacenter-Anbietern zu identifizieren. Events von diesen Netzwerken werden automatisch verworfen, da sie fast immer automatisiert sind:

  • AWS, Google Cloud, Azure, DigitalOcean, Hetzner, OVH, Linode
  • Alibaba Cloud, Tencent Cloud, Huawei Cloud, ByteDance, Cloudflare Workers
  • Und viele mehr

Fuegen Sie localStorage.setItem('metrixs_ignore', 'true') in Ihrer Browser-Konsole hinzu, um Ihre eigenen Besuche auszuschliessen.

Der Sicherheit-Tab des Dashboards zeigt eine Blockierte Bots-Karte: wie viele Bot-Anfragen im gewaehlten Zeitraum verworfen wurden, aufgeschluesselt nach Grund, Land und Seite. Blockierte Anfragen zaehlen nie in Ihre Statistik — die Karte zeigt nur, dass die Filterung aktiv ist.

Der Tracker zeichnet auf jeder Seite, die ihn laedt, einen Pageview auf, einschliesslich Fehlerseiten. Wenn eine Website offline geht oder umgebaut wird, pruefen Crawler die alten URLs noch monatelang erneut. Diese Aufrufe erscheinen als Pageviews auf Pfaden, die nicht mehr existieren, mit einem erkennbaren Muster: genau ein Pageview pro Besucher, kein Referrer, kein Scrollen und keine Zeit auf der Seite, und eine geografische Verteilung, die dem Proxy-Netzwerk des Crawlers folgt statt echten Lesern. Dieser Traffic fuehrt echtes JavaScript aus, daher wird er nicht blockiert.

Wenn Sie dieses Muster erkennen, drei Optionen, nach Wirkung sortiert:

  1. Entfernen Sie das Snippet aus der Fehlerseiten-Vorlage. Die gezielteste Loesung, wenn 404-Traffic reines Rauschen ist: Crawler und verirrte Besucher werden nicht mehr gezaehlt, waehrend echte Seiten vollstaendig weiter getrackt werden.
  2. 404s explizit tracken. Fuegen Sie das 404-Meta-Tag zur Fehlerseiten-Vorlage hinzu: Jede 404 erfasst dann auch ein 404-Event mit dem angeforderten Pfad in der Auto-tracked Events-Karte, sodass tote URLs mit echten Besuchern (zum Beispiel kaputte interne Links) sichtbar werden. Die Pageviews selbst zaehlen weiterhin.
  3. 410 Gone ausliefern fuer endgueltig entfernte Pfade. Crawler und Suchmaschinen de-indexieren 410-Antworten schneller als 404s, sodass der erneute Traffic mit der Zeit verebbt.