Bot-Traffic erkennen: Logs und GA4 richtig prüfen

Bot-Traffic ist jede Anfrage an Ihre Website, die von Software gestellt wird und nicht von einem Menschen vor einem Bildschirm. Diese eine Definition umfasst so unterschiedliche Dinge wie Googlebot, der eine Produktseite indexiert, eine Verfügbarkeitsüberwachung, die Ihre Startseite im Minutentakt abruft, einen Scraper, der Ihre Preise abgreift, und ein Skript, das eine geleakte Passwortliste gegen Ihre Anmeldung durchprobiert. Sie über einen Kamm zu scheren ist der Fehler. In diesem Leitfaden geht es darum, sie auseinanderzuhalten, denn die richtige Reaktion ist bei jedem eine völlig andere.

Das Wichtigste in Kürze

• Bot-Traffic ist kein einheitliches Phänomen. Er zerfällt in nützliche Automatisierung, feindliche Automatisierung und synthetischen Traffic, den Sie selbst erzeugt haben, und für jede Gruppe ist im Unternehmen üblicherweise eine andere Stelle zuständig.
• Google Analytics 4 schließt Traffic bekannter Bots und Spider automatisch aus, und zwar anhand der IAB/MRC International Spiders and Bots List. Dieser Filter wirkt tatsächlich, aber er arbeitet mit einer Liste bekannter Bots, und das ist genau das falsche Werkzeug gegen Automatisierung, die gerade nicht bekannt sein will.
• User-Agent-Angaben und robots.txt sind Erklärungen, keine Kontrollen. Beides funktioniert bei gutwilligen Bots einwandfrei und bedeutet dem Rest nichts.
• Identität sollte auf Netzwerkebene geprüft werden (Reverse DNS oder veröffentlichte IP-Bereiche), nicht aus einem Header übernommen werden, den jeder Client selbst setzen kann.
• Sobald Automatisierung sich Anmeldungen, Kasse, Formulare oder Preise vornimmt, ist sie kein Ärgernis mehr in der Berichterstattung, sondern ein Sicherheitsthema mit einem anderen Eskalationsweg.

Was gilt eigentlich als Bot-Traffic?

Die brauchbare Trennlinie verläuft entlang der Absicht des Betreibers, nicht entlang der Technik. Ein Headless-Browser ist nicht per se bösartig; Ihre eigene QA-Suite betreibt vermutlich einen. Drei Fragen klären die meisten Fälle: Wer betreibt das, was nimmt oder tut die Software, und hat sie sich zu erkennen gegeben? Ein Crawler, der sich ausweist und Ihre Crawl-Vorgaben beachtet, ist ein Gast mit Visitenkarte. Eine Reihe von Privatanschluss-IPs, die Ihre Produkt-URLs mit drei Anfragen pro Sekunde hinter einem gewöhnlichen Chrome-User-Agent durchgeht, ist etwas anderes, auch wenn beide technisch bloß Seiten abrufen.

Die drei Kategorien, die man trennen sollte

Nützliche Automatisierung

Diese Bots gibt es, weil Sie davon profitieren, sichtbar oder beobachtbar zu sein. Suchmaschinen-Crawler wie Googlebot und Bingbot bauen den Index auf, von dem Ihr organischer Traffic abhängt. Verfügbarkeitsüberwachungen rufen Seiten nach Zeitplan ab, damit Sie von einer Störung erfahren, bevor Ihre Kunden es tun. Crawler von Preisvergleichs- und Partnerprogrammen können Teil eines Vertriebskanals sein, den Sie ausdrücklich wollen. Link-Vorschau-Dienste erzeugen die Kachel, die jemand sieht, wenn Ihre URL in einem Chat geteilt wird.

Neu in dieser Gruppe ist der KI-Crawler. OpenAI dokumentiert GPTBot, Anthropic dokumentiert ClaudeBot, und Common Crawl betreibt seit Langem CCBot. Jeder Anbieter veröffentlicht eine Dokumentation, die den Agenten beschreibt und erklärt, wie man ihn zulässt oder ausschließt. Ob Sie sie wollen, ist eine geschäftliche Entscheidung darüber, wie Ihre Inhalte genutzt werden, und keine Frage der technischen Abwehr. Bemerkenswert ist: Sie zu sperren ist eine echte Wahl mit Kosten auf beiden Seiten, was für die nächste Kategorie nicht gilt.

Feindliche Automatisierung

Hier ist der Gewinn des Betreibers Ihr Verlust. Inhalts- und Preis-Scraper kopieren Ihren Katalog, oft mit einer Anfragerate, die Sie echte Serverkapazität kostet. Skripte zum Credential Stuffing spielen Kombinationen aus Benutzername und Passwort aus fremden Datenlecks gegen Ihren Anmelde-Endpunkt, weshalb ein Anstieg fehlgeschlagener Anmeldungen von vielen IPs binnen Stunden Aufmerksamkeit verdient und nicht erst im nächsten Berichtszyklus. Klickbetrug verbraucht Werbebudget für Klicks, die kein Mensch ausgelöst hat. Formular- und Kommentarspam verschmutzt Ihr CRM und, schlimmer noch, Ihre Conversion-Daten. Bots zum Hamstern knapper Ware legen Bestände in Warenkörbe, die sie nie kaufen wollen.

Das kennzeichnende Verhalten ist das Ausweichen. Dieser Traffic wechselt IP-Adressen, ahmt verbreitete Browser-Fingerabdrücke nach, hält sich unterhalb offensichtlicher Schwellen und ignoriert alles, was in Ihrer robots.txt steht, denn sich daran zu halten würde nur die Ausbeute schmälern.

Synthetischer Test-Traffic

Die dritte Kategorie ist Automatisierung, die Sie selbst beauftragt haben: Lasttests, Prüfläufe für die Analyse, von Ihnen eingerichtete Verfügbarkeitsprüfungen, gestellte Sitzungen zur Kontrolle, ob ein Conversion-Ereignis mit den richtigen Parametern auslöst. Sie ist nicht feindlich, aber eben auch nicht menschlich, und sie verzerrt jeden Bericht, der sie enthält. Das Unterscheidungsmerkmal ist, dass Sie sie kontrollieren, also auszeichnen, terminieren und sauber ausschließen können. Ob Sie das tatsächlich tun, entscheidet über den Unterschied zwischen einem umkehrbaren Experiment und einer dauerhaft verunreinigten Analytics-Property.

Kategorie	Weist sie sich aus?	Beachtet sie robots.txt?	Wer sollte zuständig sein
Such- und KI-Crawler	Ja, und überprüfbar	In der Regel ja	SEO / Content-Strategie
Überwachung und Vorschau-Abrufe	Meistens	Oft bewusst ausgenommen	Entwicklung / Betrieb
Scraper und Credential Stuffing	Nein	Nein	Sicherheit
Klickbetrug und Formularspam	Nein	Nicht anwendbar	Bezahlte Medien / Sicherheit
Ihr eigener synthetischer Traffic	Nur wenn Sie ihn auszeichnen	Unter Ihrer Kontrolle	Verantwortliche für die Analyse

Was GA4 automatisch filtert und was durchrutscht

Google Analytics 4 schließt Traffic bekannter Bots und Spider standardmäßig aus. Googles eigene Dokumentation beschreibt das als Kombination aus der IAB/MRC International Spiders and Bots List und Googles interner Erkennung, und es geschieht automatisch und nicht über eine Einstellung, die Sie umlegen. Für den Normalfall, also ausgewiesene Crawler auf einer Seite mit Ihrem Messcode, funktioniert es gut und unauffällig.

Die Grenze folgt unmittelbar aus dem Verfahren. Ein listenbasierter Filter erfasst Automatisierung, die auf einer Liste steht. Er ist nicht dafür gebaut, Software zu erkennen, die sich als gewöhnliche Chrome-Sitzung von einer Privatanschluss-IP ausgibt, und das sollten Sie auch nicht erwarten. Drei praktische Lücken sind zu benennen:

• Nicht ausgewiesene Automatisierung. Was gezielt einen Browser nachahmt, wird in aller Regel als Sitzung gemessen, mit plausiblem Gerät, plausibler Region und plausibler Verweisquelle.
• Traffic, der Ihr JavaScript nie ausführt. Viele Bots holen sich das HTML und hören dann auf. GA4 sieht sie überhaupt nicht, Ihre Analyse unterschätzt die Gesamtlast also. Das ist das genaue Gegenstück zum zuvor genannten Fehler, und es ist der Grund, warum die Analyse allein Ihnen nicht sagen kann, wie viel Automatisierung Ihr Server verkraftet.
• Ihre eigenen synthetischen Sitzungen. Nichts im automatischen Filter weiß, dass der von Ihnen beauftragte Lasttest kein Kunde war. Diesen Ausschluss müssen Sie selbst bauen.

Die allgemeine Lehre: Der Bot-Filter von GA4 ist eine Hygienefunktion für die Berichterstattung, kein Erkennungssystem. Betrachten Sie ihn als Mittel gegen offensichtliches Rauschen, nicht als Antwort auf die Frage „Wie viel von diesem Traffic war menschlich?“

Wie Sie beides in Serverprotokollen auseinanderhalten

Serverprotokolle erfassen jede eingegangene Anfrage, auch die, die nie eine Zeile JavaScript ausgeführt hat. Das macht sie zur vollständigeren Aufzeichnung und zu dem Ort, an dem die Einordnung tatsächlich stattfindet.

Die Signale mit Gewicht, grob nach Verlässlichkeit geordnet:

1. Geprüfte Identität. Google veröffentlicht ein Prüfverfahren für seine Crawler: eine Reverse-DNS-Abfrage auf die anfragende IP, anschließend eine Vorwärtsabfrage auf den erhaltenen Hostnamen, um zu bestätigen, dass er auf dieselbe Adresse zurückführt. Google veröffentlicht die IP-Bereiche seiner Crawler außerdem als JSON, und OpenAI veröffentlicht Bereiche für GPTBot. Bing bietet ein vergleichbares Prüfwerkzeug. Das ist die einzige Signalklasse, die ein Client nicht einfach behaupten kann.
2. Anfragemuster. Vollkommen gleichmäßige Abstände, das Durchzählen von URLs und HTML-Anfragen ohne begleitende Abrufe von CSS, Bildern oder Schriften deuten allesamt auf einen Client hin, der kein Browser ist.
3. Konzentration auf Endpunkte. Viel Traffic auf /login, auf einen Suchendpunkt oder auf ein preisführendes Template, bei geringem Interesse an allem anderen, beschreibt eine Absicht.
4. Netzwerkherkunft. Adressbereiche von Rechenzentren sind bei ausgewiesenen Crawlern normal und bei Besuchen von Endkunden ungewöhnlich. Traffic über Privatanschluss-Proxys dreht das um, und das ist ein Grund, warum die Herkunft allein nicht ausreicht.
5. User-Agent-Angabe. Nützlich zum Gruppieren, wertlos als Beweis. Sie steht nicht ohne Grund am Ende.

Ein weiterer Punkt speziell zur Einordnung: Die Gruppe von Clients, die in Ihrem Zugriffsprotokoll auftaucht, in der Analyse aber nie, ist praktisch per Definition Automatisierung ohne Browser. Für alle, die nur mit der Analyse arbeiten, ist diese Gruppe unsichtbar.

Warum robots.txt und User-Agent schwache Signale sind

Die robots.txt ist eine Bitte um freiwillige Mitwirkung. Das Robots Exclusion Protocol wurde 2022 als RFC 9309 festgeschrieben, und der Standard selbst bezeichnet die Befolgung als freiwillig aufseiten des Crawlers. Große Suchmaschinen halten sich daran; ein Scraper hat keinen Grund dazu. Dazu kommt eine weitere Falle: Wer eine Disallow-Regel für einen sensiblen Pfad veröffentlicht, weist jeden, der die Datei liest, auf genau diesen Pfad hin, und die Datei ist per Definition öffentlich. Nutzen Sie sie, um Crawl-Verhalten und Crawl-Budget zu steuern, niemals als Zugriffsschutz.

Der User-Agent-Header hat dieselbe strukturelle Schwäche. Er ist eine Zeichenkette, die der Client wählt. Jeder kann in diesem Feld Googlebot senden, und jeder kann stattdessen eine aktuelle Chrome-Zeichenkette senden. Genau deshalb existiert der Prüfschritt oben überhaupt. In der Praxis behandeln Sie den User-Agent als Etikett, um Traffic zu ordnen, den Sie bereits auf anderem Weg eingeordnet haben.

Wie viel des Webs ist automatisiert?

Ehrliche Antwort: Niemand kann Ihnen eine Zahl nennen, die Sie mit Überzeugung zitieren sollten. Veröffentlichte Schätzungen stammen überwiegend von Sicherheitsanbietern, am sichtbarsten aus Impervas jährlichem Bad Bot Report und ähnlicher Telemetrie anderer Anbieter. Sie sind der Richtung nach nützlich, beruhen aber auf Traffic, der durch den jeweils eigenen Kundenstamm läuft, und der ist verschoben hin zu Websites, die groß genug für gekaufte Bot-Abwehr sind, und hin zu den Angriffsflächen, die solche Websites bieten. Andere Anbieter, andere Methodik, andere Zahlen.

Qualitativ lässt sich gefahrlos sagen, dass der automatisierte Anteil auf praktisch jeder öffentlichen Website groß genug ist, um zu zählen, und dass er je nach Art der Website enorm schwankt. Ein anmeldelastiger Verbraucherdienst, eine Ticketplattform und eine statische Dokumentationsseite haben es überhaupt nicht mit derselben Mischung zu tun. Die Zahl, die Ihre Entscheidungen bestimmen sollte, stammt aus Ihren eigenen Protokollen und nicht aus einem Branchendurchschnitt.

Wann Bot-Traffic zum Sicherheitsproblem wird

Die Grenze verläuft entlang des Verhaltens, nicht entlang der Menge. Bot-Traffic ist ein Analyseproblem, solange er lediglich Zahlen aufbläht. Er wird in dem Moment zum Sicherheitsproblem, in dem er mit etwas interagiert, das Folgen hat.

Eskalieren Sie, statt zu filtern, wenn Sie eines der folgenden Muster sehen: eine Zunahme fehlgeschlagener Anmeldeversuche, verteilt über viele Quelladressen; Formularübermittlungen, die Conversion-Ereignisse erzeugen, ohne dass danach etwas Plausibles geschieht; Kassen- oder Warenkorbaktionen, die nie abgeschlossen werden; systematisches Durchzählen von Nutzer-IDs oder Bestellnummern; oder ein Anfragevolumen, das die Kapazität echt belastet. Jedes davon verursacht Kosten, die weiterlaufen, ganz gleich ob Sie den Traffic aus einem Dashboard ausschließen.

Die praktische Folge einer falsch gezogenen Grenze ist, dass eine Credential-Stuffing-Kampagne als Berichtsärgernis behandelt, aus einer GA4-Ansicht gefiltert und weiter gegen den Anmelde-Endpunkt laufen gelassen wird. Der Filter hat das Symptom unsichtbar gemacht, ohne die Ursache anzurühren.

Häufige Fragen

Ist jeder Bot-Traffic schlecht?

Nein, und ihn so zu behandeln richtet echten Schaden an. Wer Suchmaschinen-Crawler sperrt, verschwindet aus dem Index. Wer Link-Vorschau-Dienste sperrt, zerstört das Erscheinungsbild seiner URLs beim Teilen. Das Ziel ist Einordnung und angemessene Reaktion, nicht Beseitigung.

Entfernt GA4 den gesamten Bot-Traffic?

Es entfernt automatisch den Traffic bekannter Bots und Spider von der IAB/MRC-Liste. Es entfernt keine Automatisierung, die sich als gewöhnlicher Browser ausgibt, und es sieht Clients nie, die Ihren Messcode nicht ausführen. Das sind zwei verschiedene blinde Flecken, die in entgegengesetzte Richtungen zeigen.

Kann ich Googlebot allein an der User-Agent-Angabe erkennen?

Nein. Googles Dokumentation empfiehlt ausdrücklich die Prüfung per Reverse-DNS-Abfrage mit anschließender Vorwärtsabfrage oder den Abgleich mit den veröffentlichten Crawler-IP-Bereichen von Google. Der User-Agent lässt sich trivial fälschen und sollte nie die Grundlage für eine Zugriffsfreigabe sein.

Sollte ich KI-Crawler wie GPTBot oder ClaudeBot sperren?

Das ist eine Entscheidung über Inhaltslizenzierung und keine über Sicherheit. Beide sind dokumentiert und beide lassen sich in der robots.txt ausschließen. Wägen Sie den Wert ab, in KI-generierten Antworten aufzutauchen, gegen Ihre Haltung dazu, wie Ihre Inhalte für das Training genutzt werden. Es gibt keine technisch richtige Antwort, nur eine kaufmännische.

Was prüfe ich als Erstes bei einem unerklärten Traffic-Anstieg?

Serverprotokolle, nicht die Analyse. Sehen Sie nach, welche Endpunkte in welchem Abstand aus welchen Netzen getroffen wurden und ob die Anfragen auch Seitenbestandteile geholt haben oder nur HTML. Diese vier Beobachtungen bestimmen die Kategorie meist binnen Minuten, und die Kategorie bestimmt, wer sich darum kümmern muss.