KI-Crawler & KI-Suche
KI-Assistenten wie ChatGPT, Claude oder Perplexity lesen Websites mit eigenen Crawlern und schicken zunehmend Besucher. Im normalen Matomo-Tracking taucht davon wenig auf, denn Crawler führen kein JavaScript aus. Ich werte dafür die Server-Logs aus, mit einer eigenen Pipeline auf Basis von Filebeat, die Zugriffe von Crawlern und KI-Bots nach Matomo bringt. Sie läuft bereits bei vielen Kunden.
So gehe ich vor
- 01Server-Logs und Hosting sichten
- 02Pipeline einrichten, Crawler erkennen und zuordnen
- 03Crawler-Zugriffe als eigene Website in Matomo
- 04Kanal für Besucher aus KI-Assistenten einrichten
Zwei Fragen, zwei Datenquellen
- Wer liest mit? KI-Crawler und Abrufdienste holen Inhalte für Training, Suche und Antworten. Sie stehen in den Server-Logs, nicht im JavaScript-Tracking.
- Wer kommt zurück? Besucher, die über einen Link in ChatGPT, Perplexity oder anderen Assistenten kommen, misst Matomo ganz normal. Sie brauchen nur einen eigenen Kanal.
Die Pipeline
Filebeat liest die Zugriffs-Logs Ihres Webservers, erkennt Crawler und KI-Bots und überträgt deren Zugriffe in eine eigene Website in Matomo. Dort sehen Sie je Crawler, welche Seiten wie oft abgerufen werden, im Zeitverlauf und neben Ihren normalen Berichten.
Was Sie damit entscheiden können
Welche Inhalte KI-Dienste besonders oft lesen, ob neue Crawler auftauchen, ob Sperren in der robots.txt wirken und ob sich Sichtbarkeit in KI-Antworten in Besuchen und Anfragen zeigt.
KI-Assistenten als eigener Kanal
Verweise von ChatGPT, Perplexity, Copilot, Gemini und weiteren Diensten fasse ich in einem eigenen Kanal zusammen, mit Zielen und Umsatz und vergleichbar mit Suche, Social und Newsletter.
FAQ
Häufige Fragen
Warum sieht Matomo die KI-Crawler nicht von selbst?
Das JavaScript-Tracking misst Browser, die Skripte ausführen. Crawler laden meist nur das HTML und stehen deshalb nur in den Server-Logs. Die Pipeline liest diese Logs und überträgt die Zugriffe nach Matomo.
Welche Crawler werden erkannt?
Die bekannten KI-Crawler und Abrufdienste, etwa von OpenAI, Anthropic, Perplexity, Google, Apple oder Common Crawl, dazu klassische Suchmaschinen.
Brauchen wir dafür Zugriff auf den Server?
Ja, auf die Zugriffs-Logs des Webservers oder eines vorgelagerten Proxys. Wo das nicht geht, etwa bei manchen Hosting-Angeboten, klären wir Alternativen.
Was ist mit personenbezogenen Daten in den Logs?
Server-Logs enthalten IP-Adressen. Welche Daten übertragen und wie lange sie gespeichert werden, legen wir mit Ihrem Datenschutz fest.
Wie messen wir Besucher aus ChatGPT und anderen Assistenten?
Über die Herkunft der Besuche: Verweise von ChatGPT, Perplexity, Copilot, Gemini und weiteren Diensten fasse ich in einem eigenen Kanal zusammen. So sehen Sie, wie viele Besuche, Ziele und Umsätze aus KI-Assistenten kommen.
Passt dazu
Fragen zu diesem Thema?
Im Erstgespräch klären wir, wo Sie stehen und ob ich der Richtige dafür bin.
Ihr AnsprechpartnerPeter Boehlke, Matomo-Berater aus München, 17 Jahre im Matomo-Team