ChatGPT, Claude, Perplexity und andere Assistenten lesen Websites mit eigenen Crawlern. In Matomo sehen Sie davon in der Regel nichts. Das liegt nicht an einer falschen Einstellung, sondern am Messprinzip.
Warum Matomo die Crawler nicht sieht
Das Tracking von Matomo läuft als JavaScript im Browser. Crawler laden meist nur das HTML und führen keine Skripte aus. Bekannte Bots filtert Matomo außerdem heraus. Die Zugriffe der Crawler stehen deshalb nur in den Zugriffs-Logs des Webservers oder eines vorgelagerten Dienstes wie Cloudflare.
Drei Arten von KI-Zugriffen
- Training: Crawler sammeln Inhalte für das Training von Sprachmodellen, etwa GPTBot von OpenAI, ClaudeBot von Anthropic oder CCBot von Common Crawl.
- Suche: Crawler bauen den Index für die Suche im Assistenten auf, etwa OAI-SearchBot von OpenAI oder PerplexityBot.
- Abruf auf Anfrage: Fragt jemand den Assistenten nach einer bestimmten Seite, holt ein Abrufdienst sie live, etwa ChatGPT-User, Claude-User oder Perplexity-User.
Die Unterscheidung hilft bei der Frage, was Sie zulassen. Viele schließen das Training aus, wollen aber in den Antworten der Assistenten auftauchen.
Google-Extended und Applebot-Extended sind keine eigenen Crawler, sondern Angaben für die robots.txt. Sie steuern, ob Inhalte für KI-Modelle genutzt werden dürfen. Gecrawlt wird weiter mit dem normalen Googlebot und Applebot, in den Logs erscheinen sie deshalb nicht gesondert.
Die Kennung eines Crawlers lässt sich fälschen. Mehrere Anbieter veröffentlichen die IP-Bereiche ihrer Crawler, darunter OpenAI, Perplexity und Google. Damit lässt sich prüfen, ob ein Zugriff echt ist.
Die KI-Berichte in Matomo
Matomo hat dafür eigene Berichte: Unter KI-Assistenten zeigt die Übersicht der KI-Chatbots, welche Chatbots Ihre Inhalte abrufen. Die Abrufe zählt Matomo als Anfragen, nicht als Besuche. Ihre normalen Berichte, Ziele und Kampagnen bleiben dadurch unverfälscht. Bei selbst betriebenem Matomo muss dafür das Plugin BotTracking aktiv sein.
Die Übersicht zeigt unter anderem:
- Anfragen je Chatbot, im Zeitverlauf
- welche Seiten und Dokumente abgerufen werden
- wie viele Besuche über Links in den Antworten entstehen und das Verhältnis zu den Anfragen
- Anfragen, die auf nicht vorhandene Seiten (404) oder Serverfehler (5xx) treffen
Welche Bots Matomo dort erkennt, hängt von der Version ab. Derzeit sind es vor allem die Abrufdienste der Assistenten, etwa ChatGPT-User, Claude-User und Perplexity-User.
Wie die Abrufe nach Matomo kommen
Weil die Chatbots kein JavaScript ausführen, müssen ihre Abrufe serverseitig gemeldet werden. Matomo bietet dafür Anbindungen für Cloudflare, Amazon CloudFront und WordPress sowie die HTTP Tracking API. Für eigene Server liest eine Pipeline die Zugriffs-Logs fortlaufend und meldet die Abrufe über die Tracking API. Ich setze dafür eigene Pipelines auf Basis von Filebeat oder Vector ein, die bei vielen Kunden laufen.
Server-Logs enthalten IP-Adressen. Für die Auswertung reichen Bot, Seite und Zeitpunkt. Was übertragen und wie lange es gespeichert wird, legen Sie mit Ihrem Datenschutz fest.
Besucher aus KI-Assistenten
Die zweite Frage ist, wer über einen Link in einer KI-Antwort auf Ihre Website kommt. Diese Besuche misst Matomo ganz normal. Aktuelle Matomo-Versionen erkennen Verweise von ChatGPT, Claude, Copilot, Gemini, Perplexity und weiteren Assistenten und zeigen sie in einem eigenen Bericht. Wer sie mit Suche, Social und Newsletter vergleichen will, mit Zielen und Umsatz, fasst sie mit dem Plugin Channel Grouping von feinwerk.io in einem eigenen Kanal zusammen.
Zwei Einschränkungen gehören dazu: Besuche aus Apps kommen oft ohne Verweis an und erscheinen als direkte Zugriffe. Und nicht jede Erwähnung in einer Antwort führt zu einem Klick. Die Zahlen sind deshalb eine Untergrenze.
Mehr dazu unter KI-Crawler & KI-Suche.