Wie man Cloudflare verwendet, um AI-Bots-Protokolle zu verfolgen und zu analysieren

Die Analyse von Server-Logdateien ist die neue coole Fähigkeit für Marketer geworden, da KI im Allgemeinen so schwer zu verfolgen ist. Lass mich dir beweisen, dass es tatsächlich SEHR einfach ist 👍️

Viele wissen nicht, dass Cloudflare dir dies ganz einfach ermöglicht. Du kannst im Grunde KI-Bots und ihre Aktivitäten auf deiner Website verfolgen.

Hier ist eine Schritt-für-Schritt-Anleitung, wie du Cloudflares KI-Crawl-Kontrolle nutzt und wie ich sie als Marketer einsetzen würde:

10 Schritte zur Analyse von KI-Server-Logs mit Cloudflare:

1. Melde dich bei Cloudflare an und wähle die Website aus, für die du Daten möchtest:
2. Klicke im linken Menü auf „AI Crawl Control“:
3. Du solltest jetzt ähnliche Daten sehen:
4. Klicke auf „Übersicht“, um deine Gesamtstatistiken zu sehen. „Anfragen“ sind alle möglichen Arten, wie Bots deine Website überprüfen könnten, einschließlich der Möglichkeit, den Inhalt nicht tatsächlich zu sehen, sondern nur zu prüfen, ob sie beispielsweise aktiv ist. Verweise sind echte Browserbesuche auf deiner Website, aber nicht unbedingt von Menschen. In meinem eigenen kleinen Test sehe ich, dass 10 % der Verweise einzigartige menschliche Klicks sind. Es gibt hier keine exakte Wissenschaft, aber du kannst es über andere Cloudflare-Tools (HTTP-Traffic) und andere Website-Analyseplattformen überprüfen. Ich zeige dir unten eine Methode.
5. Um ChatGPT-Bots zu sehen, die deine Website basierend auf Benutzer-Chats überprüfen (entweder um sie als Teil einer Antwort bereitzustellen oder als Quelle zu verwenden), klicke hier:
6. Scrolle nun nach unten, bis du diesen Teil siehst. Das ist meiner Meinung nach die Geheimwaffe. Diese Informationen kann ich in meiner Arbeit als Marketer nutzen. Ich kann im Grunde sehen, welche Landingpages ChatGPT-Assistenten am häufigsten besuchen, und das ist ein Leistungsindikator dafür, welche Landingpages am häufigsten als Quellen und sogar in den Antworten auf Benutzeranfragen erscheinen:
7. Das Obige ist jedoch nicht unbedingt eine bewertete Liste. Ich kann in unserem Analyse-Tool und in Cloudflares eigenem HTTP-Traffic-Tool sehen, dass zum Beispiel /youtube-duplicate-content/ sehr wenige echte Benutzerklicks liefert, daher werde ich hier hauptsächlich als Quelle verwendet (oder vielleicht sogar ohne Nennung. Das würde mich nicht überraschen):
8. Und so findest du ähnliche Daten über das HTTP-Traffic-Tool mithilfe von Filtern. Richte diese 2 Filter so ein, wie ich es hier getan habe, um die Daten zu bereinigen und echte Seitenbesuche zu sehen:
9. Scrolle nun nach unten, bis du diese Tabelle siehst (du kannst sie auf 15 Elemente erweitern). Die Daten hier sind ziemlich ähnlich zu dem, was ich in meinem Website-Analyse-Toolhabe, und geben dir einen guten Hinweis darauf, welche Seiten echten Traffic von ChatGPT erhalten:

Wie soll ich diese Daten nutzen, um meine ChatGPT-Sichtbarkeit zu erhöhen?

Ich würde die am häufigsten gecrawlten Inhalte im Auge behalten und diese nutzen, um zu entscheiden, ob einer deiner Inhalte eine höhere Priorität erhalten sollte. In meinem Fall sehe ich ziemlich viel Aktivität rund um https://morningscore.io/best-seo-tools/  (sowohl Bot-Traffic als auch echter Traffic), daher werde ich ein ausstehendes Update jetzt noch höher priorisieren. Und auch wenn ich neue Inhalte erstelle, kann ich monatlich auf diese Daten zurückgreifen, um zu überprüfen, ob neue Inhalte bei ChatGPT beliebt sind und darauf aufbauen. Du verstehst das Prinzip jetzt.

Und um das beste Bild zu bekommen, würde ich die oben genannten Daten nehmen und sie mit ChatGPT-Trackingkombinieren. Es gibt viele gute Tools dafür. Wir haben eines entwickelt, das unsere Kunden als großartig mit soliden Daten bezeichnen, also könntest du das GEO-Tool kostenlosausprobieren. Hier kannst du sehen, wie ich es verwende, um Prompts zu verfolgen, und wie ich überprüfen kann, dass die Seite /best-seo-tools uns tatsächlich wertvolle Erwähnungen bringt:

Und wenn ich das Ergebnis-Popup-Fenster öffne, um zu sehen, was ChatGPT tatsächlich geantwortet hat, sehe ich:

Dieser letzte Teil macht alles real und ich kann schnell verstehen, wie ich praktisch in ChatGPT und anderen KI-Chat-Tools abschneide 🙂

Cloudflare 👎️

Ich muss nur schnell sagen, dass ich schockiert bin, dass Cloudflare ein Geschäftsmodell hat, bei dem du deine eigenen Website-Serverprotokolle nicht vollständig herunterladen kannst, es sei denn, du zahlst enorme Summen (für vollen Zugriff ist der Enterprise-Plan erforderlich). Ich finde das einfach falsch. Und deshalb ist dieser Beitrag keineswegs eine Empfehlung für Cloudflare. Wenn du einen anderen Anbieter hast, hast du vielleicht Glück, auch wenn du kein schickes Dashboard hast, kannst du oft Protokolle exportieren und etwas wie Screaming Frog Log Analyzer verwenden, um ähnliche (und in einigen Fällen bessere) Daten zu erhalten.

Danke fürs Lesen dieses zu 100 % von Menschen geschriebenen Artikels 😊

Danke, dass du diesen Leitfaden gelesen hast. Ich hoffe, du fandest ihn nützlich und bist auch begeistert von der Analyse von KI-Bots und Protokolldateien.

Man sagt oft, dass die Server-Log-Analyse, wie wir sie hier gerade gemacht haben (natürlich im Leichtgewicht-Stil), nur etwas für technische SEO-Profis ist. Aber ich denke, sie wird in den nächsten Jahren viel mehr Mainstream werden 👍️