Hoe Cloudflare te gebruiken om AI-bots log te volgen en te analyseren

Serverlogbestandanalyse is de nieuwe coole marketeerskill geworden, nu AI over het algemeen zo moeilijk te volgen is. Laat me je bewijzen dat het eigenlijk HEEL gemakkelijk is om te doen 👍️

Velen weten niet dat Cloudflare je dit gemakkelijk laat doen. Je kunt AI-bots en hun activiteit op je website in principe volgen.

Hier is een stap-voor-stap handleiding over hoe je Cloudflares AI Crawl Control gebruikt en hoe ik het als marketeer zou gebruiken:

10 stappen om AI-serverlogs te analyseren met Cloudflare:

1. Log in op Cloudflare en selecteer de website waarvoor je gegevens wilt:
2. Klik op “AI Crawl Control” in het linkermenu:
3. Je zou nu gegevens moeten zien die hierop lijken:
4. Klik op “Overzicht” om je algemene metrics te zien. “Verzoeken” zijn allerlei manieren waarop bots je website kunnen controleren, inclusief het niet daadwerkelijk zien van de inhoud, maar bijvoorbeeld alleen controleren of deze actief is. Verwijzingen zijn echte browserbezoeken aan je site, maar niet noodzakelijkerwijs door mensen. In mijn eigen kleine test zie ik dat 10% van de verwijzingen unieke menselijke klikken zijn. Er is hier geen exacte wetenschap, maar je kunt het verifiëren via andere Cloudflare-tools (HTTP Traffic) en andere website-analyseplatforms. Ik laat je hieronder een methode zien.
5. Om ChatGPT-bots te zien die je site controleren op basis van gebruikers die chatten (om het als onderdeel van een antwoord te geven of als bron te gebruiken), klik je hierop:
6. Scroll nu naar beneden totdat je dit gedeelte ziet. Dit is naar mijn mening de ‘secret sauce’. Deze informatie kan ik gebruiken in mijn werk als marketeer. Ik kan in principe zien welke landingspagina’s ChatGPT-assistenten het meest bezoeken, en dit is een prestatie-indicator voor welke landingspagina’s het meest verschijnen als bronnen en zelfs in de antwoorden op gebruikersprompts:
7. Bovenstaande is echter niet noodzakelijkerwijs een gescoorde lijst. Ik kan in onze analysetool en in Cloudflares eigen HTTP Traffic-tool zien dat bijvoorbeeld /youtube-duplicate-content/ heel weinig echte gebruikersklikken oplevert, dus hier word ik voornamelijk als bron gebruikt (of misschien zelfs zonder vermelding. Het zou me niet verbazen):
8. En hier is hoe je vergelijkbare gegevens kunt vinden via de HTTP Traffic-tool met behulp van filters. Stel deze 2 filters in zoals ik hier deed om de gegevens op te schonen en echte paginabezoeken te zien:
9. Scroll nu naar beneden totdat je deze tabel ziet (je kunt deze uitbreiden tot 15 items). De gegevens hier zijn vrij vergelijkbaar met wat ik in mijn website analytics toolheb, en geeft je een redelijke indicatie van welke pagina’s echt verkeer van ChatGPT krijgen:

Hoe moet ik deze gegevens gebruiken om mijn ChatGPT-zichtbaarheid te vergroten?

Ik zou de meest gecrawlde content in de gaten houden en die gebruiken om te beslissen of een deel van je content een hogere prioriteit moet krijgen. In mijn geval zie ik behoorlijk veel activiteit rond https://morningscore.io/best-seo-tools/  (zowel botverkeer als echt verkeer), dus ik zal een lopende update nu nog hoger prioriteren. En ook als ik nieuwe content creëer, kan ik maandelijks terugkomen op deze gegevens om te controleren of nieuwe content populair is bij ChatGPT en daarop verdubbelen. Je snapt het nu wel.

En om het beste beeld te krijgen, zou ik de bovenstaande gegevens combineren met ChatGPT tracking. Er zijn veel goede tools hiervoor. We hebben er een gebouwd waarvan onze klanten zeggen dat deze geweldig is met solide gegevens, dus je zou de GEO tool gratiskunnen bekijken. Hier kun je zien hoe ik het gebruik om prompts te volgen, en hoe ik kan verifiëren dat de /best-seo-tools pagina ons inderdaad waardevolle vermeldingen oplevert:

En als ik het pop-upvenster met resultaten open om te zien wat ChatGPT daadwerkelijk heeft geantwoord, zie ik:

Dit laatste deel maakt alles echt en ik kan snel begrijpen hoe ik praktisch presteer in ChatGPT en andere AI-chattools 🙂

Cloudflare 👎️

Ik moet even snel zeggen dat ik geschokt ben dat Cloudflare een bedrijfsmodel heeft waarbij je je eigen serverlogs van websites niet volledig kunt downloaden, tenzij je enorme bedragen betaalt (Enterprise-abonnement is nodig voor volledige toegang). Ik vind dit gewoon verkeerd. En daarom is dit bericht geenszins een aanbeveling van Cloudflare. Als je een andere provider hebt, heb je misschien geluk, ook al heb je geen fancy dashboard, je kunt vaak logs exporteren en iets gebruiken zoals Screaming Frog log analyzer om vergelijkbare (en in sommige gevallen betere) gegevens te krijgen.

Bedankt voor het lezen van dit 100% door mensen geschreven artikel 😊

Bedankt voor het lezen van deze gids. Ik hoop dat je het nuttig vond en ook enthousiast bent over AI bot en logbestandanalyse.

Mensen zeggen vaak dat serverloganalyse, zoals we hier net hebben gedaan (lichtgewicht stijl natuurlijk), alleen voor technische SEO-professionals is. Maar ik denk dat het de komende jaren veel meer mainstream zal worden 👍️