Cómo usar Cloudflare para rastrear y analizar el registro de bots de IA

El análisis de archivos de registro del servidor se ha convertido en la nueva habilidad genial del marketing, ahora que la IA es tan difícil de rastrear en general. Déjame demostrarte que en realidad es MUY fácil de hacer 👍️

Muchos no saben que Cloudflare te permite hacer esto fácilmente. Básicamente, puedes rastrear bots de IA y su actividad en tu sitio web.

Aquí tienes una guía paso a paso sobre cómo usar el Control de rastreo de IA de Cloudflare y cómo lo usaría yo como marketero:

10 pasos para analizar los registros del servidor de IA con Cloudflare:

1. Inicia sesión en Cloudflare y selecciona el sitio web del que quieres datos:
2. Haz clic en «AI Crawl Control» en el menú de la izquierda:
3. Ahora deberías ver datos similares a estos:
4. Haz clic en «Overview» para ver tus estadísticas generales. Las «Requests» son todo tipo de formas en que los bots pueden revisar tu sitio web, incluyendo no ver realmente el contenido, sino solo verificar si está activo, por ejemplo. Las referencias son visitas reales de navegadores a tu sitio, pero no necesariamente de humanos. En mi pequeña prueba, veo que el 10% de las referencias son clics humanos únicos. No hay una ciencia exacta aquí, pero puedes verificarlo a través de otras herramientas de Cloudflare (HTTP Traffic) y otras plataformas de análisis de sitios web. Te muestro un método a continuación.
5. Para ver los bots de ChatGPT que revisan tu sitio basándose en los chats de los usuarios (ya sea para proporcionarlo como parte de una respuesta o usarlo como fuente), haz clic aquí:
6. Ahora desplázate hacia abajo hasta que veas esta parte. Esta es la salsa secreta en mi opinión. Esta información se puede usar en mi trabajo como marketero. Básicamente, puedo ver qué páginas de destino visitan más los asistentes de ChatGPT, y esto es un indicador de rendimiento de qué páginas de destino aparecen más como fuentes e incluso en las respuestas a las preguntas de los usuarios:
7. Sin embargo, lo anterior no es necesariamente una lista puntuado. Puedo ver en nuestra herramienta de Analytics y en la propia herramienta de tráfico HTTP de Cloudflare, que, por ejemplo, /youtube-duplicate-content/ genera muy pocos clics de usuarios reales, así que aquí se me utiliza principalmente como fuente (o quizás incluso sin ser acreditado. No me sorprendería):
8. Y así es como puedes encontrar datos similares a través de la herramienta de tráfico HTTP usando filtros. Configura estos 2 filtros como lo hice yo aquí para limpiar los datos y ver las visitas reales a la página:
9. Ahora desplázate hacia abajo hasta que veas esta tabla (puedes expandirla a 15 elementos). Los datos aquí son bastante similares a los que tengo en mi herramienta de análisis de sitios web, y te dan una buena indicación de qué páginas obtienen tráfico real de ChatGPT:

¿Cómo debo usar estos datos para aumentar mi visibilidad en ChatGPT?

Estaría atento al contenido más rastreado y lo usaría para decidir si alguno de tus contenidos debería tener mayor prioridad. En mi caso, veo mucha actividad en torno a https://morningscore.io/best-seo-tools/  (tanto tráfico de bots como tráfico real), así que ahora priorizaré aún más una actualización pendiente. Y también, a medida que cree contenido nuevo, puedo volver a estos datos mensualmente para verificar si algún contenido nuevo es popular en ChatGPT y duplicar mis esfuerzos en eso. Ya te haces una idea.

Y para obtener la mejor imagen, tomaría los datos anteriores y los combinaría con el seguimiento de ChatGPT. Hay muchas herramientas buenas para esto. Hemos creado una que nuestros clientes dicen que es excelente con datos sólidos, así que podrías probar la herramienta GEO gratis. Aquí puedes ver cómo la uso para rastrear las indicaciones y cómo puedo verificar que, de hecho, la página /best-seo-tools nos está trayendo menciones valiosas:

Y al abrir la ventana emergente de resultados para ver qué respondió realmente ChatGPT, veo:

Esta última parte hace que todo sea real y puedo entender rápidamente cómo me desempeño prácticamente en ChatGPT y otras herramientas de chat de IA 🙂

Cloudflare 👎️

Solo tengo que decir rápidamente que me sorprende que Cloudflare tenga un modelo de negocio en el que no puedes descargar completamente los registros del servidor de tus propios sitios web a menos que pagues enormes cantidades de dinero (se necesita el plan Enterprise para tener acceso completo). Me parece que esto está mal. Y por lo tanto, esta publicación no es de ninguna manera un respaldo a Cloudflare. Si tienes otro proveedor, podrías tener suerte, aunque no tengas un panel de control elegante, a menudo puedes exportar registros y usar algo como analizador de registros Screaming Frog para obtener datos similares (y en algunos casos mejores).

Gracias por leer este artículo 100% escrito por humanos 😊

Gracias por leer esta guía. Espero que la hayas encontrado útil y que también te entusiasme el análisis de bots de IA y archivos de registro.

La gente a menudo dice que el análisis de registros del servidor como el que acabamos de hacer aquí (estilo ligero, por supuesto) es solo para profesionales de SEO técnico. Pero creo que se volverá mucho más común en los próximos años 👍️