Cloudflare AI nuskaitymo valdymas: stebėkite AI botų serverio žurnalus

Cloudflare AI botų žurnalų analizė: ką apima šis gidas

• Cloudflare „AI Crawl Control“ leidžia sekti, kuriuose puslapiuose AI botai, tokie kaip ChatGPT, lankosi dažniausiai – nereikia jokių techninių įgūdžių.
• Gali sujungti botų srauto duomenis su HTTP srauto įrankiu kad išfiltruotum triukšmą ir pamatytum, kurie puslapiai pritraukia tikrus žmonių paspaudimus iš AI įrankių.
• Dažniausiai nuskaitomi puslapiai yra aiškus signalas, kurį turinį atnaujinti ar teikti jam pirmenybę.
• Susiejus šiuos duomenis su ChatGPT pozicijų stebėjimo įrankiu gausi pilną savo AI matomumo vaizdą.

Serverio žurnalų failų analizė tapo nauju kietu rinkodaros specialisto įgūdžiu, kai AI apskritai taip sunku sekti. Leisk man tau įrodyti, kad Cloudflare AI botų žurnalų analizė iš tikrųjų yra LABAI lengvai padaroma 👍️

Daugelis nežino, kad Cloudflare leidžia tau lengvai tai padaryti. Iš esmės gali sekti AI botus ir jų veiklą savo svetainėje.

Štai žingsnis po žingsnio gidas, kaip naudoti Cloudflare „AI Crawl Control“ ir kaip aš tai naudočiau kaip rinkodaros specialistas:

9 žingsniai Cloudflare AI botų žurnalų analizei:

1. Prisijunk prie Cloudflare ir pasirink svetainę, kurios duomenų nori:
2. Kairiajame meniu paspausk „AI Crawl Control“:
3. Dabar turėtum matyti panašius duomenis į šiuos:
4. Paspausk „Overview“, kad pamatytum bendrą statistiką. „Requests“ (užklausos) yra visi būdai, kuriais botai gali tikrinti tavo svetainę, įskaitant ir tai, kai jie faktiškai nemato turinio, o tik tikrina, ar ji veikia. „Referrals“ (nukreipimai) yra tikri naršyklės apsilankymai tavo svetainėje, bet nebūtinai žmonių. Savo nedideliame teste matau, kad 10 % nukreipimų yra unikalūs žmonių paspaudimai. Čia nėra tikslaus mokslo, bet gali tai patikrinti per kitus Cloudflare įrankius (HTTP srautą) ir kitas svetainių analitikos platformas. Žemiau parodysiu tau metodą.
5. Norėdamas pamatyti ChatGPT botus, kurie tikrina tavo svetainę pagal vartotojų pokalbius (arba norėdami pateikti tai kaip atsakymo dalį, arba naudoti kaip šaltinį), paspausk šiuos:
6. Dabar slink žemyn iki pat apačios, kol pamatysi šią dalį. Mano nuomone, tai yra slaptas ingredientas. Šią informaciją galiu naudoti savo, kaip rinkodaros specialisto, darbe. Iš esmės galiu matyti, kuriuose nukreipimo puslapiuose ChatGPT asistentai lankosi dažniausiai, ir tai yra našumo rodiklis, rodantis, kurie nukreipimo puslapiai dažniausiai rodomi kaip šaltiniai ir netgi atsakymuose į vartotojų užklausas:
7. Tačiau tai nebūtinai yra įvertintas sąrašas. Mūsų analitikos įrankyje ir pačios Cloudflare HTTP srauto įrankyje matau, kad, pavyzdžiui, /youtube-duplicate-content/ atneša labai mažai tikrų vartotojų paspaudimų, todėl čia esu daugiausia naudojamas kaip šaltinis (arba galbūt net be nuorodos į mane. Nenustebčiau):
8. O štai kaip gali rasti panašius duomenis per HTTP srauto įrankį naudodamas filtrus. Nustatyk šiuos 2 filtrus, kaip aš padariau čia, kad išvalytum duomenis ir pamatytum tikrus puslapių apsilankymus:
9. Dabar slink žemyn, kol pamatysi šią lentelę (gali ją išplėsti iki 15 elementų). Duomenys čia yra gana panašūs į tai, ką turiu savo svetainės analitikos įrankyje, ir suteikia tau gerą supratimą, kurie puslapiai gauna realų srautą iš ChatGPT:

Kaip turėčiau naudoti šiuos duomenis, kad padidinčiau savo ChatGPT matomumą?

Aš stebėčiau labiausiai tikrinamą turinį naudodamas tavo Cloudflare AI botų žurnalų analizę, ir naudočiau tai nuspręsti, ar kuriam nors tavo turiniui turėtų būti suteiktas didesnis prioritetas. Mano atveju, matau gana daug aktyvumo aplink https://morningscore.io/best-seo-tools/ (tiek botų srautas, tiek realus srautas), todėl dabar dar labiau prioritetizuosiu laukiantį atnaujinimą. Be to, kurdamas naują turinį, galiu kas mėnesį grįžti prie šių duomenų ir patikrinti, ar koks nors naujas turinys yra populiarus ChatGPT, ir tam skirti daugiau dėmesio. Jau supranti esmę.

O norint gauti geriausią vaizdą, paimčiau aukščiau pateiktus duomenis ir sujungčiau juos su ChatGPT stebėjimu. Tam yra daug gerų įrankių. Mes sukūrėme vieną, apie kurį mūsų klientai sako, kad jis puikus su patikimais duomenimis, todėl gali nemokamai išbandyti GEO įrankį. Čia gali pamatyti, kaip aš jį naudoju užklausoms stebėti, ir kaip galiu patikrinti, kad /best-seo-tools puslapis iš tiesų atneša mums vertingų paminėjimų:

Ir atidaręs rezultatų iššokantįjį langą, kad pamatyčiau, ką iš tikrųjų atsakė ChatGPT, matau:

Ši paskutinė dalis viską paverčia realybe ir aš galiu greitai suprasti, kaip praktiškai pasirodau ChatGPT ir kituose AI pokalbių įrankiuose 🙂

Cloudflare 👎️

Tiesiog turiu greitai pasakyti, kad esu šokiruotas, jog Cloudflare turi verslo modelį, kuriame negali visiškai atsisiųsti savo svetainės serverio žurnalų, nebent sumokėsi didžiules sumas (pilnai prieigai reikalingas Enterprise planas). Manau, kad tai tiesiog neteisinga. Todėl šis įrašas jokiu būdu nėra Cloudflare palaikymas. Jei turi kitą tiekėją, tau gali pasisekti; net jei neturi įmantraus prietaisų skydelio, dažnai gali eksportuoti žurnalus ir naudoti kažką panašaus į Screaming Frog žurnalų analizatorių , kad gautum panašius (o kai kuriais atvejais ir geresnius) duomenis.

Ačiū, kad skaitai šį 100% žmogaus parašytą straipsnį 😊

Ačiū, kad skaitai šį vadovą. Tikiuosi, kad jis tau buvo naudingas ir taip pat džiaugiesi AI botų ir žurnalų failų analize.

Žmonės dažnai sako, kad serverio žurnalų analizė, kokią mes čia ką tik atlikome (žinoma, lengvu stiliumi), skirta tik techniniams SEO profesionalams. Bet aš manau, kad per ateinančius kelerius metus tai taps daug populiaresnė 👍️

Dažni klausimai apie AI botų stebėjimą

Kokie botų tipai įtraukti į Cloudflare AI Crawl Control?

Įrankis stebi platų asortimentą AI tikrintuvų įskaitant tuos iš OpenAI, Google ir Perplexity. Jis naudoja mašininį mokymąsi ir elgsenos analizę, kad sugrupuotų šiuos botus pagal operatorių, todėl lengva pamatyti, kurios konkrečios įmonės renka tavo turinį mokymo duomenims.

Kiek tiksli yra Cloudflare AI botų žurnalų analizė?

Cloudflare naudoja pažangius skaitmeninių atspaudų rinkimas ir „AI Labyrinths“, kad pagautų botus, bandančius paslėpti savo tapatybę. Nors tai labai gerai atpažįsta automatizuotus modelius, jokia sistema nėra 100 % tobula, todėl visada protinga palyginti su tavo paties analitikos duomenimis.

Ar galiu nemokamai eksportuoti visus savo AI botų serverio žurnalus?

Kaip minėjau anksčiau, „Cloudflare“ paprastai reikalauja „Enterprise“ plano pilnam žurnalų eksportavimui. Jei naudoji žemesnį planą, vis tiek gali matyti duomenis valdymo skydelyje, bet tau gali tekti naudoti HTTP srauto įrankį, kad rankiniu būdu filtruotum ir matytum konkrečių puslapių apsilankymus.

Ar „Cloudflare“ pagal nutylėjimą blokuoja AI naršyklius?

Taip, nuo 2025 m. liepos mėn. „Cloudflare“ pradėjo blokuoti AI botus pagal nutylėjimą visiems naujiems domenams, kad apsaugotų nuo neteisėto duomenų rinkimo. Gali tai valdyti paprastu jungikliu savo valdymo skydelyje, jei nori leisti tam tikriems botams pasiekti tavo svetainę.

Ar įmanoma uždirbti pinigų iš AI botų, naršančių mano svetainę?

„Cloudflare“ neseniai pristatė mokėjimo už naršymą (pay-per-crawl) modelį, leidžiantį svetainių savininkams imti mokestį iš AI įmonių už prieigą. Tai puikus būdas gauti pajamų iš savo turinio, jei turi aukštos kokybės duomenų, kuriuos AI modeliai nori naudoti mokymuisi.