ChatGPT, Claude, Perplexity i Google odavno čitaju vašu web stranicu, ne samo klasična Google pretraga. Mnogi su zato otkrili prekidač koji Cloudflare nudi već neko vrijeme: „Blokiraj AI crawlere“. Jedan klik i botovi su vani. Zvuči razumno. Za većinu poslovnih stranica to je ipak pogrešna odluka. Zašto, i što umjesto toga ima smisla, pokazujemo na vlastitoj domeni.
Ne žele svi AI botovi isto
Iza skupnog pojma „AI crawler“ kriju se vrlo različiti posjetitelji:
- Botovi za odgovore dohvaćaju stranicu u trenutku kad netko postavi pitanje ChatGPT-u, Claudeu ili Perplexityju. Odgovor obično navodi vašu stranicu kao izvor, s poveznicom. To je vidljivost, često i posjetitelj.
- Botovi za pretraživanje grade indeks iz kojeg ti odgovori crpe, slično kao Googlebot za klasičnu pretragu.
- Botovi za treniranje skupljaju sadržaj za treniranje budućih modela. Izravnog posjetitelja to ne donosi, ali dugoročno model možda „poznaje“ vaš brend i ponudu.
- Agresivni scraperi preuzimaju puno, nigdje vas ne navode i samo opterećuju server.
Tko sve strpa u isti koš i blokira, nestaje iz odgovora AI asistenata. A upravo tamo sve više ljudi pita prije nego što uopće posjeti stranicu.
Što smo napravili na mignuti.com
Pitanje smo prošli za vlastitu domenu i svjesno odlučili: botovi za odgovore, pretraživanje i treniranje smiju unutra, nekoliko agresivnih botova bez vidljive koristi ostaje vani. Naš sadržaj su javni marketinški tekstovi bez osobnih podataka i želimo da nas pronađu, i AI.
Pritom smo primijetili tri stvari koje je dobro znati unaprijed:
- Cloudflare može nadjačati vaš robots.txt. Postavka „Managed robots.txt“ stavlja vlastita pravila ispred vaše datoteke. U besplatnom paketu to je kod nas značilo fiksnu zabranu treniranja koju nismo mogli birati, uz proturječna pravila. Isključili smo je. Od tada vrijedi robots.txt koji sami održavamo.
- „Neuspjeli zahtjevi“ nisu uvijek pravi AI botovi. U Cloudflareovoj analitici pojavili su se neuspjeli dohvati pod poznatim imenima botova. Dobar dio njih bili su skeneri koji se samo predstavljaju kao poznati botovi. Tko iz toga izvodi nova blokiranja, blokira pogrešne.
- Male rupe vide se tek u analitici. AI asistenti su kod nas npr. tražili sitemap na klasičnoj adresi koja u tom obliku nije postojala. Jedno preusmjeravanje je to riješilo.
A Pay per Crawl?
Cloudflare sada nudi da AI crawleri plaćaju po dohvatu. Tko ne plati, umjesto stranice dobiva odgovor „402 Payment Required“ s cijenom. To je zanimljivo za stranice s puno vrijednog sadržaja, npr. stručne portale, izdavače ili velike baze proizvoda. Za tipičnu poslovnu stranicu iznosi su mali, a vidljivost u AI odgovorima obično vrijedi više. Postupak je k tome još nov. Koristili bismo ga samo tamo gdje se računica isplati.
Naša preporuka u četiri koraka
- Prvo pogledati, zatim blokirati: koji botovi stvarno dolaze, koji uspijevaju, a koji ne?
- Odrediti cilj: želite li se pojavljivati u AI odgovorima? Postoji li sadržaj koji želite zaštititi ili prodati?
- Jedan izvor pravila: ili vaš robots.txt ili Cloudflareova upravljana datoteka, ne obje jedna protiv druge.
- Misliti na vlastite usluge: chatbot na stranici, monitoring ili SEO alat također pretražuju vašu stranicu. Paušalno blokiranje onesposobljava i njih. Za naš vlastiti chatbot crawler otvoreno objašnjavamo kako ga dopustiti ili blokirati.
Ako to ne želite sami razvrstavati: pregledamo vašu stranicu, preporučimo smjer i postavimo ga. Više na našoj stranici AI crawleri i AI vidljivost.