AI crawlery na vašom webe: koho pustiť, koho blokovať

Zatiaľ čo marketéri riešia viditeľnosť v AI odpovediach, správcovia webov riešia opačný koniec toho istého javu: AI boty masívne sťahujú obsah. Podľa dát Cloudflare vzrástol podiel GPTBota (OpenAI) na overenom botom traffi­cu zo 4,7 % v lete 2024 na 11,7 % o rok neskôr; medziročne jeho aktivita vyrástla o stovky percent a ClaudeBot (Anthropic) sa drží tesne pod 10 %. Otázka už neznie, či k vám AI boty chodia – ale čo s tým.

Čo za crawl dostávate späť

Cloudflare zaviedol užitočnú metriku: pomer crawlov k referralom – koľko stránok si bot stiahne na jednu návštevu, ktorú jeho služba webu privedie. Čísla z roku 2025 hovoria jasne:

• Google: zhruba 14 stiahnutých stránok na 1 privedenú návštevu.
• Bing: zhruba 41:1.
• Perplexity: rádovo stovky ku jednej – najlepšia z čisto AI firiem.
• OpenAI: rádovo tisíc ku jednej.
• Anthropic: rádovo desaťtisíce ku jednej.

Niet divu, že sa weby bránia: potom, čo Cloudflare v júli 2025 zapol blokáciu AI crawlerov ako východiskovú pre nové domény, presiahol počet webov blokujúcich AI tréning 2,5 milióna.

Blokovať, alebo pustiť? Záleží, čo ste zač

Pre vydavateľa, ktorý žije z návštev na obsahu, môže byť plošné blokovanie obhájiteľné. Pre firmu, e-shop alebo službu je to väčšinou vlastný gól: kto zablokuje AI boty, ten sa nedostane do odpovedí, z ktorých dnes prichádza najkvalitnejšia návštevnosť. Kľúčové je rozlišovať typy botov:

• Tréningové boty (napr. GPTBot, ClaudeBot) – zbierajú dáta na učenie modelov. Blokácia = dlhodobo nižšia šanca, že vás model „pozná".
• Vyhľadávacie boty (napr. OAI-SearchBot, PerplexityBot) – obsluhujú AI vyhľadávanie s citáciami. Blokácia = okamžitá strata citácií a referralov.
• Boty na vyžiadanie (napr. ChatGPT-User) – načítavajú stránku, keď ju používateľ v chate práve potrebuje. Blokácia = rozbité odkazy na vás priamo v konverzáciách.

Praktické odporúčanie

1. Marketingový web / e-shop: nechajte AI boty prejsť – viditeľnosť v odpovediach má vyššiu hodnotu než ušetrený serverový výkon. V robots.txt riaďte jednotlivé user-agenty, nie plošný zákaz.
2. Platený / unikátny obsah: zvážte blokáciu tréningových botov, ale vyhľadávacie a on-demand boty ponechajte – inak zmiznete z citácií.
3. Pomôžte botom k podstate: čistá štruktúra webu skracuje cestu k tomu, čo má model o vás vedieť.
4. Sledujte logy. Podiel AI botov v prístupových logoch je dnes rovnako dôležitá metrika ako návštevnosť z Googlu.

A nezabudnite: robots.txt rozhoduje len o vašom webe. To, či vás modely odporučia, sa z veľkej časti odohráva mimo neho – v zmienkach a článkoch na weboch, ktoré AI boty crawlujú s najvyššou prioritou. Práve tam vás dostanú PR články a zmienky z marketplace Linketica.