Technický sprievodca

AI crawlery a robots.txt

Poskytovatelia AI môžu používať samostatné crawlery pre vyhľadávanie, tréning modelov a získanie obsahu vyžiadané používateľom. Bezpečná politika začína rozhodnutím, ktoré použitie chcete povoliť.

2 min čítania

Ilustrácia k téme AI crawlery a robots.txt, bez textu.

Hlavné body

  • Účel crawlera rozhoduje skôr než jeden spoločný zoznam.
  • Googlebot riadi Google Search vrátane AI funkcií.
  • Google-Extended neovplyvňuje zahrnutie ani poradie v Google Search.
  • robots.txt nie je ochrana súkromného obsahu.
Obsah

Účel crawlera je rozhodujúci

Pred zmenou produkčných pravidiel vždy znova skontrolujte aktuálnu dokumentáciu poskytovateľa.

PoskytovateľCrawlerÚčel
OpenAIOAI-SearchBotVyhľadávanie v ChatGPT.
OpenAIGPTBotTréning základných modelov.
GoogleGooglebotGoogle Search vrátane AI Overviews a AI Mode.
GoogleGoogle-ExtendedGemini tréning a grounding, nie poradie v Search.
AnthropicClaude-SearchBotRelevantnosť výsledkov Claude Search.
AnthropicClaudeBotVerejný obsah pre budúci tréning.
Crawlery a ich účel
Účel crawlera je rozhodujúci.
Pred zmenou pravidiel skontrolujte aktuálnu dokumentáciu poskytovateľa.

Príklad vedomej politiky

Príklad povoľuje OpenAI vyhľadávanie a odmieta tréningový crawling. Je ilustráciou, nie odporúčaním pre každý web.

Bezpečná politika začína rozhodnutím, ktoré použitie chcete povoliť.
Google-Extended neovplyvňuje zahrnutie ani poradie v Google Search.

Kontrolný zoznam pre produkciu

Zmenu robots.txt považujte za riadenú technickú zmenu. Otestujte ju, zdokumentujte a monitorujte.

  • Rozhodnite osobitne o vyhľadávaní, tréningu a používateľskom získavaní.
  • Skontrolujte každú subdoménu; robots.txt platí pre konkrétneho hostiteľa.
  • Súkromný obsah chráňte autentifikáciou, nie robots.txt.
  • Skontrolujte aj CDN, firewall a bot-management pravidlá.
  • Validujte syntax a monitorujte serverové logy.
  • Zaznamenajte vlastníka rozhodnutia, dátum revízie a zdroj dokumentácie.

Čo robots.txt nerobí

  • Neudrží dôverný obsah v súkromí.
  • Negarantuje indexáciu ani zahrnutie.
  • Nevytvára výhodu v AI poradí.
  • Nenahrádza kontroly HTTP, renderovania ani firewallu.
Kontrolný zoznam pre produkciu.
Súkromný obsah chráňte autentifikáciou, nie robots.txt.

Časté otázky

Riadi Google-Extended AI Overviews?

Nie. Googlebot riadi crawling pre Google Search vrátane AI Overviews a AI Mode. Google-Extended neovplyvňuje zahrnutie ani poradie v Google Search.

Je robots.txt kontrola prístupu?

Nie. Neudrží dôverný obsah v súkromí. Súkromný obsah chráňte autentifikáciou.

Garantuje povolenie crawlera indexáciu?

Nie. robots.txt negarantuje indexáciu ani zahrnutie a nevytvára výhodu v AI poradí.

Zdroje

Kontroly vyššie sú zhrnutie z dokumentov poskytovateľov. Politiky sa menia, preto pred publikovaním pravidla skontrolujte aktuálnu stránku.

  1. OpenAI: dokumentácia crawlerov
  2. Google: AI funkcie a váš web
  3. Google: prehľad crawlerov vrátane Google-Extended
  4. Anthropic: crawling a robots.txt

Spustite bezplatný audit AI viditeľnosti

Otvorte ViziGEO a pozrite si zdokumentovanú vzorku otázok, zmienok, odporúčaní a citácií. Audit zaznamenáva, čo sa pozorovalo. Nesľubuje zmienku, citáciu ani odporúčanie.