Technický průvodce

AI crawlery a robots.txt

Poskytovatelé AI mohou používat samostatné crawlery pro vyhledávání, trénink modelů a získání obsahu vyžádané uživatelem. Bezpečná politika začíná rozhodnutím, které použití chcete povolit.

2 min čtení

Ilustrace k tématu AI crawlery, bez textu.

Hlavní body

  • Poskytovatelé AI mohou používat samostatné crawlery pro vyhledávání, trénink modelů a získání obsahu vyžádané uživatelem. Bezpečná politika začíná rozhodnutím, které použití chcete povolit.
  • Před změnou produkčních pravidel vždy znovu zkontrolujte aktuální dokumentaci poskytovatele.
  • Neudrží důvěrný obsah v soukromí.
  • Negarantuje indexaci ani zahrnutí.
Obsah

Účel crawleru je rozhodující

Před změnou produkčních pravidel vždy znovu zkontrolujte aktuální dokumentaci poskytovatele.

PoskytovatelCrawlerÚčelCo řídí
OpenAIOAI-SearchBotVyhledáváníŘídí možnost zobrazit stránky ve výsledcích vyhledávání ChatGPT.
OpenAIGPTBotTrénink modelůSignalizuje, zda se obsah může použít k tréninku základních modelů OpenAI.
GoogleGooglebotGoogle Search a AI funkceŘídí crawling pro Google Search včetně AI Overviews a AI Mode.
GoogleGoogle-ExtendedGemini trénink a groundingNeovlivňuje zahrnutí ani pořadí v Google Search.
AnthropicClaude-SearchBotVyhledáváníIndexuje obsah pro relevanci výsledků Claude Search.
AnthropicClaudeBotTrénink modelůZískává veřejný obsah, který může přispět k budoucímu tréninku.
Crawlery a jejich účel
Účel crawleru je rozhodující
Poskytovatelé AI mohou používat samostatné crawlery pro vyhledávání, trénink modelů a získání obsahu vyžádané uživatelem. Bezpečná politika začíná rozhodnutím, které použití chcete povolit.

Příklad vědomé politiky

Příklad povoluje OpenAI vyhledávání a odmítá tréninkový crawling. Je ilustrací, ne doporučením pro každý web.

Příklad vědomé politiky
Neovlivňuje zahrnutí ani pořadí v Google Search.

Kontrolní seznam pro produkci

Změnu robots.txt považujte za řízenou technickou změnu. Otestujte ji, zdokumentujte a monitorujte.

  • Rozhodněte zvlášť o vyhledávání, tréninku a uživatelském získávání.
  • Zkontrolujte každou subdoménu; robots.txt platí pro konkrétního hostitele.
  • Soukromý obsah chraňte autentizací, ne robots.txt.
  • Zkontrolujte také CDN, firewall a bot-management pravidla.
  • Validujte syntaxi a monitorujte serverové logy.
  • Zaznamenejte vlastníka rozhodnutí, datum revize a zdroj dokumentace.

Co robots.txt nedělá

  • Neudrží důvěrný obsah v soukromí.
  • Negarantuje indexaci ani zahrnutí.
  • Nevytváří výhodu v AI pořadí.
  • Nenahrazuje kontroly HTTP, renderování ani firewallu.
Kontrolní seznam pro produkci
Změnu robots.txt považujte za řízenou technickou změnu. Otestujte ji, zdokumentujte a monitorujte.

Časté otázky

Řídí Google-Extended AI Overviews?

Ne. Googlebot řídí crawling pro Google Search včetně AI Overviews a AI Mode. Google-Extended neovlivňuje zahrnutí ani pořadí v Google Search.

Je robots.txt kontrola přístupu?

Ne. Neudrží důvěrný obsah v soukromí. Soukromý obsah chraňte autentizací.

Garantuje povolení crawleru indexaci?

Ne. robots.txt negarantuje indexaci ani zahrnutí a nevytváří výhodu v AI pořadí.

Zdroje

Kontroly výše jsou shrnutí z dokumentů poskytovatelů. Politiky se mění, proto před publikováním pravidla zkontrolujte aktuální stránku.

  1. OpenAI: dokumentace crawlerů
  2. Google: AI funkce a váš web
  3. Google: přehled crawlerů včetně Google-Extended
  4. Anthropic: crawling a robots.txt

Spusťte bezplatný audit AI viditelnosti

Otevřete ViziGEO a prohlédněte si zdokumentovaný vzorek otázek, zmínek, doporučení a citací. Audit zaznamenává, co bylo pozorováno. Neslibuje zmínku, citaci ani doporučení.