AI crawlery a robots.txt: technický sprievodca

Pochopte pravidlá crawlerov OpenAI, Google a Anthropic pre AI vyhľadávanie, tréning a získavanie obsahu používateľom.