Upraveno 6 prosince, 2023 05:46
Soubor robots.txt je jedním z nejdůležitějších souborů na webových stránkách. Tento soubor slouží jako průvodce pro vyhledávače a jeho roboty, kteří procházejí webové stránky a indexují je pro vyhledávací výsledky. Bez souboru robots.txt by roboti museli procházet celou webovou stránku, což může způsobit zbytečné zatížení serveru a zpomalení načítání stránky. Navíc to ne vždy je žádoucí.
Kam se soubor soubor robots.txt ukládá?
Soubor robots.txt se ukládá na kořenovou adresu webové stránky a roboti jej tam automaticky hledají. Například soubor robots.txt pro stránku www.moje-domena.cz by byl k dispozici na adrese www.moje-domena.cz/robots.txt.
Soubor robots.txt a driectivy
Robots.txt obsahuje několik různých directiv, které říkají robotům, jak mají stránky procházet a co mají indexovat. Případně také robotům do určitých složek a míst na webu přístup zakazují. Mezi nejčastěji používané directivy patří:
User-agent
Tato directiva určuje konkrétního robota, nebo skupinu robotů, na které se bude daná directiva vztahovat. Například: User-agent: Googlebot. Takové pravidlo bude určovat možnosti pro robota od společnosti Google.
Disallow
Tato directiva říká robotům, jaké stránky nebo adresáře mají ignorovat a neskenovat. Například: Disallow: /admin/ zakáže robotům procházení adresáře admin. Zde je nutné dodat, že dané pravidlo nemusí roboti vždy a bezpodmínečně dodržet. Záleží vždy na chování daného robota, zda taková pravidla dodržovat bude, či nikoliv.
Allow
Tato directiva určuje konkrétní adresáře nebo stránky, které jsou povoleny k prohledání roboty. Používá se většinou s Disallow. Například: Allow: /blog/ povolí robotům procházení adresáře blog, který byl předtím zakázán pomocí Disallow. Hned vysvětlím. Uvažujme, že máme web, který má následující adresářovou strukturu:
- /blog/
- /produkty/
- /kontakt/
Pokud chceme povolit robotům procházení adresáře “blog”, ale zakázat jim přístup k adresáři “produkty”, může soubor robots.txt vypadat následovně:
User-agent: *
Disallow: /produkty/
Allow: /blog/
Crawl-delay
Tato directiva určuje časové zpoždění mezi jednotlivými požadavky robota. Používá se k omezování vytížení serveru. Například: Crawl-delay: 5 určí zpoždění 5 sekund mezi požadavky robota.
User-agent: *
Crawl-delay: 5
Disallow: /admin/
Disallow: /soukromi/
V tomto příkladu direktiva “User-agent: *” opět označuje, že se jedná o všechny roboty. Direktiva “Crawl-delay: 5” určuje, že mezi jednotlivými dotazy robota na web by měla být 5 sekundová pauza. Direktivy “Disallow” zakazují robotům přístup k adresářům “/admin/” a “/soukromi/“.
Sitemap
Tato directiva určuje umístění souboru sitemap pro danou webovou stránku. Sitemap obsahuje seznam všech stránek na webu a pomáhá robotům při indexaci. Například: Sitemap: http://www.moje-domena.cz/sitemap.xml.
User-agent: *
Disallow: /admin/
Disallow: /soukromi/
Sitemap: https://www.moje-domena.cz/sitemap.xml
A co lomítko a hvězdička?
Lomítko a hvězdička jsou důležité znaky v souboru robots.txt. Lomítko se používá k oddělení adresářů a stránek. Pokud například chceme zakázat robotům přístup k adresáři s obrázky, použijeme directivu Disallow s adresou adresáře. Například: Disallow: /obrazky/. Naopak hvězdička se používá jako zástupný znak pro libovolný řetězec. Například: Disallow: /*.pdf zakáže robotům procházení jakéhokoliv PDF souboru na stránce.
Soubor robots.txt na závěr
Správa webových stránek pomocí souboru robots.txt ovlivňuje indexaci a zobrazování stránek ve výsledcích vyhledávačů. Pokud chcete mít kontrolu nad tím, jak roboti procházejí vaši stránku, musíte se naučit správné použití a konfiguraci souboru robots.txt. Soubor robots.txt umožňuje aktivně ovládat, jak se roboti chovají na vašem webu a zajišťuje tak správnou indexaci vašich stránek vyhledávači
Web je vytvářen s pečlivostí k obsaženým informacím. Snažím se poskytovat kvalitní a užitečný obsah, který ostatním pomáhá, nebo je inspiruje. Pokud jste spokojeni s mou prací a chtěli byste mě podpořit, můžete to udělat prostřednictvím jednoduchých možností.
Odebírejte Newsletter
Buďte v obraze! Připojte se k odběru newsletteru a buďte první, kdo získá nejnovější informace přímo do vaší e-mailové schránky. Sledujte aktuality, exkluzivní události a inspirativní obsah, přímo na Vašem e-mailu.
