Soubor robots.txt a jeho význam na webu

Upraveno 6 prosince, 2023 05:46

Soubor robots.txt je jedním z nejdůležitějších souborů na webových stránkách. Tento soubor slouží jako průvodce pro vyhledávače a jeho roboty, kteří procházejí webové stránky a indexují je pro vyhledávací výsledky. Bez souboru robots.txt by roboti museli procházet celou webovou stránku, což může způsobit zbytečné zatížení serveru a zpomalení načítání stránky. Navíc to ne vždy je žádoucí.

Kam se soubor soubor robots.txt ukládá?

Soubor robots.txt se ukládá na kořenovou adresu webové stránky a roboti jej tam automaticky hledají. Například soubor robots.txt pro stránku www.moje-domena.cz by byl k dispozici na adrese www.moje-domena.cz/robots.txt.

Soubor robots.txt a jeho význam na webu

Soubor robots.txt a driectivy

Robots.txt obsahuje několik různých directiv, které říkají robotům, jak mají stránky procházet a co mají indexovat. Případně také robotům do určitých složek a míst na webu přístup zakazují. Mezi nejčastěji používané directivy patří:

User-agent

Tato directiva určuje konkrétního robota, nebo skupinu robotů, na které se bude daná directiva vztahovat. Například: User-agent: Googlebot. Takové pravidlo bude určovat možnosti pro robota od společnosti Google.

Disallow

Tato directiva říká robotům, jaké stránky nebo adresáře mají ignorovat a neskenovat. Například: Disallow: /admin/ zakáže robotům procházení adresáře admin. Zde je nutné dodat, že dané pravidlo nemusí roboti vždy a bezpodmínečně dodržet. Záleží vždy na chování daného robota, zda taková pravidla dodržovat bude, či nikoliv.

Allow

Tato directiva určuje konkrétní adresáře nebo stránky, které jsou povoleny k prohledání roboty. Používá se většinou s Disallow. Například: Allow: /blog/ povolí robotům procházení adresáře blog, který byl předtím zakázán pomocí Disallow. Hned vysvětlím. Uvažujme, že máme web, který má následující adresářovou strukturu:

  • /blog/
  • /produkty/
  • /kontakt/

Pokud chceme povolit robotům procházení adresáře “blog”, ale zakázat jim přístup k adresáři “produkty”, může soubor robots.txt vypadat následovně:

				
					User-agent: *
Disallow: /produkty/
Allow: /blog/
				
			

Crawl-delay

Tato directiva určuje časové zpoždění mezi jednotlivými požadavky robota. Používá se k omezování vytížení serveru. Například: Crawl-delay: 5 určí zpoždění 5 sekund mezi požadavky robota.

				
					User-agent: *
Crawl-delay: 5
Disallow: /admin/
Disallow: /soukromi/
				
			

V tomto příkladu direktiva “User-agent: *” opět označuje, že se jedná o všechny roboty. Direktiva “Crawl-delay: 5” určuje, že mezi jednotlivými dotazy robota na web by měla být 5 sekundová pauza. Direktivy “Disallow” zakazují robotům přístup k adresářům “/admin/” a “/soukromi/“.

Sitemap

Tato directiva určuje umístění souboru sitemap pro danou webovou stránku. Sitemap obsahuje seznam všech stránek na webu a pomáhá robotům při indexaci. Například: Sitemap: http://www.moje-domena.cz/sitemap.xml.

				
					User-agent: *
Disallow: /admin/
Disallow: /soukromi/
Sitemap: https://www.moje-domena.cz/sitemap.xml
				
			

A co lomítko a hvězdička?

Lomítko a hvězdička jsou důležité znaky v souboru robots.txt. Lomítko se používá k oddělení adresářů a stránek. Pokud například chceme zakázat robotům přístup k adresáři s obrázky, použijeme directivu Disallow s adresou adresáře. Například: Disallow: /obrazky/. Naopak hvězdička se používá jako zástupný znak pro libovolný řetězec. Například: Disallow: /*.pdf zakáže robotům procházení jakéhokoliv PDF souboru na stránce.

Soubor robots.txt na závěr

Správa webových stránek pomocí souboru robots.txt ovlivňuje indexaci a zobrazování stránek ve výsledcích vyhledávačů. Pokud chcete mít kontrolu nad tím, jak roboti procházejí vaši stránku, musíte se naučit správné použití a konfiguraci souboru robots.txt. Soubor robots.txt umožňuje aktivně ovládat, jak se roboti chovají na vašem webu a zajišťuje tak správnou indexaci vašich stránek vyhledávači

Web je vytvářen s pečlivostí k obsaženým informacím. Snažím se poskytovat kvalitní a užitečný obsah, který ostatním pomáhá, nebo je inspiruje. Pokud jste spokojeni s mou prací a chtěli byste mě podpořit, můžete to udělat prostřednictvím jednoduchých možností.

Byl pro Vás tento článek užitečný?

Klikni na počet hvězd pro hlasování.

Průměrné hodnocení. 0 / 5. Počet hlasování: 0

Zatím nehodnoceno! Buďte první

Jak užitečný vidíte tento článek.

Sledujte mě na sociálních médiích.

Je mi líto, že pro Vás nebyl článek užitečný.

Jak mohu vylepšit článek?

Řekněte mi, jak jej mohu zlepšit.

newsletter

Odebírejte Newsletter

Buďte v obraze! Připojte se k odběru newsletteru a buďte první, kdo získá nejnovější informace přímo do vaší e-mailové schránky. Sledujte aktuality, exkluzivní události a inspirativní obsah, přímo na Vašem e-mailu.  

Odebírat
Upozornit na
guest
0 Komentáře/ů
Nejstarší
Nejnovější Nejvíce hlasováno
Vložené zpětné vazby.
Zobrazit všechny komentáře.

Pokud mi chcete napsat rychlou zprávu, využije, prosím, níže uvedený
kontaktní formulář. Děkuji.

Další Kontaktní údaje