Upraveno 6 prosince, 2023 06:12
Soubor robots.txt je textový soubor, který určuje, které stránky nebo sekce webového serveru mohou být indexovány vyhledávači, jako je např. Google, Seznam, Bing apod. Tento soubor v podstatě slouží jako instrukce pro vyhledávače, aby neindexovaly citlivý nebo nežádoucí obsah na Vašich webových stránkách. Je to jednoduchý způsob, jak vyhledávačům sdělit, které stránky se mohou či nemohou stát součástí jejich výsledků vyhledávání. Pojďme se tedy blíže podívat na soubor robots.txt a jeho příklady.
Soubor robots.txt se nahrává do kořenového adresáře webu. Například tedy, pokud máte webovou stránku “mojedomena.cz“, soubor robots.txt by se měl nahrát na adresu “http://www.mojedomena.cz/robots.txt“. Tuto adresu mohou vyhledávače použít aby soubor nalezly a získaly z instrukce, jak indexovat stránky na Vašem webu.
Soubor robots.txt obsahuje obvykle tyto příkazy:
- User-agent: Tento příkaz specifikuje, který vyhledávač má být ovlivněn následujícími příkazy. Například: “User-agent: Googlebot”.
- Disallow: Naproti tomu tento příkaz specifikuje, které stránky nebo sekce na webu se indexovat nemají. Například: “Disallow: /soukromé/”.
- Allow: Příkaz, který specifikuje, jaké stránky nebo sekce na webu se naopak mají indexovat, i mohou být zakázané v jiných příkazech. Například: “Allow: /verejne/”.
- Zápis “/” znamená kořenový adresář webu a “*” znamená všechny roboti. Takže například “Disallow: /” řekne všem robotům, aby se vyhnuli celému webu.
Příklady zápisu do souboru robots.txt
Zákaz indexování celého webu pro všechny vyhledávače:
User-agent: *
Disallow: /
Povolení indexování celého webu pouze pro Googlebot:
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
Zákaz indexování soukromých stránek, ale povolení indexování veřejných stránek:
User-agent: *
Disallow: /private/
Allow: /public/
Zákaz indexování specifického souboru, například souboru s osobními údaji:
User-agent: *
Disallow: /private/personal_data.html
Povolení indexování všech stránek pro Googlebot a zákaz pro ostatní vyhledávače:
User-agent: Googlebot
Allow: /
User-agent: *
Disallow: /
Zákaz indexování vyhledávacího formuláře a stránek s výsledky vyhledávání:
User-agent: *
Disallow: /search_form.php
Disallow: /search_results.php
Soubor robots.txt a jeho příklady
Tyto příklady ukazují, jak mohou být příkazy v souboru robots.txt napsány pro různé potřeby. Je důležité abyste is uvědomili, že soubor robots.txt není zárukou, že budou vyhledávače respektovat Vaše požadavky. Jedná se ale standardizovaný způsob, jak jim nabídnout instrukce.
Pokud se však stále v pravidlech souboru robots.txt ztrácíte, existuje mnoho online generátorů, které jsou schopny celý soubor vygenerovat za Vás. Za všechny např. https://www.seoptimer.com/robots-txt-generator.
Web je vytvářen s pečlivostí k obsaženým informacím. Snažím se poskytovat kvalitní a užitečný obsah, který ostatním pomáhá, nebo je inspiruje. Pokud jste spokojeni s mou prací a chtěli byste mě podpořit, můžete to udělat prostřednictvím jednoduchých možností.
Odebírejte Newsletter
Buďte v obraze! Připojte se k odběru newsletteru a buďte první, kdo získá nejnovější informace přímo do vaší e-mailové schránky. Sledujte aktuality, exkluzivní události a inspirativní obsah, přímo na Vašem e-mailu.
