Soubor robots.txt je textový soubor, který se nachází na webovém serveru a slouží k omezení přístupu webových robotů (tzv. “spider” nebo “crawler”) k určitým částem webové stránky. Obsahuje pokyny pro robota, které mu říkají, jaké stránky nebo adresáře na webovém serveru mohou, nebo nemohou být procházeny, nebo indexovány. Toto omezení může být užitečné například pro ochranu soukromých nebo citlivých údajů nebo pro zabránění přetížení serveru.
Existuje několik možností, jak může vypadat soubor robots.txt. Zde jsou některé příklady:
Zakázání všech robotů:
User-agent: *
Disallow: /
Povolení všech robotů, ale zakázání přístupu k souborům s příponou .pdf:
User-agent: *
Disallow: /*.pdf$
Povolení pouze pro Googlebot:
User-agent: Googlebot
Disallow:
Zakázání pouze pro Bingbot:
User-agent: Bingbot
Disallow: /
Zakázání přístupu k celému adresáři:
User-agent: *
Disallow: /tajny-adresar/
Je důležité si uvědomit, že robots.txt není zárukou ochrany, protože roboti mohou ignorovat pokyny uvedené v souboru.
Přečtěte si také nové články na blogu.
![chyba_wordpress_6_hlavni - Jiří Vaněk - Jiří Vaněk Kritická chyba po aktualizaci na WordPress 6.5.5.](https://blog.jirivanek.eu/wp-content/uploads/2024/06/chyba_wordpress_6_hlavni-1024x288.webp)
Kritická chyba po aktualizaci na WordPress 6.5.5.
![nextcloud_navod_hlavni - Jiří Vaněk - Jiří Vaněk Instalace Nextcloud na sdílený hosting (pomocí FTP)](https://blog.jirivanek.eu/wp-content/uploads/2024/06/nextcloud_navod_hlavni-1024x288.png)
Instalace Nextcloud na sdílený hosting (pomocí FTP)
![zakaz_mailove_adresy_hlavni - Jiří Vaněk - Jiří Vaněk Jak zakázat přihlášení do WordPressu pomocí e-mailové adresy](https://blog.jirivanek.eu/wp-content/uploads/2024/06/zakaz_mailove_adresy_hlavni-1024x288.webp)
Jak zakázat přihlášení do WordPressu pomocí e-mailové adresy
![automatic_updates_disable_main - Jiří Vaněk - Jiří Vaněk Zakažte automatické updaty WordPressu pomocí snippetu](https://blog.jirivanek.eu/wp-content/uploads/2023/07/automatic_updates_disable_main-1024x288.webp)
Bezpečnější aktualizace ve WordPressu 6.6
![wp_rocket_hlavni - Jiří Vaněk - Jiří Vaněk WP Rocket - výpadky serverů zpomalují WordPress weby](https://blog.jirivanek.eu/wp-content/uploads/2024/06/wp_rocket_hlavni-1024x288.webp)
WP Rocket – výpadky serverů zpomalují WordPress weby
![loader_io_hlavni - Jiří Vaněk - Jiří Vaněk Jak provést zátěžový test Vašeho WordPressu - hlavní náhledový obrázek ke článku](https://blog.jirivanek.eu/wp-content/uploads/2024/06/loader_io_hlavni-1024x288.webp)
Jak provést jednoduchý zátěžový test Vašeho WordPressu
![facebook_zaloha_hlavni - Jiří Vaněk - Jiří Vaněk Jak provést zálohu Facebook účtu](https://blog.jirivanek.eu/wp-content/uploads/2024/05/facebook_zaloha_hlavni-1024x288.webp)
Jak provést zálohu Facebook účtu
![disable_updates_main - Jiří Vaněk - Jiří Vaněk Jak ve WordPressu zakázat automatické aktualizace](https://blog.jirivanek.eu/wp-content/uploads/2023/04/disable_updates_main-1024x283.webp)
Vyšel nový WordPress 6.5 Regina
![trendy_mob_app_webp - Jiří Vaněk - Jiří Vaněk Trendy ve vývoji mobilních aplikací, které vedou k úspěchu.](https://blog.jirivanek.eu/wp-content/uploads/2024/03/trendy_mob_app-1024x288.webp)