Soubor robots.txt je textový soubor, který se nachází na webovém serveru a slouží k omezení přístupu webových robotů (tzv. „spider“ nebo „crawler“) k určitým částem webové stránky. Obsahuje pokyny pro robota, které mu říkají, jaké stránky nebo adresáře na webovém serveru mohou, nebo nemohou být procházeny, nebo indexovány. Toto omezení může být užitečné například pro ochranu soukromých nebo citlivých údajů nebo pro zabránění přetížení serveru.
Existuje několik možností, jak může vypadat soubor robots.txt. Zde jsou některé příklady:
Zakázání všech robotů:
User-agent: *
Disallow: /
Povolení všech robotů, ale zakázání přístupu k souborům s příponou .pdf:
User-agent: *
Disallow: /*.pdf$
Povolení pouze pro Googlebot:
User-agent: Googlebot
Disallow:
Zakázání pouze pro Bingbot:
User-agent: Bingbot
Disallow: /
Zakázání přístupu k celému adresáři:
User-agent: *
Disallow: /tajny-adresar/
Je důležité si uvědomit, že robots.txt není zárukou ochrany, protože roboti mohou ignorovat pokyny uvedené v souboru.
Přečtěte si také nové články na blogu.
Recenze Ultrahuman Ring – funguje opravdu tak skvěle?
Jak odstranit režim údržby po neúspěšné aktualizaci WordPressu
Kritická chyba po aktualizaci na WordPress 6.5.5.
Instalace Nextcloud na sdílený hosting (pomocí FTP)
Jak zakázat přihlášení do WordPressu pomocí e-mailové adresy
Bezpečnější aktualizace ve WordPressu 6.6
WP Rocket – výpadky serverů zpomalují WordPress weby
Jak provést jednoduchý zátěžový test Vašeho WordPressu
