Robots.txt

Soubor robots.txt je textový soubor, který se nachází na webovém serveru a slouží k omezení přístupu webových robotů (tzv. “spider” nebo “crawler”) k určitým částem webové stránky. Obsahuje pokyny pro robota, které mu říkají, jaké stránky nebo adresáře na webovém serveru mohou, nebo nemohou být procházeny, nebo indexovány. Toto omezení může být užitečné například pro ochranu soukromých nebo citlivých údajů nebo pro zabránění přetížení serveru.

Existuje několik možností, jak může vypadat soubor robots.txt. Zde jsou některé příklady:

Zakázání všech robotů:

				
					User-agent: *
Disallow: /
				
			

Povolení všech robotů, ale zakázání přístupu k souborům s příponou .pdf:

				
					User-agent: *
Disallow: /*.pdf$

				
			

Povolení pouze pro Googlebot:

				
					User-agent: Googlebot
Disallow:

				
			

Zakázání pouze pro Bingbot:

				
					User-agent: Bingbot
Disallow: /

				
			

Zakázání přístupu k celému adresáři:

				
					User-agent: *
Disallow: /tajny-adresar/

				
			

Je důležité si uvědomit, že robots.txt není zárukou ochrany, protože roboti mohou ignorovat pokyny uvedené v souboru.

Pokud mi chcete napsat rychlou zprávu, využije, prosím, níže uvedený
kontaktní formulář. Děkuji.

Další Kontaktní údaje