Soubor robots.txt a jeho význam na webu
Soubor robots.txt je jedním z nejdůležitějších souborů na webových stránkách. Tento soubor slouží jako průvodce pro vyhledávače a jeho roboty, kteří procházejí webové stránky a indexují je pro vyhledávací výsledky. Bez souboru robots.txt by roboti museli procházet celou webovou stránku, což může způsobit zbytečné zatížení serveru a zpomalení načítání stránky. Navíc to ne vždy je žádoucí. Kam se soubor soubor robots.txt ukládá? Soubor robots.txt se ukládá na kořenovou adresu webové stránky a roboti jej tam automaticky hledají. Například soubor robots.txt pro stránku www.moje-domena.cz by byl k dispozici na adrese www.moje-domena.cz/robots.txt. Soubor robots.txt a driectivy Robots.txt … Číst dál
