Jak zabránit vyhledávačům v indexování vašich stránek

Pokud máte vývojářský web nebo stránku, kterou nechcete, aby vyhledávače indexovaly, můžete si toho všimnout pomocí souboru robots.txt. Soubor robots.txt řekne robotům, aby nenavštěvovali žádné stránky na webu.

Blokování všech robotů z celého webu

1. Vytvořte textový soubor s názvem robots.txt
2. Do souboru zadejte následující:

User-agent: *
Disallow: / 

3. Uložte textový soubor a umístěte jej do kořenového adresáře souborů vašeho webu ve složce httpdocs. Viz Jak používat FTP. Tento soubor je respektován legitimními vyhledávači, ale může být ignorován návrhem kódu se zlým úmyslem. Další informace o souborech robots.txt naleznete na této adrese URL:http://www.robotstxt.org/robotstxt.html.