Jak blokovat roboty pomocí souboru Robots.txt v cPanel?

Robot.txt soubor je jednoduchý textový soubor vytvořený v kořenovém adresáři vašeho webu, který umožňuje robotům vyhledávače procházet váš web a indexovat jej. Robot .txt také řídí, jak a ke kterým souborům by měli roboti přistupovat, takže jeho správná konfigurace je zásadní věcí. Pomocí souboru robot.txt můžete zabránit robotům v indexování vašeho webu ve vyhledávačích.

V tomto článku vám ukážeme, jak zablokovat roboty úpravou souboru robot.txt. Začněte podle následujících kroků.

1. Přihlaste se ke svému účtu cPanel.
   
   
2. Otevřete správce souborů.
   
   
   
   
3. Vytvořte jeden soubor s názvem robot.txt a přidejte níže uvedený kód pro zablokování robota. Tento kód zablokuje robota ve vyhledávači Baidu.
   
   

   RewriteEngine On
   RewriteCond %{HTTP_USER_AGENT} Baiduspider [NC]
   RewriteRule .* – [F,L]
   

   
   
   
   
   
   
4. To je ono. Nyní již Baidu nebude moci robotovat váš web.