Un robot est un logiciel utilisé par les moteurs de recherche pour parcourir le Web à intervalles réguliers et de façon indépendante et pour analyser les sites Web. Les pages identifiées sont indexées dans une base de données, accessibles ensuite par les internautes à partir de mots-clés.
Lorsqu’un robot, encore appelé spider, crawler ou agent, découvre une nouvelle adresse (URL), il lit tout d’abord le fichier robots.txt. Ce fichier indique au robot si et comment un site peut être visité. Les webmasters peuvent empêcher les robots d’indexer les parties de leur site qu’ils ne souhaitent pas voir accessibles depuis les moteurs de recherche.
Robots.txt est un simple fichier de texte qui se trouve dans le répertoire principal du Worldsoft-CMS. Vous avez maintenant la possibilité de modifier ce fichier.
Vous trouverez la documentation sur le fichier robots.txt en cliquant sur le lien suivant:
http://fr.worldsoft-infocenter.info/modules/uploadmanager11/admin/index.php?action=file_download&file_id=153&location_id=0
Plus d’informations sur ce thème en cliquant sur le lien suivant:
http://fr.wikipedia.org/wiki/Fichier_d%27exclusion_des_robots
|