Générez votre fichier Robots.txt
Le fichier robots.txt est un fichier texte placé à la racine d'un site et contenant des ordres pour les robots d'indexation des moteurs de recherche afin de leur indiquer les pages qui peuvent ou ne peuvent pas être indexées. Le fichier robots.txt est le premier fichier analysé par les crawlers des moteurs de recherche.
Autoriser tous les robots à accéder à tout le site :
User-agent: *
Disallow:
Empêcher tous les robots d'accéder au site :
User-agent: *
Disallow: /
Pour empêcher tous les robots sauf Googlebot d'accéder à un dossier en particulier, par exemple http://example.org/forum/
User-agent: *
Disallow: /forum
User-agent: googlebot
Disallow:
Referencement-gratuit.com est un service de la société Brioude-Internet Référencement
CONSEILS
Il ne peut exister qu'un seul fichier robots.txt sur un site, et il doit se trouver au niveau de la racine (root), attention si vous le placez dans un répertoire celui-ci ne sera pas lu.
SUIVI POSITIONS
- de 10 à 30 mots-clés
- de 15 à 72 rapports
- 5 outils de recherche
Interface online et intuitive
Plus d'infos