La balise meta robots
Qu’est-ce que la balise meta robots ?
Il s’agit d’une balise HTML permettant d’analyser et de contrôler la manière d’exploration et d’indexation des moteurs de recherche.
En effet, grâce à cette balise, un Webmaster peut interdite à un moteur de recherche de suivre les liens se trouvant sur une page mais aussi d’indexer cette dernière.
En règle générale, il est intéressant de voir que les moteurs de recherche indexent la totalité de votre site internet. En effet, plus il y aura de lien sur les résultats de recherche, plus le site Web aura de trafic.
Cependant, si votre site Web dispose d’un back office d’administration, il est conseillé que ce résultat n’apparaisse pas les moteurs de recherche, c’est le cas par exemple de l’accès à l’administration de Wordpress ou de Prestashop. C’est la raison pour laquelle la balise meta robots est intéressante. Elle va bloquer l’indexation de la page désirée.
Il suffit pour cela de mettre en place cette balise entre les balises <head> et </head> de la page concerné comme suit :
<head>
<meta name=“robots“ content=“none“ />
</head>
Quel est l’intérêt d’utiliser la balise meta robots à la place du fichier robots.txt ?
L’utilisation du fichier robots.txt reste la méthode la plus répandu. Cependant la balise meta robots est préférable pour certaines raisons qui sont les suivantes :
- Il se peut que vous n’ayez pas accès au fichier robots.txt se trouvant à la racine du site internet. Cela est souvent le cas lorsque vous utilisez une plateforme de blog mutualisée.
- La majorité des sites internet dispose d’un accès à un back office permettant l’administration dudit site. Cette page ne doit en aucun cas être indexée. Cependant, en bloquant l’accès par le biais du fichier robots.txt, le robot est en mesure de découvrir l’URL de l’administration de votre site dans la mesure où ce fichier peut être lu en vous rendant sur l’URL suivant : http://domaine.com/robots.txt.
- Même si votre fichier robots.txt a bloqué l’indexation de ce fichier, ce dernier peut se retrouver dans les résultats de recherche. La balise noindex permettra de s’assurer que l’URL ne pourra pas remonter dans les résultats.
Quelles sont les valeurs possibles sur une balise meta robots ?
L’attribut « content » de la balise meta robots peut disposer des valeurs suivantes :
- noindex : La page contenant cette valeur ne sera pas indexée
- nofollow : Cette balise indique au robot d’indexation que les liens contenus sur cette page ne doivent pas être suivi.
- none : Regroupe les règles noindex et nofollow.
- nosnippet : Cette balise permet d’interdire l’affichage d’un extrait du contenu de la page.
- noodp : Interdit l’utilisation d’une description de replacement tirée des annuaires DMOZ
- noarchive : Cette balise interdit l’affichage d’un lien placé en cache.
- unavailable_after : Permet de définir une date et une heure de fin d’exploration et d’indexation.
- noimageindex : La page concernée doit être indiqué comme source d’une image.
Comment bien utiliser la balise meta robots ?
IL y a quelques règles à connaître et à respecter afin d’utiliser au mieux les balises meta robots. Les sont les suivantes :
- Concernant la rédaction des meta robots, il n’y a pas de règles particulières. En effet, que vous écriviez en majuscules ou en minuscules, le robot d’indexation de Google (Googlebot) sera en mesure de lire la règle défini par vos soins. Cependant afin de rester cohérent avec le reste du code, il est préférable de tout écrire de la même façon.
- Il est préférable d’insérer sur la même ligne toutes les valeurs désirées. En effet, cela facilitera la lecture des règles et évitera tous conflits entre différentes pages. L’intégration de plusieurs règles sur la même ligne s’écrit comme suit : <meta name=“robots“ content=“noindex, nofollow“>
- Il est nécessaire d’avoir un minimum de connaissance afin d’écrire deux règles contradictoires comme les valeurs « index » et « noindex ». Dans ce cas, le robot d’indexation prendra en compte la règle la plus restrictive des deux.
- En dernier lieu, faites attention aux conflits qui pourraient se présenter entre le fichier robots.txt et le meta robots mis en place par vos soins. Dans ce cas aussi, le robot d’indexation prendra en compte la règle la plus restrictive des deux.
Il est aussi à noter que :
- Si votre page est bloqué par le fichier robots.txt, cette dernière ne sera jamais crawlée par les moteurs de recherche. De plus, les meta robots ne pourront être lu.
- En revanche, si votre page n’est pas bloqué par le fichier robots.txt mais uniquement bloqué par un meta robots, alors la page sera accessible, crawlée. Cependant cette dernière ne sera pas indexée.
