Les nouveaux Bing Webmaster Tools continuent de se développer à vitesse grand V avec l'ajout de fonctionnalités toujours plus intéressantes les unes que les autres, en tout discrétion. Récemment, les nouveaux outils pour webmasters ont subi une mini refonte graphique (un peu de CSS en somme ^^) et ont été réorganisé en groupes de fonctionnalités. Parme les "outils et améliorations", Bing a donc ajouté un testeur de fichier robots.txt de très bonne facture.
Le testeur de robots.txt est très simple à utiliser. Dès le chargement de la page, Bing s'efforce de rechercher (et trouver idéalement) le fichier robots.txt situé à la racine de votre site web. S'il existe, il l'analyse et fait remonter les erreurs potentiellement existantes, comme dans la capture suivante (aucune erreur ici).
À tout moment, il est possible d'actualiser le chargement du fichier robots.txt pour vérifier si une erreur existe, ou tout simplement en utilisant l'éditeur de robots.txt en ligne. J'ai volontairement inséré des erreurs pour vous montrer un exemple. Ce qui est étonnant, c'est que certaines fautes ne sont pas considérées comme telles. En résumé, seules les fautes concernant les directives sont prises en compte, et non celles dans les valeurs. Par exemple, oublier le "/" en début de valeur (correspondant à la racine du site web) n'indique même pas un warning ou une mise en garde pour les SEO, c'est un peu dommage. En d'autres termes, les directives contenant des fautes, inexistantes ou sans valeur génèrent une erreur. Ce sont les seuls cas que j'ai réussis à provoquer dans mes tests. Pourtant, cela ne va pas forcément dans le sens des règles établies. Voici quelques exemples :
- Une directive "disallow:" ou "allow:" sans chemin (path) derrière est valide, c'est juste que les robots ne les crawlent pas. Ici, Bing indique une erreur !
- Une directive "sitemap:" est suivie d'une URL absolue. Ici, Bing n'indique pas d'erreur s'il s'agit d'autres formes qu'une URL absolue !
- Une directive "noindex" n'est pas valide et non acceptée. Ici, Bing la marque fort justement en erreur.
Voici une capture qui résume des tests en ligne. Globalement, Bing réagit plutôt bien dans l'ensemble, ces deux seules erreurs grossières sont dans la liste notifiée précédemment : d'une part il note comme erreur une directive vide, alors que ce n'est pas une faute à proprement parler ; d'autre part il autorise la directive "sitemap:" sans URL absolue derrière, à tort. Rien de bien méchant, mais c'est dommage car la Google Search Console ne fait pas ces erreurs en comparaison.
Hormis ces erreurs qu'il faudra sûrement corriger, l'idée du testeur de robots.txt est très bonne et peut vraiment être utile. Il est possible de télécharger une version modifiée et corrigée, puis de la soumettre à nouveau à Bing pour examen, etc. De plus, l'outil propose de vérifier si des URL censées être bloquées le sont vraiment. Pour ce faire, il faut utiliser le formulaire "Vérifier l'URL" en haut de page, comme dans la capture suivante.
Globalement, ce testeur de fichier robots.txt est une très bonne nouvelle, bien que ça existe déjà par ailleurs bien entendu, mais il faudra juste s'assurer que les bonnes erreurs soient remontées et correspondent aux normes en vigueur à propos de ce fichier si important en SEO.