John Mueller, porte-parole de Google, a indiqué qu'il est possible de forcer le crawl et la prise en compte des modifications d'un fichier robots.txt via la Google Search Console. En effet, un bouton de soumission permet de proposer au robot d'aller visiter le fichier lors d'un test avec l'outil pour webmasters.
Voici sa déclaration :
Une petite chose que vous pouvez faire pour forcer le traitement d'une mise à jour du fichier robots.txt (en général cela est effectué environ une fois par jour, selon le site) est d'utiliser l'outil de test du fichier robots.txt dans la Search Console. Vous verrez la version actuelle connue, mais vous pouvez soumettre une nouvelle pour un nouveau traitement, si vous avez effectué des changements.
La documentation précise ce point si nécessaire. Pour ce faire, il faut se rendre dans la section "Outil de test du fichier robots.txt" puis cliquer sur le bouton "Envoyer". Ensuite, une fenêtre s'ouvre pour vous guider en trois étapes :
- Téléchargement du nouveau fichier robots.txt testé avec la Google Search Console.
- Vérification de la version importée. Il faut pour cela avoir préalablement envoyer à la racine du serveur le nouveau fichier robots.txt téléchargé dans l'étape précédente.
- Soumettre le nouveau fichier à Google pour un crawl rapide.
Il est possible de voir les différentes mises à jour de l'horodatage (passage du robot) au-dessus de la zone de texte destinée au robots.txt. Dans cette liste déroulante, vous pouvez observer les dernières mises à jour du fichier par Google et ses robots.
Comme l'avait indiqué John Mueller fin 2015, il n'est pas recommandé de générer automatiquement les fichiers robots.txt car la fréquence de crawl est aléatoire et limitée, et cela pourrait causer des problèmes de prises en compte, nous ne pouvons que le constater avec l'horodatage affiché. C'est pourquoi l'option de demande de mise à jour du fichier robots.txt est intéressante, elle permet d'accélérer le processus et de s'assurer la prise en compte de la bonne version du fichier.
En réalité, cette option existe déjà depuis quelques mois, John Mueller n'a fait que la remettre au goût du jour pour aider les webmasters qui ne la connaissent pas. Voici aussi pourquoi je relaye l'information à ma façon. :D