Google décrit le robots.txt pour ses 25 ans d’existence, et change les règles prises en compte…
Google a fêté les 25 ans du fichier robots.txt utilisé pour éviter l'indexation ou désindexer certaines pages web. En passe de devenir un standard au sens propre du terme, la firme a même mis en place un parser de robots.txt en open source. Le 2 juillet 2019, Google a continué son histoire autour du protocole de limitation de crawl en évoquant les directives (non officielles) qui ne seront bientôt plus du tout prises en compte par GoogleBot lors de la lecture d'un fichier robots.txt. Il y a du changement dans l'air... [...]