Google a annoncé officiellement la forme que devrait prendre le nom des futurs user-agents utilisés par GoogleBot dès décembre 2019. Google avait annoncé un peu plus tôt dans l'année, lors de Google I/O, que le robot basé sur Chromium s'appuierait désormais sur l'ultime version du moteur de rendu. L'agent utilisateur sera donc adapté pour que les webmasters et spécialistes puissent détecter par quel GoogleBot leurs pages sont crawlées.
Vous pouvez suivre les noms des crawlers de Google dans la documentation, et noter qu'à ce jour encore, GoogleBot notifie bien la version 41 de Chrome comme référence. Cela indique donc que de nombreuses problématiques du web actuel sont incomprises ou mal interprétées par le robot. Avec la mise à jour à venir, les choses devraient globalement changer, bien que Google a laissé entendre que cela ne resolvera pas tous les problèmes de compréhension de certains codes Javascript notamment. Pour mobile, l'agent utilisateur porte donc encore les stigmates de la version 41 de Chrome au moment d'écrire ces lignes :
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Dès décembre 2019, Google va mettre à jour petit-à-petit les chaînes descriptives de leur user-agent pour coller à Evergreen, la dernière mouture utilisée pour GoogleBot. La forme générale de la chaîne de l'agent utilisateur restera identique pour mobile, à ceci près que la version de Chromium sera tirée du versioning réel de l'outil (ici, notifié par A.B.C.D). Et contrairement à ce qui se faisait, même la version pour ordinateur pourra notifier la version de Chrome utilisée. Voici les deux formes de chaînes que vous pourriez retrouver (une autre forme rare peut aussi être attribuée et ne montre pas la version) :
Mobile :
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/A.B.C.D Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Desktop :
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/A.B.C.D Safari/537.36
Le nouvel agent-utilisateur va donc arriver doucement pour accompagner GoogleBot et le crawl des pages. Il faudra juste veiller à ne pas le bloquer, notamment avec des codes de détection. Google a notamment indiqué que certains programmes confondent GoogleBot avec un bloqueur de publicités, ce qui pourrait nettement limiter l'indexation des contenus. Soyons donc vigilants...