La désindexation des contenus est une question majeure en matière de référencement. Glenn Gabe, SEO pour Search Engine Land notamment, a remarqué que les commandes de désindexation ne fonctionnent plus en ce qui concerne Google Actualités et son robot spécifique, GoogleBot-News. Depuis que Google a lancé son Publisher Center le mi-décembre 2019, les directives "noindex" ne semblent plus prises en compte.
S'agit-il d'un bug ou d'un réel problème pour la désindexation des contenus d'actualités, nul ne le sait encore ? En effet, la particularité de la mise à jour de Google Actualités, et de son Publisher Center, c'est que tous les contenus peuvent être crawlés et considérés comme des actualités. De ce fait, il ne s'agit plus vraiment d'un traitement spécifique, mais plutôt d'un crawl qui identifie des contenus d'actualités s'ils sont déclarés dans le Publisher Center. La conséquence serait donc que GoogleBot-News n'arrive plus à faire le distinguo entre sa mission de crawler et les directives des balises meta "robots" ou des fichiers robots.txt.
Glenn Gabe a écrit à John Mueller et Danny Sullivan à ce sujet sur Twitter :
@JohnMu @dannysullivan Hi John & Danny. Hey, with the release of the new Publisher Center & announcement that all sites are eligible for G News, there are reports that content once blocked using noindex w/Googlebot-News is no longer working. Those articles are showing up in News.
— Glenn Gabe (@glenngabe) December 17, 2019
Actuellement, le problème semble généralisé et Danny Sullivan fait remonter l'information aux équipes de Google. Une solution devrait être trouvée car il n'est pas logique que l'ensemble des contenus remontent sans que les directives de désindexation ne soient pleinement prises en compte. La dernière version de la documentation, datant de 2011, indique bel et bien qu'il faut faire appel à un fichier robots.txt ou à des balises meta "robots" pour bloquer GoogleBot-News (extrait ci-dessous). Certes, le document est daté mais cela laisse à penser qu'il s'agit davantage d'un bug relatif au lancement du Publisher Center qu'à un réel problème durable. Affaire à suivre...
