Microsoft Bing et Yandex ont annoncé le 18 octobre IndexNow, un protocole spécifique qui permet d'indexer instantanément (temps réel) des contenus web dans les moteurs de recherche. Au lieu d'attendre des jours voire des semaines pour que les robots des moteurs de recherche parcourent les pages à nouveau, IndexNow offre une indexation ou mise à jour en quasi temps réel...
IndexNow fonctionne globalement comme l'ex-Pubsubhubhub (devenu WebSub depuis via le W3C) dont Google vantait les mérites jadis. Il s'agit d'un protocole qui s'apparente davantage à un ping direct pour rapidement repérer de nouveaux contenus ou des modifications apportées à des pages déjà indexées. Le protocole a un site dédié (qui ressemble à schema.org comme deux gouttes d'eau) pour expliquer le fonctionnement : https://www.indexnow.org/locale/fr_fr/index.html.
Pour le moment, le protocole IndexNow implique de passer par une API pour chaque moteur, telle que l'API Bing URL Submission permettant de soumettre jusqu'à 10 000 URL par jour pour le moteur de Microsoft. Tout le fonctionnement est détaillé sur le site de Bing dédié à l'API, et d'après mes premières lectures rapides, cela consiste essentiellement à ajouter des paramètres d'URL pour que le moteur de recherche comprenne qu'il s'agit d'une indexation instantanée via IndexNow (l'URL prend la forme https://www.bing.com/indexnow?url=URL_A_INDEXER&key=CLE_API (identique sur Yandex, mais avec yandex.com au lieu de bing.com). Microsoft Bing et Fabrice Canel ont également fourni des codes open source aux CMS comme Wix ou WordPress pour implémenter IndexNow nativement (ou non) dans les outils, sans que les webmasters aient à codé quoi que ce soit...
Attention toutefois, IndexNow est surtout pensé pour prendre en compte rapidement les mises à jour des contenus, et non pour l'indexation automatique et direct des contenus. Les crawlers doivent toujours analyser les nouveaux contenus avant de décider de les adopter ou non. Si tel est le cas, IndexNow accélère quelque peu le process d'indexation, mais son but premier n'est pas là. De même, bien que le site officiel n'annonce pas de quota spécifique pour IndexNow (jusqu'à 10 000 URL d'un coup, c'est tout), la FAQ explique que seule la faisabilité des moteurs entraîne une gestion des possibilités de mise à jour en temps réel.
Ce protocole est plutôt une bonne nouvelle pour assurer que les contenus sont à jour dans les moteurs de recherche. Le passage par un protocole ouvert comme IndexNow laisse également présager que Microsoft Bing et Yandex sont ouverts pour que d'autres moteurs de recherche (Google ?) aillent dans la même voie, avec ce même protocole. Nous verrons bien si le succès est au rendez-vous...