Microsoft Bing et Yandex ont annoncé IndexNow en octobre 2021. La technologie continue son développement et tente de convaincre d'autres partenaires comme Google. Le premier a officiellement dégainé est CloudFlare, qui va intégrer IndexNow dans sa fonctionnalité innovante Crawler Hints.
Les moteurs de recherche ont la nécessité de visiter (crawler) les pages web de manière cyclique afin d'être toujours au courant d'éventuels changements dans les pages. Pour ce faire, des robots comme BingBot ou YandexBot lisent les contenus des pages et reviennent incessamment voir si des changements sont effectués par les gestionnaires de sites. Avec le temps, les crawlers ont progressé et ont su mieux s'adapter pour mesurer les fréquences de passage sur les pages web, mais cela reste encore une tâche coûteuse et chronophage. La technologie innovante Crawler Hints de CloudFlare a pour objectif de réduire le nombre des crawls inutiles, qui débouchent dans 53% des cas sur aucun changement dans les pages, à la fois pour améliorer la performance du crawl (crawl budget également) mais aussi pour réduire l'empreinte énergétique relative à ces passages infructueux.
De son côté, IndexNow a la volonté de permettre une indexation plus rapide en cas de changements de contenus dans les pages. Il ne s'agit pas d'indexation en temps réel au sens propre, mais plutôt d'une mise à jour des contenus en temps réel, afin que les moteurs de recherche puissent toujours afficher le contenu le plus récent possible dans les pages de résultats (SERP). Avec IndexNow, il y a donc aussi une volonté de réduire le nombre de crawls inutiles, mais aussi de gagner en performance (puisque chaque crawl devrait déboucher sur un rafraîchissement des contenus affichés).
C'est donc en toute logique que Crawler Hints de CloudFlare et IndexNow de Bing et Yandex se sont trouvés, les deux technologies pouvant largement se compléter et s'apporter mutuellement. Pour les usagers de CloudFlare, il suffit donc d'activer Crawler Hints pour profiter d'une meilleure performance d'indexation (plus de cache, etc.) auprès des moteurs de recherche compatibles avec IndexNow (envoi d'un "ping" pour vérifier si des changements ont eu lieu et méritent un crawl). Déjà 60000 sites web ont activé l'option chez CloudFlare, et la firme a annoncé rendre la fonctionnalité gratuite pour tous ses clients (il faut l'activer via l'onglet "Cache", dans la section "Configuration").