Yandex, le moteur leader de la recherche en Russie, a annoncé le 16 novembre 2015 sur son blog officiel (bon courage, c'est en russe...^^) effectuer des tests pour crawler les ressources CSS et Javascript. L'objectif est de mieux lire et interpréter les fichiers de styles et de scripts pour comprendre plus précisément les pages web crawlées par les robots du moteur.
Le communiqué indique que cela va permettre à Yandex de mieux voir les pages telles qu'elles sont affichées réellement, et pas uniquement les textes comme c'est le cas actuellement. Il sera question de mieux interpréter les contenus pour les comparer avec ceux déjà connus par le moteur, afin d'ajuster éventuellement le positionnement des pages si la structure prouve que certains contenus ont finalement plus ou moins de valeur que prévue. Par exemple, nous pouvons afficher un contenu en haut de code source et l'utiliser finalement en pied de page via Javascript ou CSS, cela pourrait changer sa valeur à priori...
La société explique que le moteur utilisera la meilleure version (ancienne ou celle qui a bénéficié du crawl des CSS et JS) en fonction de leur intérêt pour les utilisateurs sur des requêtes données. Je ne garantis pas que mes talents en russe (outils de traduction...^^) décrivent parfaitement la fonctionnalité, mais ce que je comprends, c'est que Yandex devrait crawler les CSS et Javascript dans le but de voir si les pages méritent de gagner ou perdre en valeur, pour afficher dans ce cas les meilleurs résultats aux utilisateurs. Bref, c'est assez logique en fait. :D
Il ne s'agit actuellement que de tests effectués sur des pages déjà connues par le moteur de recherche, et non sur la totalité de l'index. La firme invite même des webmasters à se prononcer s'ils veulent envoyer leur site en test. Dans une seconde phase, Yandex utilisera ce procédé pour l'ensemble de ses pages web indexées puis pour les nouvelles indexations à venir. En ce sens, il est d'ores-et-déjà conseillé de ne pas bloquer l'accès aux ressources Javascript et CSS via un robots.txt ou un fichier .htaccess par exemple, comme pour Google et Bing qui crawlent déjà ces fichiers.