Bing a expliqué sur son blog officiel comment le Deep Learning (intelligence artificielle) permet de mieux comprendre les requêtes des internautes et leur contexte de recherche. Les moteurs de recherche sont confrontés à des milliers de requêtes dont le sens peut être plus ou moins bien interprété par les programmes. Avec l'intégration de système de machine learning et surtout de deep learning, Bing peut donc mieux se projeter et répondre à des requêtes "tendancieuses".
Pour corroborer les problèmes de compréhension, Bing donne l'exemple de requêtes relatives à une canette de soda. Si vous désirez connaître la date de péremption, il peut exister de multiples requêtes pour obtenir cette réponse. Or, sans deep learning intelligent, ce sont uniquement les mots de la requête qui seront pris en compte. Par exemple, si nous demandons "quelle est la date de péremption d'un Coca-Cola ?", un moteur non-intelligent cherchera bêtement et simplement tous les résultats relatifs au Coca-Cola qui contiennent les mots "date", "péremption", etc. Dommage car nous donnions uniquement un exemple de soda parmi tant d'autres... Avec le deep learning, Bing est en revanche capable d'identifier le Coca-Cola comme un soda (et inversement) mais aussi d'identifier le sens de la question autour de son sujet principal (date de péremption). Ce sont des résultats plus pertinents qui en découlent...
Tout l'enjeu de Bing réside donc dans le fait de comprendre des requêtes différentes ayant pourtant le même sens final. Il ne s'agit donc plus d'identifier des mots, mais des entités sémantiques. Ainsi, "soda" et "boisson gazeuse" sont en quelque sorte des synonymes bien interprétés par le moteur de Microsoft, et les résultats de recherche sont ainsi bien plus pertinents lors de l'interprétation de la requête. La capture suivante illustre cet exemple entre les expressions "soda", "soft drinks" et "pop" par exemple.
Comment fonctionne le deep learning sur Bing ?
Le fonctionnement est le même que dans la plupart des systèmes d'analyse sémantique. Chaque expression est représentée par des vecteurs sémantiques dans l'espace, comme l'ont fait des initiatives comme Word2vec ou GloVe. Dans l'espace, les mots avec des significations proches voire égales sont représentées avec des vecteurs proches, et c'est ainsi que les moteurs peuvent identifier la proximité thématique ou le sens selon le contexte. Observez le graphe ci-dessous qui montre un exemple de représentation vectoriel des expressions sémantiques, c'est assez limpide pour comprendre.
Ici, il s'agit d'un plan en 2D mais Bing explique que des projets comme GloVe ont permis de représenter les mots dans 300 dimensions. Plus le moteur utilise de dimensions, plus les vecteurs proches ont forcément des sens équivalents. Ainsi, la précision s'affine avec le temps et les progrès de ces représentations intelligentes. Vous vous doutez bien qu'il était plus facile de vous montrer une représentation en 2D pour comprendre, mais gardez bien à l'esprit que les systèmes sont bien plus fins en réalité...
Bing a bien compris qu'identifier des mots seuls ne permet pas d'obtenir que de bons résultats. Par conséquent, le moteur s'efforce de remettre les entités sémantiques dans des contextes de requêtes, puis calcule la distance entre les "requêtes" pour obtenir une note de similarité. Si nous reprenons l'exemple de la date de péremption du soda, c'est ainsi que Bing pourra facilement proposer de bons résultats si on demande la date de péremption d'une boisson gazeuse ou d'une marque de soda en particulier.
Dans le communiqué, Bing explique globalement que le moteur a créé son propre RankBrain, et surtout comment cela fonctionne. En soi, Bing ne s'intéresse pas qu'à la requête, mais effectue un travail similaire de traitement des textes, titres, ancres de liens (...) pour chaque page web indexée. Ainsi, ce n'est pas seulement la requête qui est analysée, mais bien un ensemble Requête-Page. Quand le deep learning ne permet pas d'identifier le sens d'une requête, Bing s'appuie sur le comportement des utilisateurs (clic sur un résultat) pour mieux comprendre le sens des requêtes et des phrases en langage naturel. Et cela lui permet de s'enrichir...
En définitive, tous ces calculs cumulés permettent à Bing d'accorder des valeurs numériques pour les vecteurs de requêtes et les vecteurs de page. Il ne reste donc qu'à comparer les similitudes avec tous les autres critères de recherche pour classer les résultats par pertinence. Bing parle de score de similarité, et c'est tout l'enjeu des moteurs de demain pour mieux répondre aux requêtes en langage naturel des internautes-mobinautes.