Bing vient de déployer une nouvelle fonctionnalité pour son moteur de recherche par image. Intitulé Bing Visual Search, la technologie s'appuie sur la reconnaissance des formes et des objets au sein d'images pour proposer des résultats de recherche d'images relativement pertinents aux utilisateurs.
Bing a lancé la recherche par image il y a quelques années, à l'instar de Google. Mais cette fois, la firme va encore plus loin en permettant de rechercher des objets ou personnes directement au sein des images testées. Ainsi, vous pourriez trouver des lits ou tables de chevet en pointant sur ces éléments au sein d'une photo de chambre, ou encore trouver des photos d'un acteur de film à partir d'une photo du festival de Cannes, etc. L'idée est très intéressante et montre que Bing a nettement progressé en matière de reconnaissance des formes et des objets.
Par exemple, nous pouvons sélectionner une coupe à pied (vase) au sein d'une image de cuisine. Bing va identifier la forme, reconnaître l'objet du mieux possible et proposer des résultats pertinents (tant que possible, ce n'est pas toujours très précis pour le moment). Je vous montrerai par la suite comment procéder pour en arriver à un tel résultat.
Voici les résultats proposés par Bing après la recherche de cette coupe à pied (ou vase).
En fait, il est très simple d'effectuer ce type de recherche. Il faut se rendre dans Bing Images, effectuer une recherche par image et afficher une image en particulier. Dans le coin supérieur gauche apparaît une icône en forme de cadre. Cliquez dessus et vous pourrez alors sélectionner une zone d'image que vous souhaitez rechercher. Bing cherche alors les résultats les plus appropriés, bien que tout ne soit pas encore parfait. J'ai effectué plusieurs tests mais tous n'ont pas été probants en France, mais Bing le reconnaît dans son communiqué car Bing Visual Search n'en est qu'à ses balbutiements...
Normalement, les résultats affichent jusqu'à deux onglets : images similaires et produits similaires (si Bing détecte une intention d'achat). Dans l'exemple suivant, nous voyons par exemple les produits similaires à une luminaire repéré dans l'image de cuisine vu précédemment.
Pour les plus pointus et passionnés d'entre vous, sachez que Bing a créé une API pour Bing Visual Search afin de pouvoir utiliser la technologie au sein d'applications mobiles ou de sites web. Je ne suis pas rentré dedans en détail donc excusez-moi de ne pas en dire davantage à ce sujet...
Comment fonctionne Bing Visual Search ?
Bing explique le fonctionnement général de son outil, qui s'appuie sur sa propre API de recherche par image mais aussi sur l'Image Graph. Dans un premier schéma, le communiqué montre que globalement, la recherche par image fonctionne comme la recherche textuelle, en identifiant la recherche, l'analysant puis en proposant un classement de résultat. La différence est que Bing doit comprendre l'image et trouver des entités associées (vecteurs) avant de pouvoir associer une requête (appelée BRQ pour "best representative query") et des résultats explicites.
L'étape qui suit l'identification des vecteurs de l'image consiste à déterminer un classement des images correspondantes. Les algorithmes entrent en jeu pour analyser les vecteurs et les comparer aux autres déjà existants dans la base de Bing Images.
Bing doit alors chercher la "distance" entre les vecteurs afin de déterminer la pertinence des résultats. Ainsi, le classement des images proposées sera plus pertinent selon la distance mesurée par les algorithmes.
Conclusion sur Bing Visual Search
Ceci n'est qu'une explication simpliste et succincte du système mais permet de donner une idée générale du fonctionnement. En tout cas, jamais la recherche d'image n'a été aussi intéressante pour le SEO.
Sachez tout de même que ce genre de technologie n'est pas si nouveau que cela, c'est juste mis davantage en avant depuis quelques temps grâce au progrès de l'intelligence artificielle et de l'algorithmie de recherche. Par exemple, Google prévoit Google Lens pour utiliser les caméras de smartphones comme outil de recherche (donc avec l'utilisation de la reconnaissance des objets et des formes), Pinterest a aussi une fonctionnalité appelée "Shop the look" et Instagram travaille activement sur un système permettant aux utilisateurs d'acheter des objets vus dans des images. Nous ne sommes donc qu'au début d'une aventure... ;-)