Le moteur de recherche Microsoft Bing passe un nouveau cap dans l'amélioration de ses résultats de recherche basés sur des images. Au-delà de souhaiter présenter des résultats pertinents aux utilisateurs, Bing s'efforce également de tout faire pour améliorer la qualité et la résolution des images au sein du moteur. Tout repose sur la version 3 de son modèle Aesthetic, déjà utilisé par le passé pour trier et catégoriser les images en fonction de leur qualité.
Microsoft Bing s'appuie sur du deep learning avec un modèle pré-entraîné (Microsoft Vision Model) pour sélectionner les meilleures images possibles à présenter aux utilisateurs. L'idée du moteur est de déterminer un classement des images en obtenant des tris relatifs entre deux photos, plutôt qu'en donnant une note absolue à chacune. Ainsi, tout le modèle cherche à comparer des photos selon divers critères de qualité pour les classer et fournir les meilleurs choix aux utilisateurs pour chaque requête.
La technologie annotait chaque image via un réseau de neurones convolutifs (DARN-V2) qui a désormais évolué en 3e version depuis juillet 2021. Jusqu'à présent, le système en V2 reposait sur une analyse purement SBS (side-by-side), en triant des images côte-à-côte. Avec la V3, Microsoft a introduit en outre ce qu'il appelle la divergence KL qui permet de pondérer et d'analyser plus finement les préférences relatives aux images (dont la taille, la résolution, la composition, le contraste, la saturation ou encore la mise au point), améliorant ainsi le modèle SBS originel (précision améliorée d'environ 10%).
Microsoft ne s'est pas arrêté à une analyse purement technique du modèle Image Aesthetic 3 (et de DARN-V3), mais aussi au comportement des utilisateurs en fonction des résultats proposés. Le constat est clair, les images sélectionnées et classées à l'aide de la 3e version du système a boosté le taux de clics sur des images de 36%, démontrant ainsi que les utilisateurs semblent plus attirer par les sélections nouvelles que par les propositions de la version précédente. La capture finale de cet article montre bien que les sélections effectuées par Bing et sa technologie sont d'une meilleure qualité visuelle qu'auparavant. Certes, les images de démonstration choisie par Bing ne sont sûrement pas dues au hasard, mais on observe tout de même que les images sont moins ternes, plus colorées, etc.
