Google a publié l'application mobile Lookout afin d'aider les 253 millions de non-voyants et malvoyants dans le monde à mieux se repérer dans l'espace et à mieux profiter de leur environnement malgré leur handicap. Attention toutefois, l'app n'est fonctionnelle qu'avec les smartphones Pixel (1, 2 et 3) avec Android 8, et rien ne dit que cela sera étendu à d'autres supports.
L'idée de Google est d'utiliser l'intelligence artificielle pour accompagner les déficients visuels dans leur quotidien. L'idée est de pouvoir pointer des objets avec l'appareil mobile pour obtenir des informations et plus, à l'instar du système de Google Lens. Dans l'ensemble, Lookout peut aider les personnes en situation de handicap à mieux comprendre leur environnement (notamment s'il est nouveau) et à mieux interagir avec les objets. Par exemple, l'application mobile peut aider à lire un texte, à faire le ménage ou encore la cuisine. Lookout informe en temps réel de ce qui se passe autour, c'est pourquoi Google recommande de porter le smartphone dans une poche de chemise ou via une lanière. Ainsi, l'app peut lire les textes environnants ou encore distinguer des objets pour faciliter la vie des non-voyants et malvoyants.
Basé sur de l'IA évolutive, Lookout n'est pas parfaite à 100% comme le reconnait Google, mais c'est déjà un premier pas vers les applications à venir pour aider les déficients visuels. Il n'y a aucune touche à appuyer, il suffit juste de lancer l'application et de laisser la lentille du smartphone faire son travail. Dans la capture suivante, on voit par exemple la reconnaissance d'un chien, mais cela peut être toute sorte d'objets ou de textes également. Le système devrait s'améliorer avec le temps et proposer encore davantage de services ou de contenus. L'idée est très bonne en tout cas et permet de peut-être moins isoler les personnes en situation de handicap visuel.