Fiche synthèse : Be My AI (application)

Caractéristiques

Clientèle(s) visée(s) :: Adolescents, adultes et aînés avec déficience visuelle ou avec double déficience sensorielle
Catégorie :: Aide aux activités de la vie quotidienne
Type :: Aide technique dédiée
Mode(s) de communication :: Visuel, sonore et braille
Langue(s) d'utilisation :: Celle du système d’exploitation de l'appareil
Utilisation visée :: Description de l’environnement
Fabricant :: Be My Eyes
Distributeur(s) :: App Store et Google Play Store
Adresse URL :: https://www.bemyeyes.com/
Dimensions (cm) :: S. O.
Poids :: S. O.
Prix (CAD) :: Gratuit
Connectivité :: S. O.
Disponibilité au Québec vérifiée le :: 27 mars 2024

Description

Fonctionnalité développée par Be My Eyes qui utilise l’intelligence artificielle pour décrire l’environnement à partir d’une photo prise sur le moment ou stockée.

Fonctionnalités et spécifications (fournies par le fabricant)

Prise de photos
Mise en contexte de l’image
Fonction de clavardage permettant de demander des précisions sur l’image à l’intelligence artificielle
Possibilité de contacter un humain pour obtenir les précisions manquantes quand le résultat de l’analyse de l’image par l’intelligence artificielle n’est pas satisfaisant.

Évaluation existante

Centre d’évaluation et de recherche sur les technologies pour aveugles et malvoyants. Association Valentin-Haüy. (2023, 5 décembre). Description des images par l’Intelligence Artificielle (IA) du bénévole virtuel de « Be my Eyes » [page Web]. Paris, Certam-AVH. 35 écrans.
Seavey, S. (2024, 13 janvier). Be My AI: The future of assistive technology [document audiovisuel]. Lexington, KY: Blind Life. 11 minutes.
Morales, C. (2023, 1er novembre). Be My AI: New on the Be My Eyes app! [document audiovisuel]. Rural Hall, NC: Carrie on Accessibility. 15 minutes.

Évaluation

Matériel et versions utilisés

Application :

Be My Eyes 5.3.4

Matériel (évaluatrice principale) :

iPhone 13 sous iOS 17.3.1
Afficheur braille Focus 40 Blue 5^e génération

Matériel (coévaluateur) :

iPhone 13 mini sous iOS 17.4
Afficheur braille ALVA BC640

Critères communs		Scores pondérés
a. Efficacité ( /2,9)		1,45
b. Exploitabilité ( /2,6)		2,60
c. Assimilabilité ( /2,25)		2,25
d. Fiabilité ( /2,25)		1,69
Score synthétique		7,99/10

Critères spécifiques (optionnels)		Cote ( /4)
e. Flexibilité		3
f. Connectivité		–
g. Solidité		–
h. Durabilité		3
i. Transportabilité		–
j. Sécurisabilité		–
k. Acceptabilité personnelle		3
Indice (max = 1) (n = n critères spécifiques évalués)		0,75 (n = 3)

Forces

Simplicité d’utilisation
Capacité d’interpréter le contexte de l’image
Reconnaissance de l’écriture manuscrite
Contrairement à d’autres applications de description de l’environnement, capacité de décrire les images et le texte contenus dans une même photo.
Description beaucoup plus élaborée qu’avec d’autres applications de reconnaissance de l’environnement.
Au besoin, après analyse de la photo, l’application demande à l’utilisateur d’ajuster la prise de vue (par exemple, s’approcher pour que le texte soit plus clair).
Meilleure performance en reconnaissance de texte que les applications OCR : l’intelligence artificielle analyse le contexte des caractères dans les mots, des mots dans les phrases, etc.
Performances satisfaisantes pour la reconnaissance de texte sur des objets ou des emballages présentant des éléments textuels de couleurs ou de polices différentes, du texte en colonnes, etc.
Bonne reconnaissance des couleurs : en mesure de décrire toutes les couleurs s’il y en a plusieurs, les motifs, etc. Peut cependant varier selon l’éclairage.
Fonction de clavardage avec l’IA permettant d’obtenir des précisions sur l’image.
Possibilité de recourir à une personne bénévole si l’analyse de l’IA n’est pas satisfaisante.
Lors de l’analyse de l’image d’un objet comportant des boutons, l’application décrit la position des boutons et mentionne leur nom. Lors d’un essai avec la photo d’un appareil comportant des boutons identifiés par du texte en anglais, l’IA a traduit le texte sans qu’aucune traduction n’ait été demandée.
Capacité de reconnaître autant une photo prise sur le moment qu’une photo déjà enregistrée dans le téléphone intelligent (via l’option Partager).

Faiblesses

Diminution notable de la précision des descriptions quand l’éclairage n’est pas optimal.
Performance insatisfaisante pour la reconnaissance d’un nom de rue ou d’une adresse (d’autres applications sont conçues pour répondre plus précisément à ce type de besoin).
Absence de guidage pour aider à la prise d’une photo comportant du texte destiné à la reconnaissance.
Pour la reconnaissance de texte, certaines conditions d’éclairage pourraient obliger à rapprocher l’appareil du document pour que le texte soit assez grand, de telle sorte qu’une partie du texte se trouve hors du cadre de la photo.
Erreurs de reconnaissance lors de l’analyse de chiffres ou de texte dépourvu de contexte.
À l’occasion, description d’éléments inexistants sur une photo.
L’obtention d’une meilleure performance de description avec une photo en mode portrait a comme désavantage de ne pas pouvoir approcher l’appareil d’un objet qui serait mieux cadré en mode paysage.

Informations complémentaires

Les photos prises avec Be My AI sont partagées afin d’être traitées. Il n’est donc pas recommandé d’utiliser Be My AI pour obtenir la description de données sensibles, telles des données personnelles, bancaires, relatives à des médicaments, etc.

Il n’est pas recommandé d’utiliser cette application pour obtenir des descriptions de l’environnement durant les déplacements (par exemple, l’état du trottoir).

Bien que le fabricant précise que cette application est conçue pour la reconnaissance de l’environnement et non pour la reconnaissance de texte, il travaille à améliorer cette dernière.

Cette application n’est pas en mesure de reconnaître des codes-barres ou des codes QR.

Be My AI a été intégrée au téléphone BlindShell Classic 2 après notre évaluation du téléphone. Cliquez sur le lien pour consulter la fiche d’évaluation du BlindShell Classic 2.

Conclusions

La qualité de la description d’images de cette application est étonnante, car bien plus détaillée que celle d’autres applications de description de l’environnement. De plus, la fonction de clavardage offre la possibilité d’obtenir des détails additionnels après une première analyse de la photo. Il est toutefois généralement difficile d’obtenir de l’application des informations exactes sur des petits détails (texte sans contexte, chiffres, température sur un thermomètre, réglage du cadran d’une mijoteuse, etc.), tâches quotidiennes pour lesquelles de l’aide peut être utile. Pour ce genre de reconnaissance, Be My AI (application disponible dans Be My Eyes) ne semble pas être la solution la plus efficace. Be My Eyes (application qui permet de contacter des bénévoles pouvant décrire ce que l’utilisateur pointe avec sa caméra) répondra probablement mieux à ce genre de besoin.

Bien qu’elle permette de reconnaître du texte, la fonction Be My AI est d’abord conçue pour la description d’images. Be My Eyes rapporte que [traduction libre] « la lecture de textes et de chiffres peut être un peu difficile et d’autres applications peuvent faire un meilleur travail, mais lorsqu’il s’agit de décrire des images, nous pensons que Be My AI est la meilleure solution. Il est donc très important que vous utilisiez les bons outils pour la bonne tâche ». Nous ajoutons qu’il serait hasardeux de l’utiliser pour obtenir des informations précises telles que le montant d’une facture à payer.

L’intelligence artificielle, ainsi que Be My AI, sont en développement. Nous nous attendons à des améliorations. Étant donné que les résultats varient selon le contexte, l’éclairage, etc., qu’un utilisateur pourrait avoir des besoins différents de ceux que nous avons testés avec Be My AI, et que l’application est gratuite, nous vous encourageons à l’essayer pour vérifier si elle répond à vos besoins.

Pour plus d'information :: v-tedds.inlb.cisssmc16@ssss.gouv.qc.ca
Date d’évaluation :: 5 mars 2024
Évaluatrices/Évaluateurs :: Marie-Claire Lemire, spécialiste en réadaptation en déficience visuelle
Marc St-Onge, technicien en communication
Avertissements :: Le dispositif a été évalué durant moins de dix heures dans un environnement contrôlé. Il est possible qu’une utilisation plus longue dans des conditions autres révèle un fonctionnement différent de celui observé pendant l’évaluation. Il est recommandé de lire le manuel d’utilisation et de suivre les indications du fabricant concernant l’environnement d’utilisation (froid, chaleur, pluie, etc.).

Le contenu de cette fiche synthèse repose sur des informations issues de différentes sources, sans prétention d’exhaustivité. Les membres de la cellule de veille déclarent n’avoir aucun conflit d’intérêt.
Citation suggérée :: Lemire, M.-C., St-Onge, M. (2024). Be My AI : fiche synthèse [déficience visuelle et double déficience sensorielle]. Dans V-TeDDS : veille technologique sur les dispositifs pour les clientèles avec déficiences sensorielles. Longueuil : INLB, CISSS de la Montérégie-Centre.
Dernière mise à jour :: 10 avril 2024