Sony présente le premier capteur photo intelligent

Il n’est pas encore question que le capteur intelligent équipe des smartphones et autres objets grand public.

Référence dans le secteur de la photo, Sony lève le voile sur un nouveau type de capteur. Aidés par une intelligence artificielle, les capteurs IMX500 et IMX501 sont en mesure d’effectuer le traitement réservé à un cliché de manière autonome, sans devoir passer par un processeur externe, comme c’est le cas avec les capteurs photo actuels.

L’utilisation de l’IA pour améliorer des photos n’est pas un concept nouveau. Cela fait plusieurs années que les constructeurs de smartphones ont recours à l’IA pour booster les clichés capturés avec un téléphone. Les capteurs photo des smartphones utilisent la puissance du processeur interne pour améliorer la qualité des clichés. Cela implique que les minuscules capteurs travaillent en symbiose avec la puce des téléphones ou aient accès au cloud pour y puiser des données utiles au traitement des photos. En résumé, pour fournir des clichés de haute qualité, les capteurs photo doivent impérativement être couplés avec la puce du téléphone ou le cloud, mais cela est sur le point de changer.

En effet, Sony vient de présenter les premiers capteurs photo dotés d’intelligence artificielle. Ils sont capables d’appliquer des traitements aux images qu’ils capturent de manière autonome. Les capteurs IMX500 et IMX501 sont équipés d’une puce pixel et d’une puce logique qui est capable d’analyser les photos en temps réels. Ainsi, ils sont en mesure d’effectuer les calculs d’amélioration d’image sans aide externe.

L’intégration du traitement boosté à l’IA au sein du capteur d’image lui-même permet « un traitement IA de pointe à haute vitesse et l’extraction des seules données nécessaires, ce qui, lors de l’utilisation des services cloud, réduit la latence de transmission des données, répond aux problèmes de confidentialité et réduit la consommation d’énergie et les coûts de communication », souligne Sony dans son communiqué.

Les avantages sont nombreux
Dans les faits, le signal acquis par la puce de pixel est traité via le processeur de signal d’image boosté à l’intelligence artificielle qui se trouve dans la puce logique. Les données de l’image sont alors extraites et réduites en métadonnées beaucoup plus légères afin qu’elles soient traitées plus facilement, sans exiger énormément de puissance ni consommer beaucoup d’énergie.

Un processus qui offre de nombreux avantages, notamment le fait que les téléphones pourraient intégrer des puces plus modestes tout en offrant une qualité et un traitement d’image haut de gamme grâce aux capteurs intelligents de Sony. De plus, malgré le fait que la puce de pixel du IMX500 ne soit que de 12,3 mégapixels, le capteur intelligent pourrait tout de même offrir de très bons résultats grâce au traitement à l’IA. Enfin, puisque les capteurs n’ont pas besoin d’accéder au cloud, la confidentialité serait mieux assurée.

Une utilisation précise
Si on a surtout parlé d’une utilisation des capteurs au sein des smartphones, ce n’est pas un projet immédiat pour Sony. Le constructeur japonais destine plutôt sa technologie aux industriels et à la grande distribution dans un premier temps.

La puce pourrait être couplée à des caméras de surveillance de magasin afin de détecter les visages, de comprendre que certaines personnes portent un masque, de compter le nombre de passants, etc. « Un magasin pourrait, en effet, n’utiliser qu’un seul type de caméra pour gérer différents lieux, circonstances, événements ou problématiques. À l’entrée de l’établissement, elle pourrait compter le nombre de visiteurs entrant dans l’établissement ; installée sur l’étagère d’un magasin, elle détecterait les ruptures de stock. Montée au plafond, elle réaliserait la cartographie thermique du magasin en détectant les zones d’affluence, et ainsi de suite », détaille Sony.