Avec les
Pixel 6 (649€) et Pixel 6 Pro (899€), Google a poussé son implication comme jamais, en dévoilant pour
l’occasion son tout premier SoC entièrement conçu en
interne. Un atout technique majeur sur lequel la firme de Mountain View
s’appuie pour intégrer encore plus étroitement l’intelligence artificielle
au cœur de ses smartphones et d’Android.
Phil Carmack, vice-président et directeur général en charge de l’activité
processeur de Google, et Monika Gupta, directrice principale de Google
Silicon, ont échangé avec nos confrères de CNET.com. Ils nous offrent un
aperçu détaillé de ce qui rend le SoC Tensor si spécial et expliquent ce
qui a motivé Google à explorer cette voie.
« L’élément clé dans la prise de cette décision concernait l’IA et la façon
dont nous pouvions l’élever à un niveau beaucoup plus différent et plus
personnel pour l’utilisateur final », commence Phil Carmack. « Nous
n’étions tout simplement pas en mesure d’y arriver avec les solutions
existantes. »
L’objectif était de créer un smartphone Pixel embarquant davantage
d’intelligence artificielle et de puissance de calcul, sans sacrifier
l’autonomie. Dans les nouveaux Pixel 6 et 6 Pro, la présence du SoC Tensor
se manifeste par de la traduction en temps réel dans les applications de
chat, une transcription voix/texte très précise et des fonctions
photographiques avancées, comme la capacité de saisir avec netteté le
visage d’une personne en mouvement. En plus de cela, Google promet une
autonomie de 24 heures en usage courant et 48 heures avec l’économiseur de
batterie.
Le projet Tensor a débuté il y a quatre ans
« C’était comme si nous étions un peu bridés », ajoute Monika Gupta. « Nous
avons accès à un [apprentissage automatique] de pointe au sein même de
Google, et pourtant nous ne pouvions pas en faire profiter nos utilisateurs
de Pixel. Nous avions cette vision pour Pixel, et nous ne pouvions pas la
concrétiser. » C’est de là qu’est né le projet Tensor. Monika Gupta a
commencé à travailler sur le processeur il y a environ quatre ans avec une
équipe de 76 personnes. La plupart des entreprises de semiconducteurs
disposent de milliers d’ingénieurs pour développer leurs nouvelles puces.
Mais Google a un autre atout : son équipe de chercheurs spécialisés en
intelligence artificielle et apprentissage automatique. « Sur Tensor, nous
exécutons les modèles [d’apprentissage automatique] les plus avancés de
Google Research, les plus récents et les meilleurs », explique Monika
Gupta. « Et nous le faisons beaucoup plus efficacement que jamais
auparavant grâce à l’architecture Tensor. »
Alors que la plupart des fabricants de téléphones utilisent des processeurs
fournis par Qualcomm, Apple fait figure d’exception avec ses propres puces
pour ses
iPhone
et
Mac
. Cette maîtrise permet à la firme à la pomme d’optimiser les
fonctionnalités qu’elle juge cruciales, comme les performances et une
autonomie élevées. Google a opté pour une approche similaire afin de
pouvoir mieux exploiter ses atouts en matière de recherche et
d’intelligence artificielle. C’est un coup rude pour Qualcomm. « Qualcomm
Technologies et Google sont partenaires depuis plus de 15 ans, depuis la
mise sur le marché des premiers terminaux Android », a déclaré Qualcomm
dans un communiqué. « Nous continuerons à travailler en étroite
collaboration avec Google sur les produits existants et futurs basés sur
les plateformes Snapdragon afin de fournir la prochaine génération
d’expériences utilisateur pour l’ère
5G », a assuré le fondeur.
Pour Google, cette décision stratégique est déterminante. En effet, alors
qu’Android équipe près de neuf smartphones sur dix dans le monde, les Pixel
représentent moins de 1% des téléphones vendus, selon Strategy Analytics.
L’architecture du SoC Tensor
Tensor est ce que l’on appelle un system on a chip, un processeur qui
combine le CPU, c’est-à-dire le calculateur central, avec d’autres
capacités.
Dans le cas du Google Tensor, le CPU à huit cœurs est associé à un GPU Arm
Mali-G78 MP20 à 20 cœurs, à un moteur d’apprentissage automatique Tensor
Processing Unit, à un processeur de traitement d’image pour la
photographie, à un cœur de sécurité Tensor, à un « hub contextuel » pour
des tâches à très faible consommation et à un cache système de 8 Mo. Le
Tensor comprend également un cache de niveau 3 de 4 Mo pour le CPU et il
est gravé en 5 nanomètres.
La clé est que toutes les parties du Tensor travaillent de concert sur le
Pixel 6. « Il est plutôt rare qu’un de ces éléments soit la star d’une
expérience importante », souligne Phil Carmack. « Ils doivent être
soigneusement chorégraphiés ».
Le noyau de sécurité Tensor est un sous-système qui est séparé du
processeur principal. Il permet aux tâches et aux contrôles sensibles de
s’exécuter dans un environnement isolé et sécurisé. Tensor est accompagné
d’un coprocesseur, la puce de sécurité Titan M2. C’est grâce à cette
architecture que Google a pu annoncer une extension des mises à jour de
sécurité pendant 5 ans, ce qui va permettre aux usagers de conserver leur
smartphone plus longtemps.
Le processeur lui-même est composé de huit cœurs basés sur l’architecture
Arm. Il y a deux cœurs Cortex-X1 haute performance avec une vitesse
d’horloge de 2,8 GHz, deux cœurs A76 à 2,25 GHz et quatre petits cœurs A55
haute efficacité à 1,8 GHz. Google dit avoir conçu le SoC Tensor de manière
à offrir la meilleure réactivité et efficacité énergétique pour les cas
d’utilisation intensive comme le traitement photographique. Au final, selon
Google, les performances du Tensor dans le Pixel 6 sont 80 % plus rapides
et son GPU est 370 % plus véloce que le Snapdragon 765G de Qualcomm qui
équipe le
Pixel 5.
La photographie
La photo était déjà l’un des points forts des smartphones Pixel. Grâce à la
puce Tensor, Google a pu développer de nouvelles fonctionnalités basées sur
l’IA.
Par exemple, la nouvelle fonction appelée Face Unblur fait la mise au point
sur le visage d’un sujet en mouvement tout en maintenant le flou sur le
reste du corps. Par exemple, si vous prenez en photo un enfant en train de
faire du trampoline, son visage sera net tandis que ses membres resteront
flous.
La technologie fonctionne à partir d’un modèle d’apprentissage automatique
de détection des visages de Google Research appelé FaceSSD. Avant même de
prendre le cliché, l’appareil photo du Pixel 6 détecte la présence d’un
visage dans la scène. S’il est flou, le Pixel active automatiquement le
deuxième objectif pour qu’il soit prêt à fonctionner lorsque vous appuyez
sur l’obturateur. L’appareil photo prend alors deux images simultanément,
l’une provenant du capteur principal et l’autre du capteur ultra
grand-angle. Le premier utilise une exposition normale pour prendre une
photographie à faible bruit, tandis que le second utilise une exposition
plus rapide pour fournir une image super nette.
« L’apprentissage automatique alignera ces deux images, les fusionnera et
prendra le visage le plus net de l’ultra grand-angle et la photo à faible
bruit du capteur principal pour obtenir le meilleur des deux mondes »,
commente Monika Gupta. Enfin, le Pixel analyse une nouvelle fois l’image
pour voir si un flou subsiste, auquel cas il le supprime.
Il faut environ quatre modèles d’apprentissage automatique pour combiner
ces données provenant de deux capteurs photo différentes, explique notre
interlocutrice. « Non seulement la quasi-totalité du processeur est active
avec différents sous-systèmes faisant différentes choses, mais même au
niveau du téléphone, nous avons plusieurs capteurs photo allumés. »
FaceSSD peut également fonctionner avec la vidéo. Google n’avait jamais pu
le faire auparavant car les anciens SoC n’étaient pas assez rapides et
consommaient trop d’énergie. La nouvelle version de FaceSSD fonctionne deux
fois plus vite, à 30 images par seconde, ce qui la rend adaptée à la vidéo.
Elle consomme également moins d’énergie. « Pour la première fois, nous
sommes maintenant capables d’appliquer aux vidéos une grande partie des
techniques de photographie computationnelle que nous appliquions
historiquement aux photos », précise Monika Gupta. « Toutes ces techniques
vont améliorer les vidéos ».
Une autre nouvelle fonction photo étrennée par le Pixel 6 est le mode
Mouvement qui ajoute du flou à une image fixe. « En général, pour créer ces
effets, il faut utiliser un trépied, une pose longue, un équipement
sophistiqué et beaucoup d’entraînement. Mais l’application photo de Google
rend cela super facile avec le mode Mouvement. »
L’appareil photo du Pixel 6 prend plusieurs clichés et les combine. En
utilisant l’apprentissage automatique et la photographie computationnelle
exécutés par le processeur Tensor, il va identifier le sujet de la photo,
déterminer ce qui est en mouvement et ce qui ne l’est pas, puis ajouter une
sorte de flou esthétique à l’arrière-plan. Par exemple, si vous prenez la
photo d’un cycliste, le mode Mouvement fera la mise au point sur le
cycliste et floutera légèrement les roues et l’arrière-plan pour restituer
l’action.
© Marc Zaffagni
La vidéo
Avec les Pixel 6 et 6 Pro, Google entend rendre les vidéos aussi bonnes que
les photos fixes en utilisant son expérience en photographie
computationnelle. Pour cela, les ingénieurs ont développé un algorithme
appelé HDRnet et en ont intégré des parties directement dans le processeur
de signal d’image Tensor pour accélérer « énormément » le traitement tout
en réduisant « drastiquement » la consommation d’énergie. HDRnet permet au
Pixel 6 de capturer des vidéos avec la qualité des images fixes, et il peut
fonctionner avec tous les formats vidéo, même les vidéos 4K à 60 images par
seconde.
La transcription vocale
Un autre domaine où le Tensor profite aux utilisateurs de Pixel est la
reconnaissance vocale. Le Pixel 6 « peut transcrire la parole avec une
précision incroyable », assure Monika Gupta. Et grâce à ce nouveau SOC,
cette transcription consomme deux fois moins d’énergie qu’auparavant.
Cette reconnaissance vocale améliorée aidera pour des fonctionnalités comme
Voice Access, qui permet aux utilisateurs de parler au téléphone sans avoir
à taper des commandes, et Google Call Screen, qui utilise l’Assistant
Google pour répondre aux appels entrants, parler à l’interlocuteur et
fournir une transcription de ce qu’il dit.
Grâce au SoC Tensor et à l’apprentissage automatique embarqué, l’Assistant
Google pourra également mieux entendre la phrase d’activation « Ok Google
», même lorsque le fond sonore est bruyant.
Et le nouveau noyau de sécurité Tensor travaille avec le reste du
processeur pour sécuriser les informations sensibles. Par exemple, vous
pouvez avoir besoin de faire appel à l’Assistant Google pour déverrouiller
votre téléphone ou autoriser l’accès à vos contacts. Le Pixel 6 effectuera
tout ce traitement en local au lieu de l’envoyer sur le cloud.
La combinaison du processeur et de l’IA permet aussi d’affiner la
compréhension des nuances de chaque locuteur, assure Monika Gupta. « Cela
pourrait faire la différence entre savoir si c’est Monica avec le ‘C’ ou
Monica avec le ‘K’, où mettre la virgule, la ponctuation, toutes les
nuances que vous obtenez en fonction de la personne qui parle, en fonction
de son accent ou en fonction des noms qu’elle utilise souvent »,
poursuit-elle.
Traduction instantanée
En ce qui concerne la traduction, le Pixel utilise un nouveau modèle appelé
« Neural Machine Translation » qui consomme deux fois moins d’énergie
qu’auparavant. La traduction instantanée fonctionne avec n’importe quelle
application de chat Android, et les traductions se font directement dans
l’application, plutôt que d’obliger l’utilisateur à copier/coller le texte
dans Google Translate. Les Pixel 6 peuvent également traduire des médias en
temps réel, par exemple en fournissant des interprétations en anglais sur
une vidéo en français.
Et grâce au Tensor et au modèle NMT, la traduction audio s’exécute
localement, ce qui est un gage de confidentialité. « Si je regarde quelque
chose qui est sous-titré ou traduit en direct pour moi, c’est privé »,
souligne Monika Gupta.
En temps normal, ce genre de tâche viderait la batterie du téléphone. Mais
pas avec le Tensor. « L’un de nos objectifs avec Tensor était d’éliminer ce
compromis et de vraiment pousser [les performances et l’efficacité
énergétique] simultanément ».
Pour Google, Tensor et les nouvelles fonctions d’IA du Pixel 6 ne sont que
le début, et ils ne sont limités que par la puissance et l’efficacité
énergétique que Google peut donner à ses puces. « Cette collaboration
étroite entre la recherche, la plateforme Android, le Pixel et l’équipe
chargée du silicium crée un beau cycle vertueux », se réjouit Phil Carmack.
« Nous avons toute une feuille de route de produits », conclut-il.
Article de CNET.com adapté par CNETFrance
Image : Google
Source link
