Modéliser le monde
Sony présente 5 technologies qui vont dessiner son futur
Essentiellement connu pour ses produits physiques, Sony met depuis plusieurs années le turbo sur le logiciel et le traitement des données par des intelligences artificielles. Le géant japonais nous a présenté cinq technologies dont le fil conducteur est la modélisation. Qu’il s’agisse du corps humain ou carrément de villes entières, le géant japonais a désormais dans ses laboratoires des briques logicielles pour devenir le grand architecte du futur.
Si pour vous Sony s’arrête aux Walkman, téléviseurs et autres PlayStation, il va falloir ouvrir un peu votre spectre d’analyse : le Japonais est un géant de l’innovation qui vient pour la première fois d’ouvrir (un peu…) l’accès à son événement Sony Technology Exchange Fair (STEF) à la presse. Cet événement annuel, vous n’en aviez peut-être jamais entendu parler – et nous non plus. Consacré « au partage et à la présentation des développements technologiques opérés au sein du groupe Sony », c’est un moyen de montrer à ses clients, mais aussi aux divisions et centres de recherche entre eux ce qu’ils s’apprêtent à sortir de leurs chapeaux… Pardon, de leurs labos !
Car si on est loin des prototypes exploratoires purs, les technologies que Sony présentent à ce stade sont encore en phase de calibrage et d’adoption (ou non) par l’industrie ou les différentes divisions. Cette dernière précision est très importante, car le Japonais est un titan aux ramifications diverses : il y a les semi-conducteurs, dont vous connaissez sans nul doute les capteurs d’image. Il y a la division de l’électronique grand public (les TV, etc.). Ou encore la division gaming avec la PlayStation, les studios de cinéma Sony Picture, etc. Sans parler de Sony Life Insurance ! Alors comme tant d’autres énormes corporations, Sony organise des événements et des salons qui ont un impact autant externe qu’interne. Mais si on a l’habitude de voir Sony vouloir nous mettre des produits, les présentations de la STEF sont sans équivoques : Sony met le paquet dans l’IA et l’analyse des données afin de devenir un champion du logiciel.
Avec un mot en fil conducteur : la modélisation. Qu’il s’agisse de la modélisation des humains et de leur corps dans l’espace, jusqu’au(x) monde(s) qui nous entoure(nt), voici cinq technologies que Sony nous a présentées. Cinq technologies qui nous font nous dire que le géant nippon veut devenir « le grand modélisateur » du monde du futur.
1. Utiliser les capteurs ToF pour animer les humains et les mondes en AR
Le kit de développement « ToF AR » est la technologie la plus directement liée aux activités matérielles de Sony. Grand champion des capteurs d’image, Sony est aussi un cador dans le domaine des capteurs dits de temps de vol (Time of Flight ou ToF, lire notre article à ce sujet). Un duo de composants – le capteur à proprement dit et un illuminateur – qui utilise la lumière qu’il émet et reçoit par rebonds pour mesurer très précisément la distance aux objets.
La plate-forme « ToF AR » a comme objectif non seulement de détecter et reconnaître un humain par exemple, mais surtout de coupler ses mouvements à une cartographie et un modèle d’animation. Comme vous pouvez le voir dans la vidéo ci-dessus (à 1 min 36), les mains, la tête et la bouche du personnage virtuel sur la télévision sont entièrement contrôlés par la femme sur la droite. Outre des applications de jeux en AR, on peut imaginer animer des séries par des acteurs, sans avoir recours à de coûteux studios de motion capture. Et ce n’est là qu’un des usages de démonstration, le « ToF AR developpment kit » permet de créer de nouveaux modèles et de profiter des forces naturelles des capteurs ToF. Notamment le fait de ne pas être perturbé par la lumière ambiante, de consommer peu d’énergie et de savoir-faire très précisément la différence entre sujet mobile et arrière-plan.
Si un tel outil logiciel a évidemment été développé pour faciliter la vente de capteurs de la part de la division composants, ToF AR reste une plateforme logicielle agnostique, et non un produit lié au matériel de Sony. Quand nous avons interrogé les ingénieurs, ils nous ont garanti que « tous les smartphones équipés de capteurs ToF capables de mesure la profondeur seront compatibles, que ces capteurs soient Sony ou non ».
2. Caractériser les émotions pour évaluer les œuvres
Viewing eXperience ou « VX » est un « espion » des sentiments humains. Basés sur trois types de données extraites (sans douleur !) d’un auditoire, VX peut caractériser les réactions et émotions des humains pour caractériser et évaluer l’impact émotionnel des œuvres. Ici au sens large : les exemples donnés par Sony vont des films aux jeux vidéo en passant par les pubs ou les jeux vidéo.
Lire aussi : Sony FX6, une caméra cinéma accessible à l’ADN d’appareil photo (novembre 2020)
Les trois capteurs en question sont des caméras qui traquent et analysent les expressions faciales, des capteurs cardiaques qui suivent les évolutions de rythmes et des microphones qui enregistrent les « oh », « ah » et autres applaudissements. Au cœur du procédé, les inévitables moulinettes logicielles que sont une IA maison, appuyée par des algorithmes conçus grâce à l’apprentissage machine (Machine Learning ou ML). Un puissant outil analytique qui permet de passer les émotions humaines au travers de « tamis » sélectionnés à la carte : quels sont les moments les moins intéressants des séquences ? Comment réagissent les différents genres ? Quels âges sont les plus réceptifs ?
Sony promet des « analyses des émotions profondes » ce qui permettra, en retour, aux acteurs de la culture et du divertissement de disposer d’un outil d’analyse d’impact « objectif ». Entre parenthèses car il faudra juger avec le temps de la pertinence des rapports de la machine !
3. Les robots et le ray-tracing forment les chirurgiens
(La vidéo n’est pas atroce, mais du fait de la reproduction 3D de tissus humains, il semblerait que Sony n’ait pas voulu prendre de risque pour ceux qui auraient une sainte horreur des détails chirurgicaux. Il vous faudra donc être connecté à Youtube pour pouvoir la lire)
Le « Surgical Simulator » est, comme son nom l’indique en anglais, un simulateur de chirurgie. Et le moins que l’on puisse dire, c’est que Sony a mis les petits plats dans les grands du côté du rendu d’image : c’est le premier du genre à intégrer des effets de ray-tracing, ce rendu des lumières et des réflexions qui donne un aspect photoréaliste dans les jeux vidéo. Mais cette immersion, améliorée par cette technologie, n’a pas pour but d’amuser le chirurgien, mais bien de coller à la réalité de son métier. Au travers d’une opération de chirurgie endoscopique, le praticien voit une simulation réaliste de ce qu’il obtiendra in situ avec la torche de sa caméra. Le comportement des rayons lumineux selon la nature des tissus apporte ici de vraies informations, et pas seulement le plaisir de tuer des ennemis en 4K comme dans Cyberpunk 2077 ! Mais cette qualité de rendu ne serait rien sans un moteur physique médical. Un puissant outil qui caractérise les différents tissus, leur plasticité, leur comportement à la coupure, etc.
À cette brique logicielle novatrice, Sony a couplé cette fois un élément matériel : un double joystick issu de sa division robotique. Mais Sony s’est refusé à tout commentaire quant à la date de commercialisation, la manière dont celle-ci serait menée (avec ou sans le joystick ?). Et n’avait pas la réponse quant à savoir si les technologies de ray-tracing étaient issues ou non du travail de ses ingénieurs logiciels de la division PlayStation. La PS5 étant en effet la première console de la marque gérant ces effets de lumière (grâce au GPU AMD de génération RDNA2), on aurait pu imaginer des synergies. Mais nous n’en saurons pas plus pour le moment.
4. Mapray : recréer le monde à partir d’images librement disponibles
Avec Mapray, les artistes 3D et autres modeleurs ont-ils du souci à se faire ? En tous les cas, le potentiel de la technologie est assez impressionnant puisque l’outil est capable de recréer des villes entières sans la moindre création humaine. La « magie » opère grâce à des données ouvertes : photos, vidéos, banque de données (coordonnées géographiques, cartes OpenStreetMap, mais aussi cadastres ou encore températures !). Là encore, une IA agrège les données à la demande des hommes.
Et les modèles de Mapray sont souples et capables non seulement de recréer les lieux, mais d’adapter l’interprétation aux conditions climatiques et météorologiques. Point d’importance : l’outil de Sony est basé sur une infrastructure cloud qui est capable de gérer un volume de données énorme en temps réel afin d’offrir une reproduction fluide des mondes simulés – que Sony appelle les « jumeaux numériques » (digital twins). Le moteur de rendu de Sony serait capable de s’adapter à la puissance et la définition des terminaux qui consulte ses cartes.
Lire aussi : Nvidia dévoile Drive Map, sa cartographie ultra précise pour les voitures autonomes de demain (mars 2022)
Et c’est là un avantage clé de la techno : elle va pouvoir être utilisée par une horde d’appareils… dans énormément de domaines. Interrogés par nos soins sur l’éventuelle adoption de l’outil dans d’autres divisions de Sony, les ingénieurs de Sony ont directement acquiescé : « Nous avons plein de projets en cours avec d’autres divisions (de Sony, ndr) ». De la création/complétion de modèles environnementaux embarqués dans les voitures (divisions auto et composants), à des outils de modélisation de mondes pour ses divisions de cinéma ou de jeux vidéo (Sony Pictures et Sony PlayStation), Mapray a de quoi jouer un rôle transversal dans de nombreuses « business units » du géant japonais.
5. Créer une caméra virtuelle qui vous place aux côtés de Mbappé
La dernière technologie est le fruit d’un travail au long cours pour Sony. Après avoir racheté Hawkeye en 2011, cette division de data-visualisation a développé des outils à destination des diffuseurs (on parle du monde du « broadcast »). Notamment SkeleTRACK et HawkVISION. La pierre angulaire de cette dernière est SkeleTRACK, un logiciel qui recrée la position des joueurs dans l’environnement. Non seulement leur position dans un espace tridimensionnel, mais aussi leur posture physique exacte. Les différentes caméras et le moteur d’interprétation physique permettant d’analyser les positions des membres, ainsi que leur vitesse. Cet outil déjà déployé au sein de la Premier League (football, Royaume-Uni) et de la Major Baseball League (ou MLB, baseball, USA). SkeleTRACK (littéralement « le traqueur/pisteur de squelette ») est un logiciel qui permet aux équipes de générer des données précises pour chaque joueur. Et ainsi d’aider les entraîneurs dans leurs entraînements. Sur ce premier outil, Sony a construit un logiciel encore plus puissant HawkVISION – vision de faucon en anglais.
Utilisant les capacités d’analyse et de modélisation (et les données !) issues de SkeleTRACK , HawkVISION a quatre missions. Le premier est d’assister les arbitres dans leur prise de décision, la recréation 3D de l’espace de jeu permettant par exemple de vérifier un hors-jeu sans être limité à la prise de vue 2D de caméras statiques. L’autre application possible est à destination des médias en apportant en temps réel (ou en différé pour les ralentis) de la métrique pertinente à surimposer aux séquences vidéo. Métriques telles que la hauteur des sauts, la vitesse des joueurs ou celle de leur jambes au moment de la frappe d’un ballon par exemple. Le troisième usage concerne l’analyse des performances. En avalant un torrent de données, Hawkvision peut produire des rapports précis par joueur : nombre de passes, de frappes, de fautes, etc. de manière totalement automatisée (merci les IA). Des données qui seront ensuite utilisées par les entraîneurs… et les bookmakers !
C’est le quatrième usage de HawkVISION qui est le plus intéressant pour le public qui n’est ni sportif ou entraîneur : la recréation en temps réel (ou légèrement différé) d’une action qui permet de générer une simulation 3D d’un match. Et la puissance des cartes 3D actuelles permet alors de (re)vivre une action comme un but en suivant M’bappé comme si on courait à ses côtés – ce qui est, fort logiquement, impossible sans avoir un caméraman sur le terrain.
Éléments robotiques mis à part, vous aurez perçu dans ces technologies de pointe un second fil conducteur majeur : il s’agit dans la plupart des cas de logiciels capables d’interpréter des flots de données grâce aux IA. Et de coller à des usages bien identifiés, notamment autour de l’AR et de la VR (oui, on vous a entendu prononcer le mot métaverse dans le fond !). Autrement dit, Sony semble entrer de plain-pied dans l’ère du software et de la donnée. Une corde qui manquait à l’arc de celui qui est déjà un champion des produits, des composants et des contenus.
