La zone en rouge à droite représente tout ce qui correspond au matériau contenu dans le carré rouge à gauche.
L’intelligence artificielle (IA) est plutôt douée pour reconnaître des formes et des objets. Beaucoup moins pour reconnaître la matière dont sont faits lesdits objets. C’est à ce problème que s’est attaquée une équipe constituée de chercheurs du CSAIL, le laboratoire d’informatique et d’intelligence artificielle du Massachusetts Institute of Technology (Etats-Unis) et de l’éditeur américain de logiciels de traitement d’image Adobe. Dans un article paru fin mai 2023, ils détaillent une technique de vision par ordinateur capable d’identifier sur une photo tout ce qui est fait de la même matière. Nuance importante : l’outil ne dit pas explicitement s’il s’agit de bois, de métal, de plastique, de pierre ou autre, mais quels pixels correspondent à la même chose.
Dans son principe, la technique consiste, pour l’utilisateur, à sélectionner une petite zone dans une photo. Les pixels qu’elle recouvre servent de données en entrée à l’algorithme qui va alors chercher dans l’image des pixels similaires. Il va ainsi pouvoir détecter l’intégralité de l’objet à laquelle appartient la zone sélectionnée (pour peu que celui-ci soit fait de la même matière partout), mais aussi d’autres objets où qu’ils soient dans l’image. Exemple typique avec un salon de jardin : si l’utilisateur pointe quelques pixels dans les lattes en bois d’une chaise pliante, l’algorithme va à la fois sélectionner de lui-même toute l’assise de toutes les chaises, leurs dossiers, mais aussi le dessus de la table, tous faits du même bois.
Une base d'entraînement de 50.000 images de synthèse
Jusque-là, l’IA avait beaucoup de mal à effectuer ce genre de tâches : le fait que deux objets soient de formes diverses, éclairés différemment ou que deux objets identiques ne soient pas vus sous le même angle nuisent à ce type de reconnaissance. "Deux pixels d’une même matière peuvent présenter des réflexions de couleurs et des intensités très différentes", écrivent les auteurs. Chose qui perturbant bien moins les humains, capables, eux, de dire immédiatement qu’un pan de muraille d’un château fort plongé dans l’ombre est fait des mêmes pierres que le donjon en plein soleil.
Les chercheurs ont entraîné leur algorithme sur une base-maison de 50.000 images de synthèse photoréalistes. Les jeux de données existants ne se prêtaient pas bien à la tâche visée. Soit ils ne comprenaient pas d’annotations pixel par pixel, soit il y en avait mais l’annotation restait générique ("métal", au lieu de "acier" ou "aluminium", par exemple). "Ce manque d’annotation fine provoquait des faux positifs (deux bois différents constituaient une même classe de matériau)", précisent les auteurs. L’équipe s'est servi d’une centaine de scènes d’intérieur en 3D puisées sur Archinteriors. Une même image en a donné plusieurs, en étant transformée pour proposer des angles de vues différents et présenter des rendus de matières remplacés par d’autres, grâce à la base Adobe Substance 3D.
Une réussite globale de 92%
Les résultats obtenus, y compris sur des images réelles, sont assez frappants. L’algorithme s’avère capable de repérer une même matière avec précision et justesse dans les délimitations, et dans les configurations les plus diverses. Quand l’objet est de forme compliquée ou en partie masqué par d’autres objets (comme un mur devant ou sur lequel plein de choses sont placées) ; quand il y a des effets d’ombre et de lumière ; quand il y a plusieurs objets d’un même matériau, identiques (deux fauteuils) ou non (un dessus de meuble en bois, le pan d’une demi-cloison du même bois) et qu’ils ne sont pas orientés de la même façon (un en plan vertical, un autre en horizontal). Mieux : quand l’utilisateur sélectionne une zone d’un objet présent sur une photo, l’algorithme peut retrouver la même matière sur l’objet vu sous un angle différent, sous une autre lumière, dans une autre photo. Au final, la réussite globale atteint 92%.
L’algorithme pourrait par exemple être intégré dans une machine, un robot, afin qu’il comprenne mieux une scène. Mais il peut également donner lieu au développement d’un nouvel outil d’édition graphique : à partir du moment où une matière a été repérée et délimitée par l’algorithme, il devient alors possible de… la modifier. En en changeant la couleur mais aussi le rendu des textures, changer un aspect "bois" en un aspect "métal". Dans ce cas, l’équipe fait appel aux outils d’IA génératives avec des instructions en langage naturel. La pierre de l’Arc de Triomphe, à Paris, a ainsi pu être transformée en verre.