Une Intelligence artificielle capable de transformer des images floues en portraits haute définition

Le par  |  9 commentaire(s)
PULSE

Des chercheurs ont mis au point une Intelligence artificielle capable de reconstituer des portraits très détaillés à partir de clichés flous ou incomplets.

Voilà qui pourrait prochainement aboutir à une option intégrée dans nos smartphones afin d'éviter le fameux coup de la photo floue : une IA spécialisée dans la correction des images.

Des chercheurs de l'Université de Duke ont mis au point un algorithme capable de générer des portraits en haute définition à partir d'une image très floue et pixelisée. Baptisée PULSE (Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models), l'IA a été envisagée avant tout comme un outil de retouche graphique.

PULSE

Il n'est pas question de deviner avec précision quelles formes peuvent se cacher derrière un cliché flou, mais de générer quelque chose de cohérent et réaliste, en haute définition à partir d'un portrait très pixelisé et incomplet. L'IA est ainsi capable de multiplier la résolution de l'image par 64 avec des résultats assez saisissants.

Des tests ont été réalisés avec des clichés haute définition dont on a réduit la résolution, et ce sont ces fichiers basse définition qui sont alors proposés à l'IA qui reproduit un portrait en haute définition. Le rendu diffère de l'original, mais reste assez cohérent et proche. L'IA part toutefois avec certains aprioris renseignés par les chercheurs, et aura ainsi du mal à reproduire un portrait avec des cheveux longs sous des traits masculins.

Pulse 2

Il est par ailleurs possible de tester soit même l'IA à cette adresse.

Pour mener à bien son travail, l'IA se repose sur deux algorithmes distincts : un générateur et un adversaire. Le premier génère une foule de portraits soumis au second, qui pour sa part établit si la photo est vraie ou non. A chaque échec, le générateur modifie ses réglages jusqu'à obtenir un cliché validé par l'adversaire.

Peut-on alors envisager que ce type d'IA nous aide prochainement à corriger nos photos ? Dans une certaine mesure oui. S'il est évident que l'on ne pourra pas véritablement obtenir des clichés parfaits à partir d'une bouillie de pixels, l'IA est suffisamment performante pour deviner les grandes lignes qui se cachent derrière un cliché flou. À défaut de proposer une version en haute définition, le gain de précision pourrait permettre de rendre les clichés plus agréables et de gagner en détail.

Pulse 3

Autre domaine d'application : l'astronomie. Les clichés récupérés par les télescopes sont souvent de très faible résolution. PULSE pourrait permettre d'obtenir des images plus distinctes de corps distants avec une précision inégalée. Malheureusement, les rendus produits resteront des suppositions réalisées par des algorithmes qui se limitent à jouer aux devinettes, c'est pourquoi le domaine graphique et grand public reste le secteur privilégié de ce type d'IA.

Complément d'information

Vos commentaires

Trier par : date / pertinence
Le #2101666
Ça n'est jamais que du jpeg avec le bénéfice d'un calculateur beaucoup plus puissant. Donc rien de bien extraordinaire. Appeler ça "intelligence artificielle" montre qu'on perd vraiment le sens des mots et des valeurs.
Le #2101668
Ca marche vachement bien
j'ai essayé avec ça
https://www.heberger-image.fr/image/RvXk3
et ça m'a donné
https://www.heberger-image.fr/image/RvGts


















Le #2101670
@sansimportance: effectivement, c'est bien de l'intelligence artificielle
Le #2101671
sansimportance a écrit :

Ca marche vachement bien
j'ai essayé avec ça
https://www.heberger-image.fr/image/RvXk3
et ça m'a donné
https://www.heberger-image.fr/image/RvGts





















Le #2101673
Le inpainting (deviner les parties cachées/effacées) et l'upsampling (augmenter la résolution des images) ne sont pas nouveaux et il y doit y avoir 10 papiers par ans sur le sujet. Le papier présenté là est juste une méthode parmi une multitude d'autres.

L'article laisse entendre que c'est quelque chose de ’nouveau’ mais pas du tout. Faites attention à vos sources. Il y a beaucoup de sites de news anglos qui prétendent faire du journalisme scientifique, mais qui n'y connaissent rien au domaine couvert.
Le #2101675
Euh... Soit le lien de test ne correspond pas à l'article, soit l'article sur-vend grandement ce réseau neuronal, mais ne n'est en rien de l'upsampling...

Déjà, ça ne fonctionne qu'avec les visages et en plus le résultat n'est en rien une amélioration de l'image d'origine mais un amas fusionné d'images ressemblant à l'image proposée puis dégradée. ("PULSE only attempts to match the downscaled version of the image, and the output will likely not resemble the high resolution input image.")

Faire un test prend 10 sec, pourquoi ne pas l'avoir fait avant de parler d'astronomie ou autre...
Le #2101678
Safirion a écrit :

Euh... Soit le lien de test ne correspond pas à l'article, soit l'article sur-vend grandement ce réseau neuronal, mais ne n'est en rien de l'upsampling...

Déjà, ça ne fonctionne qu'avec les visages et en plus le résultat n'est en rien une amélioration de l'image d'origine mais un amas fusionné d'images ressemblant à l'image proposée puis dégradée. ("PULSE only attempts to match the downscaled version of the image, and the output will likely not resemble the high resolution input image."

Faire un test prend 10 sec, pourquoi ne pas l'avoir fait avant de parler d'astronomie ou autre...


C'est gentil mais en fait tu répètes tout ce qui a été dit dans cet article et sur d'autres sites…

Non ça ne fonctionne pas qu'avec des visages, regarde différents tests sur internet ou fais-en par toi même.

"n'est en rien une amélioration de l'image d'origine mais un amas fusionné d'images ressemblant à l'image proposée puis dégradée."
Effectivement comme le dit l'article mais de façon TRES résumé.

L'outil a une infinité d'image pour effectuer un rendu réaliste à plus haute définition que ce soit un visage, un pixel blanc, 4 pixels noir et 1 pixels blanc.

Oui le rendu final n'aura peut-être rien à voir avec le rendu de départ mais la technique est là.

Effectivement ce n'est pas un outil de DIEU.
Le #2101780
lobo14 a écrit :

Ça n'est jamais que du jpeg avec le bénéfice d'un calculateur beaucoup plus puissant. Donc rien de bien extraordinaire. Appeler ça "intelligence artificielle" montre qu'on perd vraiment le sens des mots et des valeurs.


Leur outil crée de l'information crédible à partir d'un résidu dérisoire d'information (au sens de la théorie de l'information). Ça n'a rien à voir avec "juste du jpeg".

Le résultat est parfait, au sens où un être humain ne pourra pas déterminer si le résultat est bien l'image originale, ou si c'est une création de l'outil.

Pourquoi le résultat que donne cet outil n'est pas l'image originale ? Parce que c'est impossible à faire. Une information disparue ne peut pas être recréée s'il ne subsiste rien d'elle (voir la théorie de l'information). Etant donné la définition des images données en entrée à l'outil, il est clair qu'une bonne partie de l'information de départ est définitivement perdue. Ça c'est de la combinatoire.

Quand tu as 5 chercheurs d'une des universités les plus réputées au monde (l'université Duke est considérée comme faisant partie du top 20 mondial) qui te disent que leur outil relève effectivement de l'intelligence artificielle, et que cette intelligence artificielle surpasse ce qui se faisait jusque là ("Our method outperforms state-of-the-art methods in perceptual quality at higher resolutions and scale factors than previously possible"), eh bien tu devrais rester prudent. Apparemment, tu n'as pas le CV qui te permet de les prendre de haut, tu n'as aucune expérience dans leur domaine, et tu ne comprends pas de quoi il est question. L'effet Dunning-Kruger dans toute sa splendeur.
Le #2101785
racom a écrit :

lobo14 a écrit :

Ça n'est jamais que du jpeg avec le bénéfice d'un calculateur beaucoup plus puissant. Donc rien de bien extraordinaire. Appeler ça "intelligence artificielle" montre qu'on perd vraiment le sens des mots et des valeurs.


Leur outil crée de l'information crédible à partir d'un résidu dérisoire d'information (au sens de la théorie de l'information). Ça n'a rien à voir avec "juste du jpeg".

Le résultat est parfait, au sens où un être humain ne pourra pas déterminer si le résultat est bien l'image originale, ou si c'est une création de l'outil.

Pourquoi le résultat que donne cet outil n'est pas l'image originale ? Parce que c'est impossible à faire. Une information disparue ne peut pas être recréée s'il ne subsiste rien d'elle (voir la théorie de l'information). Etant donné la définition des images données en entrée à l'outil, il est clair qu'une bonne partie de l'information de départ est définitivement perdue. Ça c'est de la combinatoire.

Quand tu as 5 chercheurs d'une des universités les plus réputées au monde (l'université Duke est considérée comme faisant partie du top 20 mondial) qui te disent que leur outil relève effectivement de l'intelligence artificielle, et que cette intelligence artificielle surpasse ce qui se faisait jusque là ("Our method outperforms state-of-the-art methods in perceptual quality at higher resolutions and scale factors than previously possible", eh bien tu devrais rester prudent. Apparemment, tu n'as pas le CV qui te permet de les prendre de haut, tu n'as aucune expérience dans leur domaine, et tu ne comprends pas de quoi il est question. L'effet Dunning-Kruger dans toute sa splendeur.



Suivre les commentaires
Poster un commentaire
Avatar par défaut
Anonyme
Anonyme Avatar par défaut