OVH Cloud OVH Cloud

détecter les JPG corrompus ?

93 réponses
Avatar
Ascadix
Salut à tous,

Je cherche un soft/moyen pour examiner une banque de photos et
identifier les JPG corrompus.

qq dizaines de 1000 de photos, 800 Go.


La première "sugestion" de Google c'est "bad peggy", mais ce soft ne
marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient
2 vrai KO..


Qq'un à une idée ?

Merci


X-Post, fu2 fr.rec.photo

--
@+
Ascadix
adresse @mail valide, mais ajoutez "sesame" dans l'objet pour que ça
arrive.

10 réponses

Avatar
Ghost-Raider
Le 25/10/2020 à 23:46, efji a écrit :
Le 25/10/2020 à 23:37, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:26:30 +0100, efji wrote:

Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space

tu l'as trafiqué ou simplement enregistré avec un soft ?

Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la
Nik collection).
Quand je les ouvre avec gimp j'ai aussi
"Erreur d’exécution pour la procédure « gimp-image-set-color-profile » :
La validation du fichier ICC a échoué : le profil de couleur n’est pas
pour l’espace de couleurs niveaux de gris"

Ce qui serait intéressant, ce serait de savoir comment sont codés les
JPG qui sortent de Silver Efex pro qui donne, entre tes mains expertes,
des images qui font l'admiration de tous et dont toi-même tu t'étonnes
et auprès desquelles les images converties en noir et blanc par les
autres logiciels font pâle figure.
Ne s'agirait-il pas d'une méthode de synthèse des 3 couleurs primaires
non détectée par les outils habituels ?
--
Et c'est ainsi que MELMOTH est infiniment Grand !
Avatar
Ptilou
Slt,
Moi j'ai un ou des imbecile qui m'efface ou corrompt les jpg, des carte ent ière, faut pense a enlever la batterie chez Canon ...
Et donc le script d'importation de google photos detecte "finger in noz" ce que tu cherche ....
a mon avis c'est open source, si tu trouve moi je cherche comment il detect e modifier couleur, contraste et balance des blanc, donc je suppose que tu voulait me donner une piste ?
Merci !!!
Le samedi 24 octobre 2020 à 23:13:23 UTC+2, Ascadix a écrit  :
Salut à tous,
Je cherche un soft/moyen pour examiner une banque de photos et
identifier les JPG corrompus.
qq dizaines de 1000 de photos, 800 Go.
La première "sugestion" de Google c'est "bad peggy", mais ce soft ne
marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient
2 vrai KO..
Qq'un à une idée ?
Merci
X-Post, fu2 fr.rec.photo
--
@+
Ascadix
adresse @mail valide, mais ajoutez "sesame" dans l'objet pour que ça
arrive.

--
Ptilou
Avatar
Olivier B.
On Sun, 25 Oct 2020 23:46:00 +0100, efji wrote:
Le 25/10/2020 à 23:37, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:26:30 +0100, efji wrote:

Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space

tu l'as trafiqué ou simplement enregistré avec un soft ?

Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la
Nik collection).
Quand je les ouvre avec gimp j'ai aussi
"Erreur d’exécution pour la procédure « gimp-image-set-color-profile » :
La validation du fichier ICC a échoué : le profil de couleur n’est pas
pour l’espace de couleurs niveaux de gris"

Ca me donne l'impression que Silver E P 2 écrive un fichier avec un
profil intégré pas totalement dans la norme, soit parce qu'elle ne la
respecte pas, soit parce qu'elle en implémente une forme tellement peu
usitée qu'elle n'est généralement pas implémentéeodée, il faut bien
dire que parfois implémenter la totalité d'une norme ça a un cout,
c'est un choix commercial.
Chez un client on a eu à traiter des problèmes d'interopérabilité de
workflows MFX entre deux grands constructeurs/editeurs d'équipements
video broadcast, plus "pro" que ça tu pouvais pas mais pour respecter
le timing du projet il a été plus rapide d'inserer un produit tiers
pour assurer l'interopérabilité que de mettre d'accord les deux
protagonistes, et attendre le correctif.
Du coup, j'dis p'têt une connerie, mais il serait plus passe partout
*une fois le N&B obtenu* de le stocker dans un espace de couleur rvb
dont les composantes de chaque pixel auraient la même valeur, qu'un
profil avec la luminance seule.
--
Mail .invalid
Avatar
efji
Le 26/10/2020 à 09:17, Ghost-Raider a écrit :
Ce qui serait intéressant, ce serait de savoir comment sont codés les
JPG qui sortent de Silver Efex pro qui donne, entre tes mains expertes,
des images qui font l'admiration de tous et dont toi-même tu t'étonnes
et auprès desquelles les images converties en noir et blanc par les
autres logiciels font pâle figure.
Ne s'agirait-il pas d'une méthode de synthèse des 3 couleurs primaires
non détectée par les outils habituels ?

C'est juste un jpg en mode niveaux de gris, donc quand gimp essaye de
l'ouvrir avec un profil de couleur par défaut il dit que ça lui pose
problème.
Je viens d'en exporter un en mode RVB, avec le même niveau de
compression (vérifiée en soustrayant les deux images), et le jpeg RVB
est légèrement moins gros. Bizarre bizarre.
--
F.J.
Avatar
efji
Le 26/10/2020 à 10:18, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:46:00 +0100, efji wrote:
Le 25/10/2020 à 23:37, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:26:30 +0100, efji wrote:

Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space

tu l'as trafiqué ou simplement enregistré avec un soft ?

Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la
Nik collection).
Quand je les ouvre avec gimp j'ai aussi
"Erreur d’exécution pour la procédure « gimp-image-set-color-profile » :
La validation du fichier ICC a échoué : le profil de couleur n’est pas
pour l’espace de couleurs niveaux de gris"

Ca me donne l'impression que Silver E P 2 écrive un fichier avec un
profil intégré pas totalement dans la norme, soit parce qu'elle ne la
respecte pas, soit parce qu'elle en implémente une forme tellement peu
usitée qu'elle n'est généralement pas implémentéeodée, il faut bien
dire que parfois implémenter la totalité d'une norme ça a un cout,
c'est un choix commercial.

Hypothèse intéressante. Ca expliquerait que l'exportation en mode RVB
diminue la taille du fichier d'environ 20ko si elle vire un profil
inutile. Par contre j'aurais imaginé que globalement stocker en niveau
de gris devrait prendre environ 3 fois moins de place qu'en RVB, et ce
n'est pas le cas.
--
F.J.
Avatar
Olivier B.
On Sun, 25 Oct 2020 20:44:02 -0700 (PDT), René
wrote:
Intéressant. Ton exemple ci-dessous agrandit montre bien le problème
et porte à croire comme on lit souvent : "c'est quoi cette compression exagérée"
https://www.cjoint.com/doc/20_10/JJzkCBChI6P_2003-20-corr.jpg

de prime abord j'ai cru que c'était deux photos du même lieu, mais en
fait non :-)
--
Mail .invalid
Avatar
Ghost-Raider
Le 26/10/2020 à 10:42, efji a écrit :
Le 26/10/2020 à 09:17, Ghost-Raider a écrit :
Ce qui serait intéressant, ce serait de savoir comment sont codés les
JPG qui sortent de Silver Efex pro qui donne, entre tes mains expertes,
des images qui font l'admiration de tous et dont toi-même tu t'étonnes
et auprès desquelles les images converties en noir et blanc par les
autres logiciels font pâle figure.
Ne s'agirait-il pas d'une méthode de synthèse des 3 couleurs primaires
non détectée par les outils habituels ?

C'est juste un jpg en mode niveaux de gris, donc quand gimp essaye de
l'ouvrir avec un profil de couleur par défaut il dit que ça lui pose
problème.
Je viens d'en exporter un en mode RVB, avec le même niveau de
compression (vérifiée en soustrayant les deux images), et le jpeg RVB
est légèrement moins gros. Bizarre bizarre.

Selon moi c'est un profil RVB où chaque pixel est en couleurs et non en
niveaux de gris et dont la synthèse additive fait du noir et blanc,
comme sur un écran.
--
Et c'est ainsi que MELMOTH est infiniment Grand !
Avatar
jdd
Le 26/10/2020 à 11:26, Olivier B. a écrit :
On Sun, 25 Oct 2020 20:44:02 -0700 (PDT), René
wrote:
Intéressant. Ton exemple ci-dessous agrandit montre bien le problème
et porte à croire comme on lit souvent : "c'est quoi cette compression exagérée"
https://www.cjoint.com/doc/20_10/JJzkCBChI6P_2003-20-corr.jpg

de prime abord j'ai cru que c'était deux photos du même lieu, mais en
fait non :-)

ha oui... moi aussi deux immeubles voisins dans la même série? vraiment
très proches les unes des autres!!
jdd
--
http://dodin.org
Avatar
jdd
Le 26/10/2020 à 11:32, Ghost-Raider a écrit :
Selon moi c'est un profil RVB où chaque pixel est en couleurs et non en
niveaux de gris et dont la synthèse additive fait du noir et blanc,
comme sur un écran.

à la loupe, ça devrait se voir?
jdd
--
http://dodin.org
Avatar
efji
Le 26/10/2020 à 11:26, Olivier B. a écrit :
On Sun, 25 Oct 2020 20:44:02 -0700 (PDT), René
wrote:
Intéressant. Ton exemple ci-dessous agrandit montre bien le problème
et porte à croire comme on lit souvent : "c'est quoi cette compression exagérée"
https://www.cjoint.com/doc/20_10/JJzkCBChI6P_2003-20-corr.jpg

de prime abord j'ai cru que c'était deux photos du même lieu, mais en
fait non :-)

Houla faut suivre. Vous êtes dans le décors tous les deux et pas qu'un
peu (René et Olivier)
1/ Oui c'est le même lieu à 17 ans de distance. J'avais fait ça pour un
autre fil qui n'a rien à voir.
2/ ce qu'il faut regarder pour le sujet de ce fil ce n'est pas du tout
la différence entre les deux images superposées, c'est beaucoup plus
subtil que ça. Il faut comparer cette image avec l'autre que j'ai postée.
https://www.cjoint.com/doc/20_10/JJzkCiL7NdP_2003-20.jpg
https://www.cjoint.com/doc/20_10/JJzkCBChI6P_2003-20-corr.jpg
La première est l'original, la seconde est modifiée en virant plein
d'octets un peu partout (plus de 20% des données virées au hasard du
fichier). A première vue elles sont identiques mais en regardant bien on
voit des artefacts bizarres dans la seconde.
La différence des 2 :
https://www.cjoint.com/doc/20_10/JJzkGFwmsjP_2003-20-diff.jpg
Ca prouve que le format jpeg est très robuste quand même, sauf si on
touche à l'en-tête.
--
F.J.