Je cherche un soft/moyen pour examiner une banque de photos et
identifier les JPG corrompus.
qq dizaines de 1000 de photos, 800 Go.
La première "sugestion" de Google c'est "bad peggy", mais ce soft ne
marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient
2 vrai KO..
Qq'un à une idée ?
Merci
X-Post, fu2 fr.rec.photo
--
@+
Ascadix
adresse @mail valide, mais ajoutez "sesame" dans l'objet pour que ça
arrive.
pour cela il faut déjà passer par l'algorithme de décompression, étape qui a de fortes chances de planter si le jpeg n'est pas intègre, c'est donc amha par là qu'il faut passer soit en codant soit en utilisant de la ligne de commande comme indiqué par Alf
jpgicc -b $f /dev/null
Le 25/10/2020 à 10:40, Olivier B. a écrit :
pour cela il faut déjà passer par l'algorithme de décompression, étape
qui a de fortes chances de planter si le jpeg n'est pas intègre, c'est
donc amha par là qu'il faut passer soit en codant soit en utilisant de
la ligne de commande comme indiqué par Alf
pour cela il faut déjà passer par l'algorithme de décompression, étape qui a de fortes chances de planter si le jpeg n'est pas intègre, c'est donc amha par là qu'il faut passer soit en codant soit en utilisant de la ligne de commande comme indiqué par Alf
jpgicc -b $f /dev/null
Stephane Legras-Decussy
Le 25/10/2020 à 07:41, Jacques DASSIÉ a écrit :
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas correctement avec un ou plusieurs logiciels de traitement graphique.
oui mais il va y avoir une difficulté... il n'y a que peu de check d'intégrité qu'on puisse faire sur le format de donnée jpeg, et le viewer peut difficilement vérifier que ce qu'il va afficher est un poney ou une mosaique informe...
Le 25/10/2020 à 07:41, Jacques DASSIÉ a écrit :
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas
correctement avec un ou plusieurs logiciels de traitement graphique.
oui mais il va y avoir une difficulté...
il n'y a que peu de check d'intégrité qu'on puisse faire sur le format
de donnée jpeg,
et le viewer peut difficilement vérifier que ce qu'il va afficher
est un poney ou une mosaique informe...
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas correctement avec un ou plusieurs logiciels de traitement graphique.
oui mais il va y avoir une difficulté... il n'y a que peu de check d'intégrité qu'on puisse faire sur le format de donnée jpeg, et le viewer peut difficilement vérifier que ce qu'il va afficher est un poney ou une mosaique informe...
Stephane Legras-Decussy
Le 25/10/2020 à 10:40, Olivier B. a écrit :
pour cela il faut déjà passer par l'algorithme de décompression, étape qui a de fortes chances de planter si le jpeg n'est pas intègre,
ça plante rien du tout, le viewer lit les data jusqu'à lire le code de fin de fichier, et il décode les blocs 8x8 en les affichant x * Y aucun problème que ces blocs ne représentent rien. on peut juste detecter logiciellement une non conformité dans l'entête du jpeg.
Le 25/10/2020 à 10:40, Olivier B. a écrit :
pour cela il faut déjà passer par l'algorithme de décompression, étape
qui a de fortes chances de planter si le jpeg n'est pas intègre,
ça plante rien du tout, le viewer lit les data jusqu'à lire le code
de fin de fichier, et il décode les blocs 8x8 en les affichant x * Y
aucun problème que ces blocs ne représentent rien.
on peut juste detecter logiciellement une non conformité dans l'entête
du jpeg.
pour cela il faut déjà passer par l'algorithme de décompression, étape qui a de fortes chances de planter si le jpeg n'est pas intègre,
ça plante rien du tout, le viewer lit les data jusqu'à lire le code de fin de fichier, et il décode les blocs 8x8 en les affichant x * Y aucun problème que ces blocs ne représentent rien. on peut juste detecter logiciellement une non conformité dans l'entête du jpeg.
Stephane Legras-Decussy
Le 25/10/2020 à 11:47, Olivier B. a écrit :
ce niveau là tout dépend comment tu décide de gérer l'exeption (plantage) dans le processus
sauf que ça ne génère pas d'exception de décoder des blocs 8x8 qui ne représentes pas un poney.
Le 25/10/2020 à 11:47, Olivier B. a écrit :
ce niveau là tout dépend comment tu décide de gérer l'exeption
(plantage) dans le processus
sauf que ça ne génère pas d'exception de décoder des blocs 8x8
qui ne représentes pas un poney.
ce niveau là tout dépend comment tu décide de gérer l'exeption (plantage) dans le processus
sauf que ça ne génère pas d'exception de décoder des blocs 8x8 qui ne représentes pas un poney.
efji
Le 25/10/2020 à 21:29, Paul Aubrin a écrit :
jpgicc -b $f /dev/null
Impec ! Merci, je garde ça dans un coin. Voici les messages que ça donne avec les différents types de corruption que j'ai générés artificiellement en bidouillant un jpg: [jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space -- F.J.
Le 25/10/2020 à 21:29, Paul Aubrin a écrit :
jpgicc -b $f /dev/null
Impec !
Merci, je garde ça dans un coin.
Voici les messages que ça donne avec les différents types de corruption
que j'ai générés artificiellement en bidouillant un jpg:
[jpgicc fatal error]: Corrupt JPEG data: bad Huffman code
[jpgicc fatal error]: Premature end of JPEG file
[jpgicc fatal error]: Corrupt JPEG data: premature end of data segment
[jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space
Impec ! Merci, je garde ça dans un coin. Voici les messages que ça donne avec les différents types de corruption que j'ai générés artificiellement en bidouillant un jpg: [jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space -- F.J.
Olivier B.
On Sun, 25 Oct 2020 18:31:13 +0100, efji wrote:
Il récupère des secteurs corrompus qui empêchent de voir les fichiers par exemple.
parfois tout les secteurs sont intègres, mais la table d'allocation est en vrac https://www.tomshardware.fr/reportage-la-recuperation-des-donnees-des-ssd-et-cles-usb
Si j'ai bien compris la requête d'Ascadix ce n'est pas du tout ça : il a des fichiers que son navigateur voit parfaitement mais qui sont corrompus. A priori SD cart recovery ne va rien trouver à faire dans un cas comme ça si le disque est sain.
on a compris la même chose -- Mail .invalid
On Sun, 25 Oct 2020 18:31:13 +0100, efji <efji@efi.efji> wrote:
Il récupère des secteurs corrompus qui empêchent de voir les
fichiers par exemple.
parfois tout les secteurs sont intègres, mais la table d'allocation
est en vrac
Si j'ai bien
compris la requête d'Ascadix ce n'est pas du tout ça : il a des fichiers
que son navigateur voit parfaitement mais qui sont corrompus. A priori
SD cart recovery ne va rien trouver à faire dans un cas comme ça si le
disque est sain.
Il récupère des secteurs corrompus qui empêchent de voir les fichiers par exemple.
parfois tout les secteurs sont intègres, mais la table d'allocation est en vrac https://www.tomshardware.fr/reportage-la-recuperation-des-donnees-des-ssd-et-cles-usb
Si j'ai bien compris la requête d'Ascadix ce n'est pas du tout ça : il a des fichiers que son navigateur voit parfaitement mais qui sont corrompus. A priori SD cart recovery ne va rien trouver à faire dans un cas comme ça si le disque est sain.
on a compris la même chose -- Mail .invalid
Olivier B.
On Sun, 25 Oct 2020 23:26:30 +0100, efji wrote:
Le 25/10/2020 à 21:29, Paul Aubrin a écrit :
jpgicc -b $f /dev/null
Impec ! Merci, je garde ça dans un coin. Voici les messages que ça donne avec les différents types de corruption que j'ai générés artificiellement en bidouillant un jpg: [jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ? -- Mail .invalid
On Sun, 25 Oct 2020 23:26:30 +0100, efji <efji@efi.efji> wrote:
Le 25/10/2020 à 21:29, Paul Aubrin a écrit :
jpgicc -b $f /dev/null
Impec !
Merci, je garde ça dans un coin.
Voici les messages que ça donne avec les différents types de corruption
que j'ai générés artificiellement en bidouillant un jpg:
[jpgicc fatal error]: Corrupt JPEG data: bad Huffman code
[jpgicc fatal error]: Premature end of JPEG file
[jpgicc fatal error]: Corrupt JPEG data: premature end of data segment
[jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ?
Impec ! Merci, je garde ça dans un coin. Voici les messages que ça donne avec les différents types de corruption que j'ai générés artificiellement en bidouillant un jpg: [jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ? -- Mail .invalid
efji
Le 25/10/2020 à 23:37, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:26:30 +0100, efji wrote:
Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ?
Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la Nik collection). Quand je les ouvre avec gimp j'ai aussi "Erreur d’exécution pour la procédure « gimp-image-set-color-profile » : La validation du fichier ICC a échoué : le profil de couleur n’est pas pour l’espace de couleurs niveaux de gris" -- F.J.
Le 25/10/2020 à 23:37, Olivier B. a écrit :
On Sun, 25 Oct 2020 23:26:30 +0100, efji <efji@efi.efji> wrote:
Par ailleurs, sur un fichier noir et blanc il renvoie ça :
[jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ?
Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la
Nik collection).
Quand je les ouvre avec gimp j'ai aussi
"Erreur d’exécution pour la procédure « gimp-image-set-color-profile » :
La validation du fichier ICC a échoué : le profil de couleur n’est pas
pour l’espace de couleurs niveaux de gris"
Par ailleurs, sur un fichier noir et blanc il renvoie ça : [jpgicc fatal error]: Input profile is not operating in proper color space
tu l'as trafiqué ou simplement enregistré avec un soft ?
Un noir et blanc qui sort de Silver Efex Pro 2 (qui fait partie de la Nik collection). Quand je les ouvre avec gimp j'ai aussi "Erreur d’exécution pour la procédure « gimp-image-set-color-profile » : La validation du fichier ICC a échoué : le profil de couleur n’est pas pour l’espace de couleurs niveaux de gris" -- F.J.
Stephane Legras-Decussy
Le 25/10/2020 à 23:37, Olivier B. a écrit :
[jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
tu parlais d'exceptions, de plantage... aucun rapport avec ça. là ce sont juste quelques tests d'intégrités basiques qu'on peut faire sur un jpeg. par exemple on peut s'amuser à mettre les DPI à zéro, ça peut faire boom dans un ouvreur de jpg un peu con: prendre un jpg, chercher la première chaine ascii JFIF, ensuite ignorer les 4 octets suivants et mettre 00 et 00 dans les 2 suivants.
Le 25/10/2020 à 23:37, Olivier B. a écrit :
[jpgicc fatal error]: Corrupt JPEG data: bad Huffman code
[jpgicc fatal error]: Premature end of JPEG file
[jpgicc fatal error]: Corrupt JPEG data: premature end of data segment
[jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
tu parlais d'exceptions, de plantage... aucun rapport avec ça.
là ce sont juste quelques tests d'intégrités basiques qu'on peut faire
sur un jpeg.
par exemple on peut s'amuser à mettre les DPI à zéro, ça peut faire boom
dans un ouvreur de jpg un peu con:
prendre un jpg, chercher la première chaine ascii JFIF, ensuite ignorer
les 4 octets suivants et mettre 00 et 00 dans les 2 suivants.
[jpgicc fatal error]: Corrupt JPEG data: bad Huffman code [jpgicc fatal error]: Premature end of JPEG file [jpgicc fatal error]: Corrupt JPEG data: premature end of data segment [jpgicc fatal error]: Not a JPEG file: starts with 0xd8 0xff
gentil codeur qui a renvoyé des exeptions bien documentées :-)
tu parlais d'exceptions, de plantage... aucun rapport avec ça. là ce sont juste quelques tests d'intégrités basiques qu'on peut faire sur un jpeg. par exemple on peut s'amuser à mettre les DPI à zéro, ça peut faire boom dans un ouvreur de jpg un peu con: prendre un jpg, chercher la première chaine ascii JFIF, ensuite ignorer les 4 octets suivants et mettre 00 et 00 dans les 2 suivants.
René
Le dimanche 25 octobre 2020 à 02:41:58 UTC-4, Jacques DASSIÉ a écrit :
René a écrit :
Le samedi 24 octobre 2020 à 17:13:23 UTC-4, Ascadix a écrit :
Salut à tous, Je cherche un soft/moyen pour examiner une banque de photos et identifier les JPG corrompus. qq dizaines de 1000 de photos, 800 Go. La première "sugestion" de Google c'est "bad peggy", mais ce soft ne marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient 2 vrai KO.. Qq'un à une idée ? Merci
C'est quoi un JPG corrompu? Un fichier corrompu? Un JPG trop compress é? Une image où les pixels s'affichent au mauvais endroit? Une image ou il manque quelques lignes de pixels? René
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas correctement avec un ou plusieurs logiciels de traitement graphique. Pour les manipulations de fichiers et corrections légères, j'ut ilise "Fastone Viewer". Il affiche les planches de vignettes et si une image est corrompue, son cadre reste noir, barré d'un X rouge, en conserva nt sa légende. Il se repère au premier coup d'oeil. Des fichiers non-graphiques peuvent apparaître dans la planche, mais le cadre contient alors une icone représentative. D'autres n'apparaisse nt tout simplement pas.
J'avais oublié! Mais oui, jadis les erreurs d'enregistrement sur les d isquettes. René
Le dimanche 25 octobre 2020 à 02:41:58 UTC-4, Jacques DASSIÉ a écrit :
René a écrit :
> Le samedi 24 octobre 2020 à 17:13:23 UTC-4, Ascadix a écrit :
>> Salut à tous,
>>
>> Je cherche un soft/moyen pour examiner une banque de photos et
>> identifier les JPG corrompus.
>>
>> qq dizaines de 1000 de photos, 800 Go.
>>
>>
>> La première "sugestion" de Google c'est "bad peggy", mais ce soft ne
>> marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient
>> 2 vrai KO..
>>
>>
>> Qq'un à une idée ?
>>
>> Merci
>>
> C'est quoi un JPG corrompu? Un fichier corrompu? Un JPG trop compress é?
> Une image où les pixels s'affichent au mauvais endroit?
> Une image ou il manque quelques lignes de pixels?
>
> René
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas
correctement avec un ou plusieurs logiciels de traitement graphique.
Pour les manipulations de fichiers et corrections légères, j'ut ilise
"Fastone Viewer". Il affiche les planches de vignettes et si une image
est corrompue, son cadre reste noir, barré d'un X rouge, en conserva nt
sa légende. Il se repère au premier coup d'oeil.
Des fichiers non-graphiques peuvent apparaître dans la planche, mais le
cadre contient alors une icone représentative. D'autres n'apparaisse nt
tout simplement pas.
J'avais oublié! Mais oui, jadis les erreurs d'enregistrement sur les d isquettes.
Le dimanche 25 octobre 2020 à 02:41:58 UTC-4, Jacques DASSIÉ a écrit :
René a écrit :
Le samedi 24 octobre 2020 à 17:13:23 UTC-4, Ascadix a écrit :
Salut à tous, Je cherche un soft/moyen pour examiner une banque de photos et identifier les JPG corrompus. qq dizaines de 1000 de photos, 800 Go. La première "sugestion" de Google c'est "bad peggy", mais ce soft ne marche pas, 1/3 de faux postif sur un scan de 200 JPG ou se trouvaient 2 vrai KO.. Qq'un à une idée ? Merci
C'est quoi un JPG corrompu? Un fichier corrompu? Un JPG trop compress é? Une image où les pixels s'affichent au mauvais endroit? Une image ou il manque quelques lignes de pixels? René
Un fichier JPG corrompu est, pour moi, un fichier qui ne s'ouvre pas correctement avec un ou plusieurs logiciels de traitement graphique. Pour les manipulations de fichiers et corrections légères, j'ut ilise "Fastone Viewer". Il affiche les planches de vignettes et si une image est corrompue, son cadre reste noir, barré d'un X rouge, en conserva nt sa légende. Il se repère au premier coup d'oeil. Des fichiers non-graphiques peuvent apparaître dans la planche, mais le cadre contient alors une icone représentative. D'autres n'apparaisse nt tout simplement pas.
J'avais oublié! Mais oui, jadis les erreurs d'enregistrement sur les d isquettes. René
