Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

Garder que les doublons (ou +)

1 réponse
Avatar
Nicolas BERNE
Bonjour à tous,

Un copain m'a refilé un cd contenant plusieurs compils de fichier midi
(en tout, il y a plus de 19000 fichiers !!).
Le pb est qu'il y a pas mal de fichiers se retrouvant en double (voire
+) souvent avec des noms différents.
J'aimerais pouvoir effacer ces doublons et ne garder qu'un seul
exemplaire.
J'ai déjà commencé à récuperer le md5 de tous les fichiers et je les ai
classé avec un "find -type f -exec md5sum {} \; | sort > md5.txt"

Voila le debut de ce fichier :
0001cfafc7ea91bfc4330bdef7d181b4 ./xxx/xxxx1
000f0630982bdb7e7745198d74a163b3 ./xxxx/xxx2
001421d36d02dd3edf88b56587af463f ./xxxxxxx3
0016ddb29c16d94c366d72b442ee1c78 ./x/xxx/xxx4
0016ddb29c16d94c366d72b442ee1c78 ./xx/xx/xxx5
0016ddb29c16d94c366d72b442ee1c78 ./xxxx/xxx6
00229370562be516f2aecf7fe5e17449 ./xxxxxx/x7
00229370562be516f2aecf7fe5e17449 ./xx/xxxxx8
00231b48dca7453cf47b07f034e3172e ./xxxxx/xx9

J'aimerais effacer uniquement les lignes dont les md5 n'est pas en
plusieurs exemplaires.
Ainsi, il faudrait effacer les lignes 1, 2, 3 et 9 et donc ne garder
que les lignes 4, 5, 6, 7 et 8.
Si quelqu'un a une idée de script...

Merci d'avance.

--
> J'aimerais avoir l'avis d'utilisateurs du Club Mandrake.
The first rule of MandrakeClub is you do not speak about MandrakeClub.
7The second rule of MandrakeClub is you do *not* speak about MandrakeClub...

1 réponse

Avatar
Nicolas BERNE
Thus Spoke Nicolas BERNE :
<SNIP>
J'aimerais effacer uniquement les lignes dont les md5 n'est pas en
plusieurs exemplaires.
Ainsi, il faudrait effacer les lignes 1, 2, 3 et 9 et donc ne garder
que les lignes 4, 5, 6, 7 et 8.
J'ai trouvé.

Il suffisait d'utiliser uniq avec l'option -D et -w 32.

A+

--
J'aimerais avoir l'avis d'utilisateurs du Club Mandrake.
The first rule of MandrakeClub is you do not speak about MandrakeClub.

The second rule of MandrakeClub is you do *not* speak about MandrakeClub...