Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

Compression délirante (zip de mes deux)

10 réponses
Avatar
benoit
Bonjour,


Je me trouve devant un cas bizarre que je ne comprends pas :

- J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
compresse et je me retrouve avec un fichier de 59 Mo !

C'est quoi ce soukh ?

--
"La théorie, c'est quand on sait tout et que rien ne fonctionne. La
pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique : Rien ne fonctionne... et
personne ne sait pourquoi !" [ Albert Einstein ]

10 réponses

Avatar
josephb
Benoit a écrit,

- J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
compresse et je me retrouve avec un fichier de 59 Mo !



Sans garantie aucune que ça marche avec El Cap (sans parler des blocages
de sécurité, car appli non signée Apple) car datant de 2009
Essaie de trouver sur le woueb
CleanArchiver 3.0a6
ou un peu plus ancienne, avec moins de possibilités mais qui marche très
bien aussi
CleanArchiver 2.4a3


--
J. B.
Avatar
quark67
Benoit wrote:

Bonjour,


Je me trouve devant un cas bizarre que je ne comprends pas :

- J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
compresse et je me retrouve avec un fichier de 59 Mo !

C'est quoi ce soukh ?



L'information de la taille valant 19 Mo provient d'où ? Si je pose la
question, c'est pour que 80000 fichiers fassent 19 Mo au total, chaque
fichier fait en moyenne autour de 240 octets. Est-ce bien le cas ? Si
oui, notez bien que pour la compression, il y a non seulement le contenu
des fichiers qui est dans le .zip final, mais aussi le nom de chaque
fichier et la structure hierarchique (afin qu'à la décompression, la
structure hierarchique des fichiers et dossiers soit rétablie).

Je pense également que, le cas échéant, les commentaires Spotlight et
les informations de provenance des fichiers (URL d'origine du fichier,
si téléchargé par internet, voir la rubrique « Plus d'infos » de la
fenêtre d'information du fichier dans le Finder) sont également
compressés dans le .zip, mais pas comptés lors du calcul de la taille
des 80000 fichiers. Avec beaucoup de petits fichiers, il ne me semble
pas incongru que le phénomène observé survienne.

Avez-vous essayé de produire une image disque compressée .dmg via
l'utilitaire de disque ? Obtenez-vous également 59 Mo ? (ou en tous cas
plus de 19 Mo ?)
Avatar
pdorange
Benoit wrote:

Je me trouve devant un cas bizarre que je ne comprends pas :

- J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
compresse et je me retrouve avec un fichier de 59 Mo !

C'est quoi ce soukh ?



Outre les pistes de quark, il faut pas oublier que ZIp est une
compression sans destruction (heureusement) et que par définition ce
type de compression n'est pas toujours efficace, ça dépend fortement des
données et meta-données.

Pour confirmer, tu as ici le cas d'une fichier txt de 19 octects qui
compressé fait 141 octects (soit 7 fois plus) :
<http://superuser.com/questions/467697/why-does-a-zip-file-appear-larger-than-the-source-file-especially-when-it-is-tex>

--
Pierre-Alain Dorange Moof <http://clarus.chez-alice.fr/>

Ce message est sous licence Creative Commons "by-nc-sa-2.0"
<http://creativecommons.org/licenses/by-nc-sa/2.0/fr/>
Avatar
benoit
Pierre-Alain Dorange wrote:

Benoit wrote:

> Je me trouve devant un cas bizarre que je ne comprends pas :
>
> - J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
> compresse et je me retrouve avec un fichier de 59 Mo !
>
> C'est quoi ce soukh ?

Outre les pistes de quark, il faut pas oublier que ZIp est une
compression sans destruction (heureusement) et que par définition ce
type de compression n'est pas toujours efficace, ça dépend fortement des
données et meta-données.

Pour confirmer, tu as ici le cas d'une fichier txt de 19 octects qui
compressé fait 141 octects (soit 7 fois plus) :
<http://superuser.com/questions/467697/why-does-a-zip-file-appear-larger-t
han-the-source-file-especially-when-it-is-tex>



Comme je l'ai dit à Quark, je pense que ce sont les jeux d'icones
individuels de tailles différentes et des fichiers du style spotlight
qui rajoutent du poinds.

--
"La théorie, c'est quand on sait tout et que rien ne fonctionne. La
pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique : Rien ne fonctionne... et
personne ne sait pourquoi !" [ Albert Einstein ]
Avatar
benoit
quark67 wrote:

Benoit wrote:

> Bonjour,
>
>
> Je me trouve devant un cas bizarre que je ne comprends pas :
>
> - J'ai un dossier contenant des txt (19 Mo pour 80 000 fichiers), je le
> compresse et je me retrouve avec un fichier de 59 Mo !
>
> C'est quoi ce soukh ?

L'information de la taille valant 19 Mo provient d'où ?



Finder

Si je pose la question, c'est pour que 80000 fichiers fassent 19 Mo au
total, chaque fichier fait en moyenne autour de 240 octets. Est-ce bien le
cas ? Si oui, notez bien que pour la compression, il y a non seulement le
contenu des fichiers qui est dans le .zip final, mais aussi le nom de
chaque fichier et la structure hierarchique (afin qu'à la décompression,
la structure hierarchique des fichiers et dossiers soit rétablie).



La structure est assez simple, des fichiers au niveau 0 et 27 dossiers
(a-z + divers). Ils font entre 25 octets (rares) et 2 Ko (rares). Par
contre je viens de découvrir qu'ils avaient des icones personnalisés et
là ça pèse.

Je pense également que, le cas échéant, les commentaires Spotlight et
les informations de provenance des fichiers (URL d'origine du fichier,
si téléchargé par internet, voir la rubrique « Plus d'infos » de la
fenêtre d'information du fichier dans le Finder) sont également
compressés dans le .zip, mais pas comptés lors du calcul de la taille
des 80000 fichiers. Avec beaucoup de petits fichiers, il ne me semble
pas incongru que le phénomène observé survienne.



Peut-être, ce sont des txt générés à partir de pages html nettoyées par
TextWrangler. Il ne devrait pas y avoir de trucs comme ça. Par contre il
y a des icones monstrueux qui contiennent le document puisque si je les
grossis au maximum je peux presque lire le texte.

Avez-vous essayé de produire une image disque compressée .dmg via
l'utilitaire de disque ? Obtenez-vous également 59 Mo ? (ou en tous cas
plus de 19 Mo ?)



Je vais surtout voir comment supprimer les previews pour ces fichiers.

--
"La théorie, c'est quand on sait tout et que rien ne fonctionne. La
pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique : Rien ne fonctionne... et
personne ne sait pourquoi !" [ Albert Einstein ]
Avatar
josephb
Benoit a écrit,


Je vais surtout voir comment supprimer les previews pour ces fichiers.



CleanArchiver 3.0a6 va te faire ça.
compresse en .gz plutôt qu'en .zip
et au lieu de compresser le dossier contenant les 80000 fichiers,
sélectionne les fichiers et fais glisser la sélection sur l'icône de
CleanArchiver.

Toutefois, 80000 items, ça risque de saturer la pile si c'est programmé
en itération plutôt que par boucle "repeat"

--
J. B.
Avatar
benoit
Joseph-B wrote:

CleanArchiver 3.0a6 va te faire ça.
compresse en .gz plutôt qu'en .zip
et au lieu de compresser le dossier contenant les 80000 fichiers,
sélectionne les fichiers et fais glisser la sélection sur l'icône de
CleanArchiver.



Impeccable, merci

--
"La théorie, c'est quand on sait tout et que rien ne fonctionne. La
pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique : Rien ne fonctionne... et
personne ne sait pourquoi !" [ Albert Einstein ]
Avatar
josephb
Benoit a écrit,

Impeccable,



Juste par curiosité, dans quelles proportions ça t'a fait la
compression, parce que, comme ça a été expliqué par d'autres, la
compression de petits fichiers n'apporte généralement pas de gain, quand
ce n'est pas le contraire ! C'est juste un moyen commode de ne pas
trimballer un énorme dossier…

merci



De nada ;-)

--
J. B.
Avatar
benoit
Joseph-B wrote:

Benoit a écrit,

> Impeccable,

Juste par curiosité, dans quelles proportions ça t'a fait la
compression, parce que, comme ça a été expliqué par d'autres, la
compression de petits fichiers n'apporte généralement pas de gain, quand
ce n'est pas le contraire ! C'est juste un moyen commode de ne pas
trimballer un énorme dossier…



Je suis passé de 19 à 14 Mo.

> merci

De nada ;-)



De idem :)

--
"La théorie, c'est quand on sait tout et que rien ne fonctionne. La
pratique, c'est quand tout fonctionne et que personne ne sait pourquoi.
Ici, nous avons réuni théorie et pratique : Rien ne fonctionne... et
personne ne sait pourquoi !" [ Albert Einstein ]
Avatar
josephb
Benoit a écrit,

Je suis passé de 19 à 14 Mo.



OK, ça a fait mieux que je n'aurais imaginé.

--
J. B.