Creation et suppression de petits fichiers. Quel filesystem?
15 réponses
Kevin Denis
Bonjour,
j'ai une application qui doit creer et supprimer un tres grand
nombre de petits fichiers (et quelques uns de toutes tailles, de
petit a tres gros). Fichiers ranges a plat (pas de sous repertoires).
Je m'interroge sur le filesystem le plus adapte a cet exercice.
1er cas: peu importe. Je fais confiance au cache de linux, la majorite
des fichiers sont crees en RAM, et le cache ne les ecrit pas sur le
disque car ils sont supprimes rapidement. Y'a t'il une option de
montage particuliere? noatime? async?
2e cas: ext3 car les ecritures/suppressions se feront dans le
journal, ce qui est tres rapide. Ou plutot ext2 car justement,
on peut esperer que les traitements ecriture/suppression n'auront
lieu que dans la RAM. Lequel est le meilleur?
3e cas: un autre filesystem? Lequel? reiserfs? xfs? pourquoi?
4e cas: vaut il mieux utiliser une partition, un fichier, ou
un tmpfs?
Merci
--
Kevin
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir de problème.
L'application est HAVP (www.server-side.de). C'est un proxy antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont plus une source d'ennuis qu'autre chose. En plus, il laisse passer HTTPS.
Par contre, quel est le fs le plus fragile car plus complexe, ext3 ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est indéniablement plus complexe. Par exemple, suite à une corruption après une coupure électrique, je me suis retrouvé avec le système qui rebootait violemment dès que leafnode se lançait -- /var/spool/news était en reiserfs. Après un reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
Pour l'instant je teste dans un fichier loop, donc je peux formatter tant et plus. Mais mes tests en reduit ne me montre pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application. Tu te fais des noeuds au cerveau pour rien :)
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
On Wed Oct 19 2005 at 13:34, Kevin Denis wrote:
a terme, ils disparaissent tous.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir
de problème.
L'application est HAVP (www.server-side.de). C'est un proxy
antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont
plus une source d'ennuis qu'autre chose. En plus, il laisse passer
HTTPS.
Par contre, quel est le fs le plus fragile car plus complexe, ext3
ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est
indéniablement plus complexe.
Par exemple, suite à une corruption après une coupure électrique, je
me suis retrouvé avec le système qui rebootait violemment dès que
leafnode se lançait -- /var/spool/news était en reiserfs. Après un
reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la
tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait
apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
Pour l'instant je teste dans un fichier loop, donc je peux
formatter tant et plus. Mais mes tests en reduit ne me montre
pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application.
Tu te fais des noeuds au cerveau pour rien :)
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir de problème.
L'application est HAVP (www.server-side.de). C'est un proxy antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont plus une source d'ennuis qu'autre chose. En plus, il laisse passer HTTPS.
Par contre, quel est le fs le plus fragile car plus complexe, ext3 ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est indéniablement plus complexe. Par exemple, suite à une corruption après une coupure électrique, je me suis retrouvé avec le système qui rebootait violemment dès que leafnode se lançait -- /var/spool/news était en reiserfs. Après un reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
Pour l'instant je teste dans un fichier loop, donc je peux formatter tant et plus. Mais mes tests en reduit ne me montre pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application. Tu te fais des noeuds au cerveau pour rien :)
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
octane
> J'ai testé extensivement ext3, reiserfs et xfs dans différents cas de figures. ext3 est TOUJOURS le plus mauvais dans TOUS lES CAS de figure. reiserfs est le mieux quand il y a beaucoup de petits fichiers. XFS est plus reformant quand il y a beaucoup de gros ou très gros (plusieurs dizaines de mégas) fichiers. Je n'ai pas testé JFS. EN tout cas je n'utiliserai en aucun cas ext2/3 quelle que soit l'application....
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
> J'ai testé extensivement ext3, reiserfs et xfs dans différents cas de
figures. ext3 est TOUJOURS le plus mauvais dans TOUS lES CAS de figure.
reiserfs est le mieux quand il y a beaucoup de petits fichiers. XFS est
plus reformant quand il y a beaucoup de gros ou très gros (plusieurs
dizaines de mégas) fichiers.
Je n'ai pas testé JFS. EN tout cas je n'utiliserai en aucun cas ext2/3
quelle que soit l'application....
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se
comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
> J'ai testé extensivement ext3, reiserfs et xfs dans différents cas de figures. ext3 est TOUJOURS le plus mauvais dans TOUS lES CAS de figure. reiserfs est le mieux quand il y a beaucoup de petits fichiers. XFS est plus reformant quand il y a beaucoup de gros ou très gros (plusieurs dizaines de mégas) fichiers. Je n'ai pas testé JFS. EN tout cas je n'utiliserai en aucun cas ext2/3 quelle que soit l'application....
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Emmanuel Florac
Le Mon, 24 Oct 2005 13:06:29 +0000, octane a écrit :
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
J'ai fait mes tests en 2003 et 2004 et surtout, je les ai fait avec des machines beaucoup plus puissantes (du P4 2.6Ghz au bi Xeon HT 3Ghz, 1Go de RAM minimum), avec des disques beaaaaauuuucoup plus rapides (8x250 Go SATA en RAID jusqu'à 60x73Go Fibre Channel). Donc on ne peut pas forcément comparer... Je vais refaire de nouveaux tests avec les nouveaux matériels (RAID SATA2 8x500Go, RAID Fibre Channel 2GB x 2 avec 60 disques 146 Go). Je vous dirai si les classements ont évolué :)
-- L'Algérie était au bord du gouffre, aujourd'hui elle a fait un grand pas en avant. Aït Ahmed.
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Le Mon, 24 Oct 2005 13:06:29 +0000, octane a écrit :
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se
comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
J'ai fait mes tests en 2003 et 2004 et surtout, je les ai fait avec des
machines beaucoup plus puissantes (du P4 2.6Ghz au bi Xeon HT 3Ghz, 1Go
de RAM minimum), avec des disques beaaaaauuuucoup plus rapides (8x250 Go
SATA en RAID jusqu'à 60x73Go Fibre Channel). Donc on ne peut pas
forcément comparer...
Je vais refaire de nouveaux tests avec les nouveaux matériels (RAID SATA2
8x500Go, RAID Fibre Channel 2GB x 2 avec 60 disques 146 Go). Je vous
dirai si les classements ont évolué :)
--
L'Algérie était au bord du gouffre, aujourd'hui elle a fait un grand pas
en avant.
Aït Ahmed.
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Ca date de 2002. ext2 a l'air plus rapide qu'ext3 et ext2/3 se comportent honorablement face aux autres filesystems.
Mais depuis 2002, ca a sans doute change (?)
J'ai fait mes tests en 2003 et 2004 et surtout, je les ai fait avec des machines beaucoup plus puissantes (du P4 2.6Ghz au bi Xeon HT 3Ghz, 1Go de RAM minimum), avec des disques beaaaaauuuucoup plus rapides (8x250 Go SATA en RAID jusqu'à 60x73Go Fibre Channel). Donc on ne peut pas forcément comparer... Je vais refaire de nouveaux tests avec les nouveaux matériels (RAID SATA2 8x500Go, RAID Fibre Channel 2GB x 2 avec 60 disques 146 Go). Je vous dirai si les classements ont évolué :)
-- L'Algérie était au bord du gouffre, aujourd'hui elle a fait un grand pas en avant. Aït Ahmed.
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Kevin Denis
Le 24-10-2005, Michel Arboi a écrit :
a terme, ils disparaissent tous.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir de problème.
Ok
L'application est HAVP (www.server-side.de). C'est un proxy antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont plus une source d'ennuis qu'autre chose.
C'est plus a considerer comme une barriere supplementaire, amha. De plus, on peut choisir un autre antivirus que clamav pour la partie analyse (f-prot ou kaspersky).
En plus, il laisse passer HTTPS.
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Par contre, quel est le fs le plus fragile car plus complexe, ext3 ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est indéniablement plus complexe. Par exemple, suite à une corruption après une coupure électrique, je me suis retrouvé avec le système qui rebootait violemment dès que leafnode se lançait -- /var/spool/news était en reiserfs. Après un reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal. Je pense qu'une etape supplementaire ralentit le filesystem. Pas de journal -> un gain (meme pouillometrique).
Pour l'instant je teste dans un fichier loop, donc je peux formatter tant et plus. Mais mes tests en reduit ne me montre pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application. Tu te fais des noeuds au cerveau pour rien :)
J'ai reflechi et je crois effectivement que les performances n'ont pas necessite a etre phenomenale. Meme avec plusieurs utilisateurs derriere, il n'y aura jamais tellement de requetes en parrallele.
Je vais mettre de l'ext2. -- Kevin
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Le 24-10-2005, Michel Arboi <arboi@alussinan.org> a écrit :
a terme, ils disparaissent tous.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir
de problème.
Ok
L'application est HAVP (www.server-side.de). C'est un proxy
antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont
plus une source d'ennuis qu'autre chose.
C'est plus a considerer comme une barriere supplementaire, amha. De
plus, on peut choisir un autre antivirus que clamav pour la partie
analyse (f-prot ou kaspersky).
En plus, il laisse passer HTTPS.
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Par contre, quel est le fs le plus fragile car plus complexe, ext3
ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est
indéniablement plus complexe.
Par exemple, suite à une corruption après une coupure électrique, je
me suis retrouvé avec le système qui rebootait violemment dès que
leafnode se lançait -- /var/spool/news était en reiserfs. Après un
reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la
tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait
apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal.
Je pense qu'une etape supplementaire ralentit le filesystem. Pas de
journal -> un gain (meme pouillometrique).
Pour l'instant je teste dans un fichier loop, donc je peux
formatter tant et plus. Mais mes tests en reduit ne me montre
pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application.
Tu te fais des noeuds au cerveau pour rien :)
J'ai reflechi et je crois effectivement que les performances n'ont pas
necessite a etre phenomenale. Meme avec plusieurs utilisateurs derriere,
il n'y aura jamais tellement de requetes en parrallele.
Je vais mettre de l'ext2.
--
Kevin
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
S'il y en a peu à la fois dans le répertoire, EXT3 ne devrait pas avoir de problème.
Ok
L'application est HAVP (www.server-side.de). C'est un proxy antivirus.
On sort du sujet initial, mais à mon humble avis, les AV sur HTTP sont plus une source d'ennuis qu'autre chose.
C'est plus a considerer comme une barriere supplementaire, amha. De plus, on peut choisir un autre antivirus que clamav pour la partie analyse (f-prot ou kaspersky).
En plus, il laisse passer HTTPS.
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Par contre, quel est le fs le plus fragile car plus complexe, ext3 ou reiserfs?
J'ai eu de mauvaises expériences avec ReiserFS, et il est indéniablement plus complexe. Par exemple, suite à une corruption après une coupure électrique, je me suis retrouvé avec le système qui rebootait violemment dès que leafnode se lançait -- /var/spool/news était en reiserfs. Après un reiserfsck, tout est rentré dans l'ordre, mais je me suis gratté la tête un moment avant de voir d'où ça venait.
Je ne sais pas si un journal séparé sur un autre device pourrait apporter un gain de performances.
ext2 dans ces cas de figure serait plus rapide?
Non, je ne crois pas.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal. Je pense qu'une etape supplementaire ralentit le filesystem. Pas de journal -> un gain (meme pouillometrique).
Pour l'instant je teste dans un fichier loop, donc je peux formatter tant et plus. Mais mes tests en reduit ne me montre pas trop de differences de performances.
Je ne crois pas que ça change grand chose, vu le type d'application. Tu te fais des noeuds au cerveau pour rien :)
J'ai reflechi et je crois effectivement que les performances n'ont pas necessite a etre phenomenale. Meme avec plusieurs utilisateurs derriere, il n'y aura jamais tellement de requetes en parrallele.
Je vais mettre de l'ext2. -- Kevin
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Michel Arboi
On Wed Oct 26 2005 at 11:01, Kevin Denis wrote:
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Casser le SSL au niveau du proxy, et rechiffrer. Certains proxys le font. Mais on perd la vérification du certificat serveur sur le poste client.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal. Je pense qu'une etape supplementaire ralentit le filesystem. Pas de journal -> un gain (meme pouillometrique).
IIRC, le temps perdu dans le journal est re-gagné par une meilleure organisation des écritures.
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
On Wed Oct 26 2005 at 11:01, Kevin Denis wrote:
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Casser le SSL au niveau du proxy, et rechiffrer. Certains proxys le
font. Mais on perd la vérification du certificat serveur sur le poste
client.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal.
Je pense qu'une etape supplementaire ralentit le filesystem. Pas de
journal -> un gain (meme pouillometrique).
IIRC, le temps perdu dans le journal est re-gagné par une meilleure
organisation des écritures.
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Y'a t'il vraiment une solution pour filtrer le HTTPS?
Casser le SSL au niveau du proxy, et rechiffrer. Certains proxys le font. Mais on perd la vérification du certificat serveur sur le poste client.
On gagne une etape, je pense. J'ai toujours lu qu'ext3 est ext2+journal. Je pense qu'une etape supplementaire ralentit le filesystem. Pas de journal -> un gain (meme pouillometrique).
IIRC, le temps perdu dans le journal est re-gagné par une meilleure organisation des écritures.
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
