Performance des systèmes de fichiers Linux

11 réponses

Emmanuel Florac

03/02/2007 à 16:15

À toutes fins utiles, j'ai refait quelques benchmarks rapides avec
bonnie++ dont je vous fait part... Je n'ai pas encore testé ext4 (il faut
d'abord que je compile et installe le noyau idoine), mais d'ores et déjà
si ext3 a bel et bien fait des progrès en termes de performances et fait
mieux que jfs, il reste globalement moins performant que xfs en vitesse
pure (en lecture en tout cas c'est très net) et reiserfs en
création/lecture/suppression de petits fichiers.

La configuration utilisée : un Pentium D 3 Ghz avec 1Go de RAM, noyau
2.6.17.13 officiel sans aucun patch, carte SAS LSI Megaraid 8308, 2
disques SAS Hitachi 15000 t/mn et 16 Mo de cache de 73Go en RAID 0. Je
referai des tests avec 8 disques SAS en RAID 0 et en RAID 5, puis avec des
disques SATA 750 Go en RAID 0 et en RAID 5, puis enfin avec des disques
SATA et un contrôleur 3Ware 9560.

Il vous suffit de passer les csv suivants à bon2html ou bon2txt pour
avoir de beaux tableaux. Pour faire rapide, sur la première ligne le
171804 c'est la vitesse d'écriture, 79207 de réécriture, 192136 de
lecture. Contrairement aux rigolos de chez Bull, je n'ai pas fait un seul
test mais 8 par filesystem ce qui est tout de même plus cohérent, et en
runlevel 5 avec samba, nfs, gdm et d'autres trucs qui tournent bref une
config "comme en vrai".

Pour ceux qui s'interrogent sur la pertinence des benchmarks de bonnie++,
j'obtiens plus de 150 Mo/s en lecture et 155 en écriture, en xfs et en
faisant un dd sur l'intégralité du volume, ce qui tend à indiquer que
la variation liée à bonnie est très faible.

xfs,2G,,,171804,38,79207,16,,,192136,13,632.5,0,16,5624,25,+++++,+++,7260,26,5754,26,+++++,+++,4621,20
xfs,2G,,,168295,36,72586,14,,,191587,13,612.1,0,16,5630,26,+++++,+++,6975,27,5559,25,+++++,+++,4700,21
xfs,2G,,,171550,37,77650,16,,,188685,13,628.2,0,16,5586,25,+++++,+++,6929,27,5623,27,+++++,+++,4685,19
xfs,2G,,,172929,37,78156,16,,,194614,13,641.3,0,16,5732,27,+++++,+++,7128,25,5793,25,+++++,+++,4790,20
xfs,2G,,,172809,38,76150,15,,,194246,14,602.4,0,16,5720,27,+++++,+++,7206,26,5665,26,+++++,+++,4660,20
xfs,2G,,,171333,38,82609,17,,,185949,13,628.8,0,16,5730,27,+++++,+++,6998,28,5664,26,+++++,+++,4754,21
xfs,2G,,,167307,36,75461,15,,,193927,13,638.6,0,16,5602,25,+++++,+++,6944,26,5535,25,+++++,+++,4631,19
xfs,2G,,,164206,35,75671,15,,,195314,13,601.0,0,16,5681,27,+++++,+++,7110,27,5843,26,+++++,+++,4787,20
ext3,2G,,,175780,65,78502,20,,,138520,10,732.6,0,16,3327,99,+++++,+++,+++++,+++,3376,99,+++++,+++,11104,99
ext3,2G,,,180397,69,76421,19,,,134456,9,757.8,1,16,3323,99,+++++,+++,+++++,+++,3388,99,+++++,+++,10930,100
ext3,2G,,,183841,72,77033,19,,,142402,11,777.6,1,16,3334,99,+++++,+++,+++++,+++,3383,99,+++++,+++,11075,99
ext3,2G,,,165087,64,79414,19,,,140518,10,728.9,0,16,3341,99,+++++,+++,+++++,+++,3363,98,+++++,+++,10974,100
ext3,2G,,,181898,70,79347,20,,,136685,11,753.4,0,16,3358,99,+++++,+++,+++++,+++,3391,99,+++++,+++,11008,99
ext3,2G,,,181003,70,78393,20,,,145581,11,759.0,0,16,3323,99,+++++,+++,+++++,+++,3396,99,+++++,+++,11060,99
ext3,2G,,,179132,70,77317,19,,,147655,11,725.2,0,16,3326,99,+++++,+++,+++++,+++,3394,99,+++++,+++,11005,100
ext3,2G,,,175476,67,75954,18,,,143746,11,755.5,0,16,3325,99,+++++,+++,+++++,+++,3396,99,+++++,+++,11047,100
reiserfs,2G,,,182391,55,80765,19,,,150876,15,776.8,1,16,28388,100,+++++,+++,22957,100,27838,100,+++++,+++,21935,99
reiserfs,2G,,,204676,62,83936,20,,,156888,16,780.6,1,16,28595,99,+++++,+++,23273,99,27980,100,+++++,+++,21996,100
reiserfs,2G,,,184296,56,78390,18,,,164679,17,790.2,1,16,28344,99,+++++,+++,22512,97,28029,100,+++++,+++,21859,100
reiserfs,2G,,,180604,56,79032,18,,,163555,16,796.6,1,16,28623,100,+++++,+++,23219,99,27836,99,+++++,+++,20710,97
reiserfs,2G,,,175243,54,79752,19,,,173459,17,750.2,1,16,28332,100,+++++,+++,23325,100,27884,100,+++++,+++,21999,100
reiserfs,2G,,,200604,61,84247,20,,,163866,16,711.2,0,16,28516,100,+++++,+++,23162,100,27821,100,+++++,+++,22051,99
reiserfs,2G,,,212044,64,85859,20,,,164226,16,752.4,1,16,28532,100,+++++,+++,23337,99,27921,100,+++++,+++,21911,100
reiserfs,2G,,,199973,62,83380,20,,,156350,16,747.1,0,16,28536,99,+++++,+++,22109,95,27919,100,+++++,+++,21884,100
jfs,2G,,,158517,30,95012,15,,,164141,12,766.0,0,16,12150,28,+++++,+++,1743,4,5596,37,+++++,+++,883,4
jfs,2G,,,161925,31,90273,14,,,166522,12,751.7,0,16,11640,27,+++++,+++,1479,3,5583,38,+++++,+++,1017,4
jfs,2G,,,159193,31,93990,15,,,159290,10,746.5,0,16,11430,28,+++++,+++,1710,3,5510,38,+++++,+++,985,4
jfs,2G,,,155136,29,94445,15,,,158601,11,714.6,0,16,10833,26,+++++,+++,1796,4,5702,37,+++++,+++,1036,4
jfs,2G,,,160210,31,92010,15,,,162588,11,680.1,0,16,11085,28,+++++,+++,1766,4,5665,37,+++++,+++,951,4
jfs,2G,,,155750,30,91468,15,,,164209,12,755.2,0,16,11541,28,+++++,+++,1695,4,5639,38,+++++,+++,941,4
jfs,2G,,,154126,29,89843,14,,,159615,11,723.0,1,16,11413,27,+++++,+++,1529,4,5434,36,+++++,+++,968,4
jfs,2G,,,155725,29,88460,14,,,164148,12,718.2,0,16,11148,27,+++++,+++,1668,4,5552,38,+++++,+++,982,4

--
Sutor ne ultra Crepidam.

10 réponses

1 2

izatis

05/02/2007 à 00:02

Emmanuel Florac wrote:

À toutes fins utiles, j'ai refait quelques benchmarks rapides avec
bonnie++ dont je vous fait part... Je n'ai pas encore testé ext4 (il faut
d'abord que je compile et installe le noyau idoine), mais d'ores et déjà
si ext3 a bel et bien fait des progrès en termes de performances et fait
mieux que jfs, il reste globalement moins performant que xfs en vitesse
pure (en lecture en tout cas c'est très net) et reiserfs en
création/lecture/suppression de petits fichiers.

Salut,
Je cherche un fs, mais ce ne sont pas les criteres de perfomances qui
m'interessent en premier lieu.

C'est pour mettre sur des RAIDs, de moins de 16To. Les RAIDs ne sont
pas sauvegardés par le dpt info, et j'ai besoin de *fiabilité* et de
*disponibilité*

Les données sont volumineuses (fichier de 100 a 500Mo), mais a peu pres
bien rangées, cad pas 10000 fichiers par repertoires.

Je suis actuellement en ext3, et le plus gros inconvenient est la
disponibilité. Si je doit faire un fsck, le RAID est inaccessible
pendant au moins une journée, et je ne peu pas me le permettre. Ca se
termine souvent par un ctrl-C, et c'est pas terrible...

Je cherche donc un fs fiable avec un fsck rapide ( disons moins d'une
heure pour 4To ), avec pourquoi pas la possibilité de faire une
reparation de fs avec le fs monté et en production.

J'avais l'intention de me diriger vers xfs. Est-ce un bon choix ?

--
Izatis

Emmanuel Florac

05/02/2007 à 10:40

Le Mon, 05 Feb 2007 00:02:43 +0100, izatis a écrit :

Je cherche donc un fs fiable avec un fsck rapide ( disons moins d'une
heure pour 4To ), avec pourquoi pas la possibilité de faire une
reparation de fs avec le fs monté et en production.

J'avais l'intention de me diriger vers xfs. Est-ce un bon choix ?

Le fsck de 13 To sur xfs prend moins de 5 minutes, donc a priori oui :)
Par contre fait attention au noyau que tu utilises : dans certaines
versions il y a des bugs graves (2.6.17.x avec x < 9). Installe la
dernière version des xfs progs de préférence ( > 2.8).

Note que xfs est beaucoup moins rapide qu'ext3 sur un point et un seul, la
suppression de fichiers. Penses y si jamais c'est important pour toi.

--
Pluralitas non est ponenda sine necessitate.
Guillaume d'Ockham.

Damien Wyart

05/02/2007 à 10:43

* Emmanuel Florac in fr.comp.os.linux.debats:

À toutes fins utiles, j'ai refait quelques benchmarks rapides avec
bonnie++ dont je vous fait part... Je n'ai pas encore testé ext4 (il
faut d'abord que je compile et installe le noyau idoine), mais d'ores
et déjà si ext3 a bel et bien fait des progrès en termes de
performances et fait mieux que jfs, il reste globalement moins
performant que xfs en vitesse pure (en lecture en tout cas c'est très
net) et reiserfs en création/lecture/suppression de petits fichiers.

Pour xfs, avez-vous testé la différence de performance entre
l'utilisation de l'option nobarrier et les options par défaut ? Il me
semble avoir lu que ça pouvait avoir pas mal d'impact, notamment pour la
suppression de fichiers.

--
DW

Emmanuel Florac

05/02/2007 à 11:04

Le Mon, 05 Feb 2007 10:43:43 +0100, Damien Wyart a écrit :

Pour xfs, avez-vous testé la différence de performance entre
l'utilisation de l'option nobarrier et les options par défaut ? Il me
semble avoir lu que ça pouvait avoir pas mal d'impact, notamment pour la
suppression de fichiers.

Exact. J'ai testé pour l'instant uniquement les différents fs avec les
paramètres par défaut; dans ce cas précis les "barriers" doivent être
activés puisqu'il n'y a pas eu de message du noyau ( qui émet une alerte
lorsqu'on les désactive).

Je vais refaire quelques essais. Pour ext3, j'essaierai avec différents
modes de logging, des idées de configurations à tester pour jfs et
reiser?

--
Ne pas savoir de quoi on parle est un avantage dont il ne faut pas
abuser.
R.Debray

Julien BLACHE

05/02/2007 à 12:25

Emmanuel Florac wrote:

Le fsck de 13 To sur xfs prend moins de 5 minutes, donc a priori oui :)
Par contre fait attention au noyau que tu utilises : dans certaines
versions il y a des bugs graves (2.6.17.x avec x < 9). Installe la
dernière version des xfs progs de préférence ( > 2.8).

J'espère que c'est une machine 64bits avec plein de RAM, parce que le
jour où tu devras faire un xfs_repair là-dessus, tu vas en avoir
besoin :)

JB.

--
I WILL NOT SNAP BRAS
I WILL NOT SNAP BRAS
I WILL NOT SNAP BRAS
-+- Bart Simpson on chalkboard in episode 8F22

Emmanuel Florac

05/02/2007 à 21:55

Le Mon, 05 Feb 2007 12:25:01 +0100, Julien BLACHE a écrit :

J'espère que c'est une machine 64bits avec plein de RAM, parce que le
jour où tu devras faire un xfs_repair là-dessus, tu vas en avoir besoin
:)

Avec un noyau 32 bits et 2 Go de RAM ça marche sans problème. Avec un
noyau 64 bits, c'est mieux, bien sûr.

--
A thing of beauty is a joy forever.
J. Keats.

Ah! Singe débotté, hisse un jouet fort et vert!
Marcel Bénabou.

Emmanuel Florac

05/02/2007 à 21:55

Le Mon, 05 Feb 2007 11:04:18 +0100, Emmanuel Florac a écrit :

Je vais refaire quelques essais. Pour ext3, j'essaierai avec différents
modes de logging, des idées de configurations à tester pour jfs et
reiser?

J'ai ressayé xfs avec "nobarrier", aucune différence sensible.

--
Toutes les organisations ont leur règles, et les Femmes Algériennes
doivent avoir aussi leurs règles.
Aït Ahmed.

Julien BLACHE

05/02/2007 à 23:27

Emmanuel Florac wrote:

J'espère que c'est une machine 64bits avec plein de RAM, parce que le
jour où tu devras faire un xfs_repair là-dessus, tu vas en avoir besoin
:)

Avec un noyau 32 bits et 2 Go de RAM ça marche sans problème. Avec un
noyau 64 bits, c'est mieux, bien sûr.

Les chiffres que j'ai en tête pour le repair, c'est 1 GB RAM par TB de
FS, selon l'occupation et l'état du FS.

Bon courage en 32 bits :)

JB.

--
MY NAME IS NOT DR. DEATH
MY NAME IS NOT DR. DEATH
MY NAME IS NOT DR. DEATH
-+- Bart Simpson on chalkboard in episode 8F18

Emmanuel Florac

06/02/2007 à 23:48

Le Mon, 05 Feb 2007 23:27:25 +0100, Julien BLACHE a écrit :

Les chiffres que j'ai en tête pour le repair, c'est 1 GB RAM par TB de
FS, selon l'occupation et l'état du FS.

Je ne sais pas de quel FS tu parles. J'ai eu la "chance" de crasher un FS
de 13 To plein à 35% en xfs avec un noyau 32 bits et 2 Gig de RAM, et la
réparation s'est faite en quelques minutes et sans aucun souci de
mémoire.
Avec des FS moisis inadaptés à de très grosses capacités, possible
qu'il faille un temps et des quantité de RAM indécents. Mais avec xfs,
non. D'ailleurs maintenant que j'y pense il y a 2 ans j'ai fait un
xfs_repair sur un FS de plusieurs To avec 256 Mo de RAM.

--
De longs désirs, une longue admiration sans espérance, voilà le moyen
d'adorer les femmes, et de rendre l'amour une passion délicieuse!
N. Rétif de la Bretonne.

izatis

12/02/2007 à 03:04

Emmanuel Florac wrote:

Je cherche donc un fs fiable avec un fsck rapide ( disons moins d'une
heure pour 4To ), avec pourquoi pas la possibilité de faire une
reparation de fs avec le fs monté et en production.

J'avais l'intention de me diriger vers xfs. Est-ce un bon choix ?

Le fsck de 13 To sur xfs prend moins de 5 minutes, donc a priori oui :)
Par contre fait attention au noyau que tu utilises : dans certaines
versions il y a des bugs graves (2.6.17.x avec x < 9). Installe la
dernière version des xfs progs de préférence ( > 2.8).

Note que xfs est beaucoup moins rapide qu'ext3 sur un point et un seul, la
suppression de fichiers. Penses y si jamais c'est important pour toi.

Oups, j'ai un autre cas avec pleins de /petits/ fichiers.

Et si c'est pleins de suppressions, pleins de creations, et pleins de
lecture sur pleins de tout petits fichiers ? ( < 64ko )

La suppression des fichiers induit une fragmentation, et a l'ecriture
d'un nouveau fichier, xfs a de grande chance de trouver une place libre
pour reduire la fragmentation.... et faire bouger la tete de lecture,
donc creer /trop/ d'iowait...

Or le 'Delaying Allocation' permet a priori de bufferiser en memoire
pour ecrire dans des blocs continu. Mais qelle taille de cache faut-il ?
J'ai presque 4Go d'utilisé en cache. C'est un linux 32bits, mais ca doit
etre possible de le passer en 64bits (je n'y ai pas encore acces :( )
Est-ce que je peux utiliser un cache plus gros que la ram (ie dans le
swap en supposant celui-ci moins fragmenté que le disque, voir un swap
sur un autre disque)

Ou est-ce qu'on peut modifier ce 'Delayed Allocation' ? On peut regler
sa taille manuellement pour qu'il aille sur du swap ?

Mais bon, je decouvre xfs, alors si c'est un troll connu, indiques-moi
le thread ;)

--
Izatis

1 2

Performance des systèmes de fichiers Linux

10 réponses

Veuillez sélectionner un problème