probleme de perfs avec XFS suite

Le
Eric Belhomme
Bonjour,

Il y a quelques temps, j'ai eu des problèmes avec une carte RAID 3ware
9650 et un volume RAID6 de 12 disques (en stripes de 256K)
Le volume est formatté en XFS et a été créé avec ces parametres :

meta-data=/dev/mapper/vg_dove-bagpuss_tmp isize%6 agcount=5,
agsize 1326576 blks
= sectszQ2 attr=2
data = bsize@96 blocks“6378368, imaxpct=5
= sunit swidth2 blks
naming =version 2 bsize@96 ascii-ci=0
log =internal bsize@96 blocks2768, version=2
= sectszQ2 sunit blks, lazy-count=1
realtime =none extsz@96 blocks=0, rtextents=

Le serveur est un système Debian amd64 en squeeze.

Durant mes problèmes hardware avec la carte 3ware, le système a freezé à
plusieurs reprises, et il m'a donc été nécessaire de lancer des
xfs_repair à plusieurs reprises
Depuis, le problème a solutionné par le remplacement de la carte 3ware
par une neuve, et je n'ai plus de crashs du contrôlleur RAID.

Voila pour le contexte Cela dit, l'affaire n'est pas résolue pour
autant !

En effet, depuis ces problèmes, le système se met inxepliquablement à
ramer fort, et le système de fichier met un temps fou à répondre !
La charge système augmente, les CPU passent leur temps en kernel-land,
bref, le serveur est quasi inutilisable !

- la carte RAID ne remonte aucune alarme, ni anomalie, il n'y a pas de
verify en cours, ou de rebuild, bref, que dalle coté RAID (du moins rien
qui ne puisse se voir avec tw_cli)
- le noyau ne remonte pas de logs non plus (rien dans le dmesg, rien vu
dans /var/log/*)

Je suis pas très à l'aise pour débogger ce genre de troubles sous Linux,
donc tout conseil/méthodologie sera la bienvenue, merci :)

--
Rico
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses Page 1 / 2
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Emmanuel Florac
Le #23621041
Le Thu, 21 Jul 2011 00:57:39 +0000, Eric Belhomme a écrit:


Je suis pas très à l'aise pour débogger ce genre de troubles sous Linux,
donc tout conseil/méthodologie sera la bienvenue, merci



Je commencerais par utiliser "iostat -mx 2" pour visualiser l'activité
disque au niveau système. Ensuite, il faut voir ce que ça raconte :)

Comme le contrôleur RAID a été changé : est-ce que le firmware est en
même version? Si le firmware a pu changer, normalement sur les 3Ware
forcer un verify devrait rectifier le problème.

Vérifier aussi le cache : s'il est passé de write-back en write-thru, il
est normal que les perfs s'écroulent.

--
It always takes longer than you expect, even when you take into account
Hofstadter's Law.
Hofstadter's Law
Eric Belhomme
Le #23623221
Le Mon, 01 Aug 2011 10:07:47 +0000, Emmanuel Florac a écrit :

Je commencerais par utiliser "iostat -mx 2" pour visualiser l'activité
disque au niveau système. Ensuite, il faut voir ce que ça raconte :)



Je ferai ça au prochain coup de calgon du serveur...

Comme le contrôleur RAID a été changé : est-ce que le firmware est en
même version? Si le firmware a pu changer, normalement sur les 3Ware
forcer un verify devrait rectifier le problème.




J'avais upgradé le firmware sur l'ancienne carte avant de la remplacer,
donc c'est bien le même, cela dit je pense pas qu'il y ai eu un verify
depuis. J'en lancerai un ce WE.

/c0 Firmware Version = FE9X 4.10.00.021
/c0 Bios Version = BE9X 4.08.00.003
/c0 Boot Loader Version = BL9X 3.08.00.001


Vérifier aussi le cache : s'il est passé de write-back en write-thru, il
est normal que les perfs s'écroulent.



Bah j'ai qu'un seul mode pour le write cache : on ou off !!! T'as vu ça
où qu'on pouvait faire du write-back ou write-thru ?

//dove> /c0/u0 show all
/c0/u0 status = OK
/c0/u0 is not rebuilding, its current state is OK
/c0/u0 is not verifying, its current state is OK
/c0/u0 is initialized.
/c0/u0 Write Cache = on
/c0/u0 Read Cache = Intelligent
/c0/u0 volume(s) = 1
/c0/u0 name = 3WARE
/c0/u0 serial number = MS2PRUGY000087004A99
/c0/u0 Ignore ECC policy = off
/c0/u0 Auto Verify Policy = off
/c0/u0 Storsave Policy = balance
/c0/u0 Command Queuing Policy = on
/c0/u0 Rapid RAID Recovery setting = all
/c0/u0 Parity Number = 2

Unit UnitType Status %RCmpl %V/I/M Port Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-6 OK - - - 256K 9313.12

--
Rico
Révolution française, Un Corse la finira.
-+- Alphonse Allais, Anagrammes -+-
Eric Belhomme
Le #23623381
Le Mon, 01 Aug 2011 10:07:47 +0000, Emmanuel Florac a écrit :

Je commencerais par utiliser "iostat -mx 2" pour visualiser l'activité
disque au niveau système. Ensuite, il faut voir ce que ça raconte



Voila des chiffres. Je trouve le iowait beaucoup trop élevés en regard de l'activité sur le device



dove:~# iostat -mx -p sda 2 30
Linux 2.6.39.2 (dove) 08/02/2011 _x86_64_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle
0.01 0.00 0.93 0.40 0.00 98.66

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.05 1.96 10.03 22.56 0.18 0.57 47.06 0.81 24.82 1.87 6.09
sda1 0.00 0.81 0.04 0.56 0.00 0.01 20.40 0.00 4.12 2.20 0.13
sda2 0.00 0.00 0.00 0.00 0.00 0.00 10.55 0.00 0.95 0.95 0.00
sda3 0.04 1.15 10.00 22.00 0.18 0.56 47.55 0.81 25.20 1.89 6.03

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.80 8.80 0.00 84.39

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 3.00 14.00 32.00 0.09 0.51 26.52 3.95 180.33 21.41 98.50
sda1 0.00 3.00 0.00 8.00 0.00 0.04 11.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 14.00 24.00 0.09 0.46 29.79 3.95 218.29 25.92 98.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 3.99 3.37 0.00 92.64

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 29.00 9.00 0.21 0.19 21.49 2.19 57.24 26.05 99.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 29.00 9.00 0.21 0.19 21.49 2.19 57.24 26.05 99.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 8.25 1.49 0.00 90.26

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 46.00 16.50 0.34 0.74 35.35 1.05 15.52 12.32 77.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 46.00 16.50 0.34 0.74 35.35 1.05 15.52 12.32 77.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 8.73 1.11 0.00 90.16

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 9.00 73.50 16.50 0.54 0.30 19.02 0.86 10.78 3.94 35.50
sda1 0.00 8.00 0.00 3.00 0.00 0.04 29.33 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 1.00 73.50 13.50 0.54 0.26 18.67 0.86 11.15 4.08 35.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 13.48 3.82 0.00 82.70

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 91.50 32.50 0.66 1.60 37.29 0.74 5.97 3.15 39.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 91.50 32.50 0.66 1.60 37.29 0.74 5.97 3.15 39.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 4.19 0.11 0.00 95.70

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 100.00 17.50 0.60 1.11 29.79 0.65 5.45 4.68 55.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 100.00 17.50 0.60 1.11 29.79 0.65 5.45 4.68 55.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 11.81 0.36 0.00 87.83

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 7.00 104.00 62.50 0.62 3.35 48.91 0.52 3.12 2.85 47.50
sda1 0.00 7.00 0.00 3.50 0.00 0.04 24.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 104.00 59.00 0.62 3.31 49.45 0.52 3.19 2.91 47.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 4.81 0.11 0.00 95.08

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 1.00 121.50 64.50 0.85 2.57 37.61 0.43 2.34 2.18 40.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 1.00 121.50 64.50 0.85 2.57 37.61 0.43 2.34 2.18 40.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 14.28 0.92 0.00 84.80

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 48.00 78.00 0.29 1.65 31.54 0.27 2.14 1.79 22.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 48.00 78.00 0.29 1.65 31.54 0.27 2.14 1.79 22.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.05 0.00 7.29 0.00 0.00 92.66

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 7.50 65.00 105.00 0.42 1.20 19.41 0.25 1.47 1.21 20.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 7.50 65.00 105.00 0.42 1.20 19.41 0.25 1.47 1.21 20.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 7.78 0.08 0.00 92.15

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 11.00 66.00 149.50 0.39 2.04 23.11 0.82 3.81 1.53 33.00
sda1 0.00 10.00 0.00 2.50 0.00 0.05 40.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 1.00 66.00 147.00 0.39 1.99 22.92 0.82 3.85 1.55 33.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 7.11 0.16 0.00 92.73

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 4.50 54.50 233.50 0.36 2.67 21.56 2.10 7.31 1.55 44.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 4.50 54.50 233.50 0.36 2.67 21.56 2.10 7.31 1.55 44.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.46 13.36 0.00 80.18

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 668.00 22.00 1526.50 0.13 15.27 20.36 106.78 20.52 0.44 68.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 668.00 22.00 1526.50 0.13 15.27 20.36 106.78 20.52 0.44 68.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 0.64 25.83 0.00 73.53

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 101.50 0.00 452.50 0.00 3.84 17.40 188.95 400.76 2.21 100.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 101.50 0.00 452.50 0.00 3.84 17.40 188.95 400.76 2.21 100.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 3.73 9.88 0.00 86.39

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 37.50 2.50 469.50 0.01 2.76 12.03 97.95 378.90 2.12 100.00
sda1 0.00 8.00 0.00 2.50 0.00 0.04 33.60 0.48 192.00 80.00 20.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 29.50 2.50 467.00 0.01 2.72 11.92 97.47 379.89 2.13 100.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.58 8.31 0.00 85.11

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.50 13.00 14.50 0.07 0.40 35.35 3.25 170.00 36.36 100.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.50 13.00 14.50 0.07 0.40 35.35 3.25 170.00 36.36 100.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 10.83 2.64 0.00 86.54

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 0.00 18.50 14.50 0.11 0.63 45.94 1.19 44.09 21.21 70.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 18.50 14.50 0.11 0.63 45.94 1.19 44.09 21.21 70.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.27 2.39 0.00 91.34

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 8.00 15.50 12.50 0.08 0.13 15.32 1.80 65.89 33.04 92.50
sda1 0.00 8.00 0.00 2.50 0.00 0.04 33.60 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 0.00 15.50 10.00 0.08 0.09 13.53 1.80 72.35 36.27 92.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 10.28 0.35 0.00 89.37

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 97.50 88.00 786.00 0.59 6.87 17.48 4.79 5.47 0.26 23.00
sda1 0.00 1.50 0.00 5.00 0.00 0.03 10.40 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 96.00 88.00 781.00 0.59 6.84 17.52 4.79 5.51 0.26 23.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 7.15 1.28 0.00 91.57

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 44.00 35.50 387.50 0.23 3.58 18.44 7.62 11.28 1.62 68.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 44.00 35.50 387.50 0.23 3.58 18.44 7.62 11.28 1.62 68.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 3.68 2.24 0.00 94.09

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 18.50 14.50 208.50 0.08 1.83 17.58 21.13 81.30 3.81 85.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 18.50 14.50 208.50 0.08 1.83 17.58 21.13 81.30 3.81 85.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 5.60 2.66 0.00 91.74

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 32.50 17.50 270.50 0.08 2.18 16.08 13.88 68.23 3.19 92.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 32.50 17.50 270.50 0.08 2.18 16.08 13.88 68.23 3.19 92.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 5.29 5.01 0.00 89.71

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 31.50 51.00 287.00 0.24 2.62 17.29 8.49 19.69 2.50 84.50
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 31.50 51.00 287.00 0.24 2.62 17.29 8.49 19.69 2.50 84.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 11.04 0.56 0.00 88.40

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 31.00 27.00 184.50 0.13 3.30 33.21 3.13 19.13 1.68 35.50
sda1 0.00 7.50 0.00 3.00 0.00 0.04 28.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 23.50 27.00 182.00 0.13 3.26 33.23 3.13 19.40 1.70 35.50

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.16 1.09 0.00 92.75

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 35.00 14.50 411.00 0.08 3.11 15.35 9.70 24.81 2.14 91.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 35.00 14.50 410.50 0.08 3.11 15.35 9.70 24.81 2.14 91.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 1.64 0.43 0.00 97.93

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 20.00 16.00 370.50 0.10 2.98 16.30 7.66 19.43 2.25 87.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 20.00 16.00 370.50 0.10 2.98 16.30 7.66 19.43 2.25 87.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 3.66 0.64 0.00 95.69

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 30.50 9.50 276.00 0.05 2.25 16.51 6.36 23.33 3.01 86.00
sda1 0.00 8.00 0.00 2.50 0.00 0.04 33.60 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 22.50 9.50 273.50 0.05 2.21 16.36 6.36 23.53 3.04 86.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 5.99 0.56 0.00 93.45

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 51.50 29.00 620.50 0.16 5.10 16.58 3.30 4.89 1.08 70.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 51.50 29.00 620.50 0.16 5.10 16.58 3.30 4.89 1.08 70.00

avg-cpu: %user %nice %system %iowait %steal %idle
0.00 0.00 6.48 1.56 0.00 91.96

Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await svctm %util
sda 0.00 21.50 14.00 228.50 0.09 1.90 16.80 7.66 31.34 3.71 90.00
sda1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda2 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sda3 0.00 21.50 14.00 228.50 0.09 1.90 16.80 7.66 31.34 3.71 90.00

--
Rico
Emmanuel Florac
Le #23634791
Le Tue, 02 Aug 2011 07:38:03 +0000, Eric Belhomme a écrit:

Bah j'ai qu'un seul mode pour le write cache : on ou off !!! T'as vu ça
où qu'on pouvait faire du write-back ou write-thru ?



Ben off, c'est write-thru, et on c'est write-back.

--
My assertion that we can do better with computer languages is a
persistent belief and fond hope, but you'll note I don't actually claim
to be either rational or right. Except when it's convenient.
Larry Wall
Emmanuel Florac
Le #23634781
Le Tue, 02 Aug 2011 08:35:51 +0000, Eric Belhomme a écrit:

sda3 0.00 101.50 0.00 452.50 0.00 3.84
17.40 188.95 400.76 2.21 100.00




Déjà on voit que le device est couramment marqué à 100% d'utilisation,
c'est mauvais signe. Il n'y a que des écritures ou presque, Les écritures
sont toutes petites ( 450 écritures donnent moins de 4 Mo/s...), les
merges sont peu nombreux... bref c'est du 100% small IO random write, le
pire scénario possible pour faire du RAID-6, surtout avec un stripe size
beaucoup plus gros que l'IO type. En fait ce qui serait surprenant ce
serait d'obtenir une perf correcte :)

Une dernière possibilité, peut-être que le système de fichier est
atrocement fragmenté? Que donne un

xfs_db -r -c "frag" /dev/XXX


--
It is better to remain silent and be thought a fool than to open one's
mouth and remove all doubt.
Abraham Lincoln.
Eric Belhomme
Le #23637691
Le Sat, 06 Aug 2011 21:25:43 +0000, Emmanuel Florac a écrit :

Le Tue, 02 Aug 2011 08:35:51 +0000, Eric Belhomme a écrit:

sda3 0.00 101.50 0.00 452.50 0.00 3.84 17.40
188.95 400.76 2.21 100.00




Déjà on voit que le device est couramment marqué à 100% d'utilisation,
c'est mauvais signe. Il n'y a que des écritures ou presque, Les
écritures sont toutes petites ( 450 écritures donnent moins de 4
Mo/s...), les merges sont peu nombreux... bref c'est du 100% small IO
random write, le pire scénario possible pour faire du RAID-6, surtout
avec un stripe size beaucoup plus gros que l'IO type. En fait ce qui
serait surprenant ce serait d'obtenir une perf correcte :)



En conclusion, il faudrait des stripes plus petites, et autre chose que
du RAID6 ?
Selon toi quel serait le niveau de RAID le plus adapté à cette
utilisation, sachant que la carte gère 12 disques SATA ?

Une dernière possibilité, peut-être que le système de fichier est
atrocement fragmenté? Que donne un

xfs_db -r -c "frag" /dev/XXX



sudo xfs_db -r -c "frag" /dev/mapper/vg_dove-bagpuss
actual 39351511, ideal 35621259, fragmentation factor 9.48%

10%, c'est pas anodin, mais c'est pas non plus catastrophique.

--
Rico
Le silence est le plus beau bijou d'une femme, mais elle le porte
rarement.
-+- Proverbe Anglais -+-
Emmanuel Florac
Le #23637861
Le Mon, 08 Aug 2011 07:32:46 +0000, Eric Belhomme a écrit:

Selon toi quel serait le niveau de RAID le plus adapté à cette
utilisation, sachant que la carte gère 12 disques SATA ?




RAID-10, bien sûr. Vu que les IO font dans les 10 K ( sûrement 8 K si
c'est une base de données), un stripe de 16K serait suffisant. Sans
oublier de monter le filesystem avec l'option lazycount=1 pour minimiser
l'activité du journal.

Une dernière possibilité, peut-être que le système de fichier est
atrocement fragmenté? Que donne un

xfs_db -r -c "frag" /dev/XXX



sudo xfs_db -r -c "frag" /dev/mapper/vg_dove-bagpuss actual 39351511,
ideal 35621259, fragmentation factor 9.48%

10%, c'est pas anodin, mais c'est pas non plus catastrophique.



Non, c'est largement tolérable.



--
A thing of beauty is a joy forever.
J. Keats.

Ah! Singe débotté, hisse un jouet fort et vert!
Marcel Bénabou.
Eric Belhomme
Le #23637901
Le Mon, 08 Aug 2011 09:23:52 +0000, Emmanuel Florac a écrit :

RAID-10, bien sûr. Vu que les IO font dans les 10 K ( sûrement 8 K si
c'est une base de données), un stripe de 16K serait suffisant. Sans
oublier de monter le filesystem avec l'option lazycount=1 pour minimiser
l'activité du journal.



en RAID10 j'ai un "rendement" de seulement 50% sur la capacité disque,
alors que je cherche à maximiser les perfs mais aussi la capacité... Si
je passe en RAID10, je vais passer de 9T à 5T :-/

--
Rico
Il n'y a pas de détail ! Chaque infime partie contient Tout...
-+- René Barjavel, Si j'étais Dieu -+-
Emmanuel Florac
Le #23639651
Le Mon, 08 Aug 2011 09:36:40 +0000, Eric Belhomme a écrit:


en RAID10 j'ai un "rendement" de seulement 50% sur la capacité disque,
alors que je cherche à maximiser les perfs mais aussi la capacité... Si
je passe en RAID10, je vais passer de 9T à 5T :-/



Certes, mais le RAID-6 sous-performe en écriture, pas le RAID-10. On ne
peut pas avoir le beurre et l'argent du beurre :) Ou alors, il faut faire
uniquement de longues écritures avec de gros blocs mais ça, ça dépend de
l'application, ou alors il faut accepter une politique de cache en
écriture très aggressive (et dangereuse, bien sûr).

--
a script is what you give the actors, a program is what you give the
audience.
Ada Lovelace according to Larry Wall
Eric Belhomme
Le #23640051
Le Mon, 08 Aug 2011 21:21:07 +0000, Emmanuel Florac a écrit :

Certes, mais le RAID-6 sous-performe en écriture, pas le RAID-10. On ne
peut pas avoir le beurre et l'argent du beurre :) Ou alors, il faut
faire uniquement de longues écritures avec de gros blocs mais ça, ça
dépend de l'application, ou alors il faut accepter une politique de
cache en écriture très aggressive (et dangereuse, bien sûr).



Selon toi qu'est ce que j'ai comme compromis ?
- un RAID 5 ?
- un RAID5 pour le data, couplé à un RAID1 pour le log de XFS ?

Tiens d'ailleurs, dans le cas du log xfs sur un device distinct, c'est
quoi la config optimale pour le log ?

--
Rico
Enfin Malherbe vint, et, le premier en France,
Fit sentir dans les vers une juste cadence.
-+- Nicolas Boileau, Art poétique -+-
Publicité
Poster une réponse
Anonyme