carte 3ware, blinking de disque, et reconstruction pas tout a fait automatique
12 réponses
Eric Belhomme
Bonjour,
J'ai un comportement etrange sur une carte 3ware 9650SE-16ML
Cette carte comporte 12 disques en raid6. Un de ses disques (sur le port
9) tombe HS. Comme mes tiroirs ne sont pas numérotés, je ne sais pas
quel disque retirer...
Pas grave, me dis-je, tu n'as qu'à le faire "blinker".
Donc un coup de tw_cli :
/c0/p9 set identify=on
Setting Port Identify on /c0/p9 to [on] ... N/A
Et bien evidemment, mon disque ne blinke pas... Bon j'ai pu m'en sortir
en observant l'activité des autres disques... le disque HS etait le seul
qui ne clignotait pas ;) Mais tout de meme, j'aimerais bien savoir
pourquoi la carte refuse de faire blinker mes disques quand je le lui
demande ?
Je précise que les disques (et la carte) sont dans un boitier SuperMicro
et que mes disques sont des Hitachi HDE721010SLA330, et que la carte
RAID a une BBU
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9
pour que mon nouveau disque vienne enfin remplacer le disque trépanné...
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique...
Est-ce une spécificité du RAID6 ? (c'est le 1er incident que j'ai sur un
raid 6 3ware)
Quoi qu'il en soit, Le RAID a été bien reconstruit, la carte a fait son
job (mais il aura fallu que je l'aide un peu) et je continuerai à
chanter les louanges des cartes 3ware (et à en acheter...)
Le Fri, 26 Mar 2010 17:03:20 +0000, Eric Belhomme a écrit:
Donc un coup de tw_cli : /c0/p9 set identify=on Setting Port Identify on /c0/p9 to [on] ... N/A
Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a automatiquement assigné ce disque comme "available" au lieu de l'inclure à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai pas vu de moyen pour le faire) Bref, j'ai du faire un /c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
pour que mon nouveau disque vienne enfin remplacer le disque trépanné... C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque available est utilisable automatiquement comme "hot spare" ou pas. Normalement il faut explicitement déclarer un disque comme "hot spare" pour qu'il soit pris en compte immédiatement.
Donc ça ne me surprend pas particulièrement. Par ailleurs la carte ne commence souvent la reconstruction qu'après qu'on ait effectué une écriture sur le volume dégradé, ou à heure fixe (minuit je crois).
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
-- Si non confectus non reficiat.
Le Fri, 26 Mar 2010 17:03:20 +0000, Eric Belhomme a écrit:
Donc un coup de tw_cli :
/c0/p9 set identify=on
Setting Port Identify on /c0/p9 to [on] ... N/A
Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
pour que mon nouveau disque vienne enfin remplacer le disque trépanné...
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque
available est utilisable automatiquement comme "hot spare" ou pas.
Normalement il faut explicitement déclarer un disque comme "hot spare"
pour qu'il soit pris en compte immédiatement.
Donc ça ne me surprend pas particulièrement. Par ailleurs la carte ne
commence souvent la reconstruction qu'après qu'on ait effectué une
écriture sur le volume dégradé, ou à heure fixe (minuit je crois).
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Le Fri, 26 Mar 2010 17:03:20 +0000, Eric Belhomme a écrit:
Donc un coup de tw_cli : /c0/p9 set identify=on Setting Port Identify on /c0/p9 to [on] ... N/A
Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a automatiquement assigné ce disque comme "available" au lieu de l'inclure à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai pas vu de moyen pour le faire) Bref, j'ai du faire un /c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
pour que mon nouveau disque vienne enfin remplacer le disque trépanné... C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque available est utilisable automatiquement comme "hot spare" ou pas. Normalement il faut explicitement déclarer un disque comme "hot spare" pour qu'il soit pris en compte immédiatement.
Donc ça ne me surprend pas particulièrement. Par ailleurs la carte ne commence souvent la reconstruction qu'après qu'on ait effectué une écriture sur le volume dégradé, ou à heure fixe (minuit je crois).
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
-- Si non confectus non reficiat.
Eric Belhomme
Emmanuel Florac wrote:
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
bah c'est pas parce qu'un disque se met à faire des timeout qu'il st electriquement cuit ? je pensais naivement que la carte raid etait capable de le faire clignoter ?
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a automatiquement assigné ce disque comme "available" au lieu de l'inclure à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai pas vu de moyen pour le faire) Bref, j'ai du faire un /c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5, et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X 3.08.00.016)
pour que mon nouveau disque vienne enfin remplacer le disque trépanné... C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque available est utilisable automatiquement comme "hot spare" ou pas. Normalement il faut explicitement déclarer un disque comme "hot spare" pour qu'il soit pris en compte immédiatement.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que j'ai pas trouvé le bon flag...
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou est-ce qu'on pouvais trouver les mises à jour de firmwares et autres BIOS pour les cartes 3ware...
-- Rico
Emmanuel Florac wrote:
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)
bah c'est pas parce qu'un disque se met à faire des timeout qu'il st
electriquement cuit ? je pensais naivement que la carte raid etait
capable de le faire clignoter ?
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle
j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5,
et à chaque fois le rebuild a démarré tout seul, comme un grand
(fw FE9X 3.08.00.016)
pour que mon nouveau disque vienne enfin remplacer le disque trépanné...
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque
available est utilisable automatiquement comme "hot spare" ou pas.
Normalement il faut explicitement déclarer un disque comme "hot spare"
pour qu'il soit pris en compte immédiatement.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que
j'ai pas trouvé le bon flag...
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou
est-ce qu'on pouvais trouver les mises à jour de firmwares et autres
BIOS pour les cartes 3ware...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
bah c'est pas parce qu'un disque se met à faire des timeout qu'il st electriquement cuit ? je pensais naivement que la carte raid etait capable de le faire clignoter ?
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a automatiquement assigné ce disque comme "available" au lieu de l'inclure à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai pas vu de moyen pour le faire) Bref, j'ai du faire un /c0/u0 start rebuild disk=9
Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5, et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X 3.08.00.016)
pour que mon nouveau disque vienne enfin remplacer le disque trépanné... C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau disque, le reconstruction est automatique...
Il y a un réglage global de la carte qui permet de décider si un disque available est utilisable automatiquement comme "hot spare" ou pas. Normalement il faut explicitement déclarer un disque comme "hot spare" pour qu'il soit pris en compte immédiatement.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que j'ai pas trouvé le bon flag...
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou est-ce qu'on pouvais trouver les mises à jour de firmwares et autres BIOS pour les cartes 3ware...
-- Rico
Emmanuel Florac
Le Fri, 26 Mar 2010 22:52:31 +0000, Eric Belhomme a écrit:
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Oui en fait ça ne fonctionne pas avec les châssis supermicro, seulement avec les AIC (ou autres) en utilisant les câbles "basques" dédiés à cet usage. Ça ne passe pas par le SATA; par ailleurs je crois que seules les carts 16 et 24 ports ont les connecteurs qui vont bien (blancs).
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5, et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X 3.08.00.016)
Oui, c'est lié au réglage par défaut, mais il peut avoir été changé.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que j'ai pas trouvé le bon flag...
Je ne sais plus où c'est avec tw_cli, mais dans le bios de la carte on trouve tout de suite.
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou est-ce qu'on pouvais trouver les mises à jour de firmwares et autres BIOS pour les cartes 3ware...
3ware.com, support-> downloads->released software, comme partout ailleurs... :) Avec le firmware série 4, la vitesse de reconstruction augmente de 30%, le débit en écriture aussi. N'oublie pas le très très important
echo 512 >/sys/block/sdXX/queue/nr_requests blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
-- Measuring programming progress by lines of code is like measuring aircraft building progress by weight. Bill Gates
Le Fri, 26 Mar 2010 22:52:31 +0000, Eric Belhomme a écrit:
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Oui en fait ça ne fonctionne pas avec les châssis supermicro, seulement
avec les AIC (ou autres) en utilisant les câbles "basques" dédiés à cet
usage. Ça ne passe pas par le SATA; par ailleurs je crois que seules les
carts 16 et 24 ports ont les connecteurs qui vont bien (blancs).
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle
j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5,
et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X
3.08.00.016)
Oui, c'est lié au réglage par défaut, mais il peut avoir été changé.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que
j'ai pas trouvé le bon flag...
Je ne sais plus où c'est avec tw_cli, mais dans le bios de la carte on
trouve tout de suite.
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou
est-ce qu'on pouvais trouver les mises à jour de firmwares et autres
BIOS pour les cartes 3ware...
3ware.com, support-> downloads->released software, comme partout
ailleurs... :)
Avec le firmware série 4, la vitesse de reconstruction augmente de 30%,
le débit en écriture aussi. N'oublie pas le très très important
echo 512 >/sys/block/sdXX/queue/nr_requests
blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
--
Measuring programming progress by lines of code is like measuring
aircraft building progress by weight.
Bill Gates
Le Fri, 26 Mar 2010 22:52:31 +0000, Eric Belhomme a écrit:
D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...
Oui en fait ça ne fonctionne pas avec les châssis supermicro, seulement avec les AIC (ou autres) en utilisant les câbles "basques" dédiés à cet usage. Ça ne passe pas par le SATA; par ailleurs je crois que seules les carts 16 et 24 ports ont les connecteurs qui vont bien (blancs).
Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5, et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X 3.08.00.016)
Oui, c'est lié au réglage par défaut, mais il peut avoir été changé.
Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que j'ai pas trouvé le bon flag...
Je ne sais plus où c'est avec tw_cli, mais dans le bios de la carte on trouve tout de suite.
Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.
Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou est-ce qu'on pouvais trouver les mises à jour de firmwares et autres BIOS pour les cartes 3ware...
3ware.com, support-> downloads->released software, comme partout ailleurs... :) Avec le firmware série 4, la vitesse de reconstruction augmente de 30%, le débit en écriture aussi. N'oublie pas le très très important
echo 512 >/sys/block/sdXX/queue/nr_requests blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
-- Measuring programming progress by lines of code is like measuring aircraft building progress by weight. Bill Gates
Yannick Palanque
À 2010-03-26T22:11:23GMT, Emmanuel Florac écrivit :
> Donc un coup de tw_cli : > /c0/p9 set identify=on > Setting Port Identify on /c0/p9 to [on] ... N/A > > Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je connais).
-- « Notre époque sans doute, pour celui qui en lira l'histoire dans deux mille ans, ne semblera pas moins laisser baigner certaines consciences tendres et pures dans un milieu vital qui apparaîtra alors comme monstrueusement pernicieux et dont elles s'accommodaient. » Proust, LTr
À 2010-03-26T22:11:23GMT,
Emmanuel Florac <eflorac@imaginet.fr> écrivit :
> Donc un coup de tw_cli :
> /c0/p9 set identify=on
> Setting Port Identify on /c0/p9 to [on] ... N/A
>
> Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je
connais).
--
« Notre époque sans doute, pour celui qui en lira l'histoire dans deux
mille ans, ne semblera pas moins laisser baigner certaines consciences
tendres et pures dans un milieu vital qui apparaîtra alors comme
monstrueusement pernicieux et dont elles s'accommodaient. » Proust, LTr
À 2010-03-26T22:11:23GMT, Emmanuel Florac écrivit :
> Donc un coup de tw_cli : > /c0/p9 set identify=on > Setting Port Identify on /c0/p9 to [on] ... N/A > > Et bien evidemment, mon disque ne blinke pas...
Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss tss... :)
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je connais).
-- « Notre époque sans doute, pour celui qui en lira l'histoire dans deux mille ans, ne semblera pas moins laisser baigner certaines consciences tendres et pures dans un milieu vital qui apparaîtra alors comme monstrueusement pernicieux et dont elles s'accommodaient. » Proust, LTr
Emmanuel Florac
Le Sat, 27 Mar 2010 12:10:23 +0100, Yannick Palanque a écrit:
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je connais).
Oui, c'est le backplane qui clignote en fait.
-- That ideas should freely spread from one to another over the globe, for the moral and mutual instruction of man, and the improvement of his conditions, seems to have been peculiarly and benevolently designed by nature, when she made them, like fire, expansible over all space, without lessening their density in any point, and like the air in which we breathe, move, and have our physical being, incapable of confinement of exclusive appropriation. Inventions then cannot, in nature, be a subject of property. Thomas Jefferson.
Le Sat, 27 Mar 2010 12:10:23 +0100, Yannick Palanque a écrit:
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je
connais).
Oui, c'est le backplane qui clignote en fait.
--
That ideas should freely spread from one to another over the globe,
for the moral and mutual instruction of man, and the improvement of his
conditions, seems to have been peculiarly and benevolently designed by
nature, when she made them, like fire, expansible over all space,
without lessening their density in any point, and like the air in which
we breathe, move, and have our physical being, incapable of confinement
of exclusive appropriation. Inventions then cannot, in nature, be a
subject of property.
Thomas Jefferson.
Le Sat, 27 Mar 2010 12:10:23 +0100, Yannick Palanque a écrit:
En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je connais).
Oui, c'est le backplane qui clignote en fait.
-- That ideas should freely spread from one to another over the globe, for the moral and mutual instruction of man, and the improvement of his conditions, seems to have been peculiarly and benevolently designed by nature, when she made them, like fire, expansible over all space, without lessening their density in any point, and like the air in which we breathe, move, and have our physical being, incapable of confinement of exclusive appropriation. Inventions then cannot, in nature, be a subject of property. Thomas Jefferson.
Eric Belhomme
Emmanuel Florac wrote:
echo 512 >/sys/block/sdXX/queue/nr_requests blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
-- Rico
Emmanuel Florac wrote:
echo 512 >/sys/block/sdXX/queue/nr_requests
blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1
echo 512 >/sys/block/sdXX/queue/nr_requests blockdev --setra 512*<nombre de disques> /dev/sdXX
Ça change tout aux perfs du biniou aussi.
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
-- Rico
Emmanuel Florac
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de disques, voire un peu plus (65536 pour un 48 disques). Il faut juste rester conscient de ce que ça augmente le débit séquentiel mais ça peut être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16 Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250 utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et d'autres paramètres mais c'est ce que j'ai en général.
-- Writing about music is like dancing about architecture. Frank Zappa
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de
disques, voire un peu plus (65536 pour un 48 disques). Il faut juste
rester conscient de ce que ça augmente le débit séquentiel mais ça peut
être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de
RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16
Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250
utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et
d'autres paramètres mais c'est ce que j'ai en général.
--
Writing about music is like dancing about architecture.
Frank Zappa
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de disques, voire un peu plus (65536 pour un 48 disques). Il faut juste rester conscient de ce que ça augmente le débit séquentiel mais ça peut être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16 Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250 utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et d'autres paramètres mais c'est ce que j'ai en général.
-- Writing about music is like dancing about architecture. Frank Zappa
Eric Belhomme
Emmanuel Florac wrote:
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de disques, voire un peu plus (65536 pour un 48 disques). Il faut juste rester conscient de ce que ça augmente le débit séquentiel mais ça peut être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16 Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250 utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et d'autres paramètres mais c'est ce que j'ai en général.
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et 3G de RAM par CPU (soit 6G en tout). J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
-- Rico
Emmanuel Florac wrote:
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de
disques, voire un peu plus (65536 pour un 48 disques). Il faut juste
rester conscient de ce que ça augmente le débit séquentiel mais ça peut
être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de
RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16
Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250
utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et
d'autres paramètres mais c'est ce que j'ai en général.
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et
3G de RAM par CPU (soit 6G en tout).
J'ai 4 interface Gbit en deux aggrégats 802.3ad
Au niveau FS, le volume RAID est le seul et unique membre d'un volume
LVM, les les LVs sont formattés en XFS, avec les options qui vont bien
(au formatage, _et_ au montage)
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:
en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu préconises... Tu crois que ca peut avoir une incidence négative sur les perfs ?
Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de disques, voire un peu plus (65536 pour un 48 disques). Il faut juste rester conscient de ce que ça augmente le débit séquentiel mais ça peut être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16 Go de RAM).
Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load average dépasse rarement 1
Pour charger une machine comme ça bien configurée il faut 250 utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et d'autres paramètres mais c'est ce que j'ai en général.
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et 3G de RAM par CPU (soit 6G en tout). J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
-- Rico
Emmanuel Florac
Le Sun, 28 Mar 2010 22:32:02 +0000, Eric Belhomme a écrit:
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et 3G de RAM par CPU (soit 6G en tout). J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
Ça me paraît bien :) Sur une config de ce genre, j'obtiens ça avec bonnie+ + (il faut des points de comparaison n'est ce pas):
# vg+sda ra 16384 1CPU 8Go RAM, nobarrier, disques HITACHI 1To x 16
Soit 220 à 295 Mo/s en écriture, 755 à 770 Mo/s en lecture et (extrapolons) presque 30000 IOPS.
-- Je suis riche des biens dont je sais me passer. Louis-Jean-Baptiste Etienne Vigée.
Le Sun, 28 Mar 2010 22:32:02 +0000, Eric Belhomme a écrit:
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et
3G de RAM par CPU (soit 6G en tout).
J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume
RAID est le seul et unique membre d'un volume LVM, les les LVs sont
formattés en XFS, avec les options qui vont bien (au formatage, _et_ au
montage)
Ça me paraît bien :) Sur une config de ce genre, j'obtiens ça avec bonnie+
+ (il faut des points de comparaison n'est ce pas):
# vg+sda ra 16384 1CPU 8Go RAM, nobarrier, disques HITACHI 1To x 16
Le Sun, 28 Mar 2010 22:32:02 +0000, Eric Belhomme a écrit:
C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et 3G de RAM par CPU (soit 6G en tout). J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
Ça me paraît bien :) Sur une config de ce genre, j'obtiens ça avec bonnie+ + (il faut des points de comparaison n'est ce pas):
# vg+sda ra 16384 1CPU 8Go RAM, nobarrier, disques HITACHI 1To x 16
Soit 220 à 295 Mo/s en écriture, 755 à 770 Mo/s en lecture et (extrapolons) presque 30000 IOPS.
-- Je suis riche des biens dont je sais me passer. Louis-Jean-Baptiste Etienne Vigée.
Philippe Weill
Eric Belhomme a écrit :
Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
pour information quels sont vos parametres xfs au formatage et montage
Eric Belhomme a écrit :
Au niveau FS, le volume RAID est le seul et unique membre d'un volume
LVM, les les LVs sont formattés en XFS, avec les options qui vont bien
(au formatage, _et_ au montage)
pour information quels sont vos parametres xfs au formatage et montage
Au niveau FS, le volume RAID est le seul et unique membre d'un volume LVM, les les LVs sont formattés en XFS, avec les options qui vont bien (au formatage, _et_ au montage)
pour information quels sont vos parametres xfs au formatage et montage
