carte 3ware, blinking de disque, et reconstruction pas tout a fait automatique

Le
Eric Belhomme
Bonjour,

J'ai un comportement etrange sur une carte 3ware 9650SE-16ML

Cette carte comporte 12 disques en raid6. Un de ses disques (sur le port
9) tombe HS. Comme mes tiroirs ne sont pas numérotés, je ne sais pas
quel disque retirer
Pas grave, me dis-je, tu n'as qu'à le faire "blinker".

Donc un coup de tw_cli :
/c0/p9 set identify=on
Setting Port Identify on /c0/p9 to [on] N/A

Et bien evidemment, mon disque ne blinke pas Bon j'ai pu m'en sortir
en observant l'activité des autres disques le disque HS etait le seul
qui ne clignotait pas ;) Mais tout de meme, j'aimerais bien savoir
pourquoi la carte refuse de faire blinker mes disques quand je le lui
demande ?

Je précise que les disques (et la carte) sont dans un boitier SuperMicro
et que mes disques sont des Hitachi HDE721010SLA330, et que la carte
RAID a une BBU

Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9
pour que mon nouveau disque vienne enfin remplacer le disque trépanné
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique

Est-ce une spécificité du RAID6 ? (c'est le 1er incident que j'ai sur un
raid 6 3ware)
Quoi qu'il en soit, Le RAID a été bien reconstruit, la carte a fait son
job (mais il aura fallu que je l'aide un peu) et je continuerai à
chanter les louanges des cartes 3ware (et à en acheter)

--
Rico
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses Page 1 / 2
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Emmanuel Florac
Le #21445951
Le Fri, 26 Mar 2010 17:03:20 +0000, Eric Belhomme a écrit:


Donc un coup de tw_cli :
/c0/p9 set identify=on
Setting Port Identify on /c0/p9 to [on] ... N/A

Et bien evidemment, mon disque ne blinke pas...




Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)

Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9



Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.

pour que mon nouveau disque vienne enfin remplacer le disque trépanné...
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique...



Il y a un réglage global de la carte qui permet de décider si un disque
available est utilisable automatiquement comme "hot spare" ou pas.
Normalement il faut explicitement déclarer un disque comme "hot spare"
pour qu'il soit pris en compte immédiatement.

Donc ça ne me surprend pas particulièrement. Par ailleurs la carte ne
commence souvent la reconstruction qu'après qu'on ait effectué une
écriture sur le volume dégradé, ou à heure fixe (minuit je crois).

Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.

--
Si non confectus non reficiat.
Eric Belhomme
Le #21446191
Emmanuel Florac wrote:

Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)



bah c'est pas parce qu'un disque se met à faire des timeout qu'il st
electriquement cuit ? je pensais naivement que la carte raid etait
capable de le faire clignoter ?

D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...

Autre truc rigolo : a l'insertion d'un nouveau disque, la carte a
automatiquement assigné ce disque comme "available" au lieu de l'inclure
à mon unité dégradée. Il a fallu que j'assigne manuellement /c0/p9 à mon
unit dégradé (et encore, avec le cli, car via l'interface web, je n'ai
pas vu de moyen pour le faire)
Bref, j'ai du faire un
/c0/u0 start rebuild disk=9



Non, ça ne marche qu'avec les 7/8xxx, pas les 9xxx.



Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle
j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5,
et à chaque fois le rebuild a démarré tout seul, comme un grand
(fw FE9X 3.08.00.016)

pour que mon nouveau disque vienne enfin remplacer le disque trépanné...
C'est la 1ere fois que j'observe ce comportement sur une carte 3ware, et
je ne sais pas l'expliquer : habituellement, à l'insertion d'un nouveau
disque, le reconstruction est automatique...



Il y a un réglage global de la carte qui permet de décider si un disque
available est utilisable automatiquement comme "hot spare" ou pas.
Normalement il faut explicitement déclarer un disque comme "hot spare"
pour qu'il soit pris en compte immédiatement.



Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que
j'ai pas trouvé le bon flag...


Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.



Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou
est-ce qu'on pouvais trouver les mises à jour de firmwares et autres
BIOS pour les cartes 3ware...

--
Rico
Emmanuel Florac
Le #21446961
Le Fri, 26 Mar 2010 22:52:31 +0000, Eric Belhomme a écrit:


D'ailleurs j'ai essayé sur un disque "sain", et ca fait la meme chose...




Oui en fait ça ne fonctionne pas avec les châssis supermicro, seulement
avec les AIC (ou autres) en utilisant les câbles "basques" dédiés à cet
usage. Ça ne passe pas par le SATA; par ailleurs je crois que seules les
carts 16 et 24 ports ont les connecteurs qui vont bien (blancs).

Ah là tu m'étonnes très franchement : j'ai une 9650SE-4LPLM sur laquelle
j'ai remplacé l'un après l'autre les 4 disques qui composent son RAID5,
et à chaque fois le rebuild a démarré tout seul, comme un grand (fw FE9X
3.08.00.016)



Oui, c'est lié au réglage par défaut, mais il peut avoir été changé.

Bah j'ai pas du lire correctement la manpage de tw_cli alors, parce que
j'ai pas trouvé le bon flag...



Je ne sais plus où c'est avec tw_cli, mais dans le bios de la carte on
trouve tout de suite.

Puisqu'on en parle, vérifie la version de firmware ( tw_cli /c0 show
firmware ). Si ce n'est pas une version 4.x.x.x, mets le à jour.



Ca j'avoues que c'est un Grand mystère pour moi : j'ai jamais compris ou
est-ce qu'on pouvais trouver les mises à jour de firmwares et autres
BIOS pour les cartes 3ware...




3ware.com, support-> downloads->released software, comme partout
ailleurs... :)
Avec le firmware série 4, la vitesse de reconstruction augmente de 30%,
le débit en écriture aussi. N'oublie pas le très très important

echo 512 >/sys/block/sdXX/queue/nr_requests
blockdev --setra 512*<nombre de disques> /dev/sdXX

Ça change tout aux perfs du biniou aussi.



--
Measuring programming progress by lines of code is like measuring
aircraft building progress by weight.
Bill Gates
Yannick Palanque
Le #21447591
À 2010-03-26T22:11:23GMT,
Emmanuel Florac
> Donc un coup de tw_cli :
> /c0/p9 set identify=on
> Setting Port Identify on /c0/p9 to [on] ... N/A
>
> Et bien evidemment, mon disque ne blinke pas...


Et ça t'étonne qu'un disque HS qui est offline ne blinke pas ? tss
tss... :)



En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je
connais).

--
« Notre époque sans doute, pour celui qui en lira l'histoire dans deux
mille ans, ne semblera pas moins laisser baigner certaines consciences
tendres et pures dans un milieu vital qui apparaîtra alors comme
monstrueusement pernicieux et dont elles s'accommodaient. » Proust, LTr
Emmanuel Florac
Le #21448361
Le Sat, 27 Mar 2010 12:10:23 +0100, Yannick Palanque a écrit:


En même temps, il n'y a pas de LED sur les HDD (pas sur ceux que je
connais).



Oui, c'est le backplane qui clignote en fait.

--
That ideas should freely spread from one to another over the globe,
for the moral and mutual instruction of man, and the improvement of his
conditions, seems to have been peculiarly and benevolently designed by
nature, when she made them, like fire, expansible over all space,
without lessening their density in any point, and like the air in which
we breathe, move, and have our physical being, incapable of confinement
of exclusive appropriation. Inventions then cannot, in nature, be a
subject of property.
Thomas Jefferson.
Eric Belhomme
Le #21455881
Emmanuel Florac wrote:

echo 512 >/sys/block/sdXX/queue/nr_requests
blockdev --setra 512*<nombre de disques> /dev/sdXX

Ça change tout aux perfs du biniou aussi.




en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?

Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1

--
Rico
Emmanuel Florac
Le #21456411
Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:


en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?




Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de
disques, voire un peu plus (65536 pour un 48 disques). Il faut juste
rester conscient de ce que ça augmente le débit séquentiel mais ça peut
être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de
RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16
Go de RAM).

Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1



Pour charger une machine comme ça bien configurée il faut 250
utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et
d'autres paramètres mais c'est ce que j'ai en général.

--
Writing about music is like dancing about architecture.
Frank Zappa
Eric Belhomme
Le #21458681
Emmanuel Florac wrote:

Le Sun, 28 Mar 2010 16:42:23 +0000, Eric Belhomme a écrit:


en read ahead, j'ai mis 16384 au lieu des 6144 (512*12) que tu
préconises... Tu crois que ca peut avoir une incidence négative sur les
perfs ?




Non, pas du tout; en fait en général je mets plutôt 1024*le nombre de
disques, voire un peu plus (65536 pour un 48 disques). Il faut juste
rester conscient de ce que ça augmente le débit séquentiel mais ça peut
être au détriment des accès aléatoire, surtout si tu n'as pas beaucoup de
RAM (les machines que je monte aujourd'hui ont 4 ou 8 coeurs avec 8 ou 16
Go de RAM).

Perso je trouve que ce filer encaisse pas mal. D'aillieurs son load
average dépasse rarement 1



Pour charger une machine comme ça bien configurée il faut 250
utilisateurs en NFS au bas mot. Enfin ça dépend du FS, du proc et
d'autres paramètres mais c'est ce que j'ai en général.




C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et
3G de RAM par CPU (soit 6G en tout).
J'ai 4 interface Gbit en deux aggrégats 802.3ad
Au niveau FS, le volume RAID est le seul et unique membre d'un volume
LVM, les les LVs sont formattés en XFS, avec les options qui vont bien
(au formatage, _et_ au montage)

--
Rico
Emmanuel Florac
Le #21458811
Le Sun, 28 Mar 2010 22:32:02 +0000, Eric Belhomme a écrit:


C'est un serveur avec 2 Nehalem (Xeon X5506) donc 8 coeurs en tout, et
3G de RAM par CPU (soit 6G en tout).
J'ai 4 interface Gbit en deux aggrégats 802.3ad Au niveau FS, le volume
RAID est le seul et unique membre d'un volume LVM, les les LVs sont
formattés en XFS, avec les options qui vont bien (au formatage, _et_ au
montage)



Ça me paraît bien :) Sur une config de ce genre, j'obtiens ça avec bonnie+
+ (il faut des points de comparaison n'est ce pas):

# vg+sda ra 16384 1CPU 8Go RAM, nobarrier, disques HITACHI 1To x 16

storiq,16G,,,223425,24,282022,42,,,755651,45,346.8,0,16,29306,81,+++++,++
+,19079,42,27178,75,+++++,+++,13631,34
storiq,16G,,,229347,26,263125,40,,,770251,46,327.7,0,16,28452,77,+++++,++
+,18347,42,27723,76,+++++,+++,11049,27
storiq,16G,,,295767,33,274809,42,,,760778,46,351.4,0,16,28870,79,+++++,++
+,18358,41,28006,76,+++++,+++,14770,37

Soit 220 à 295 Mo/s en écriture, 755 à 770 Mo/s en lecture et
(extrapolons) presque 30000 IOPS.

--
Je suis riche des biens dont je sais me passer.
Louis-Jean-Baptiste Etienne Vigée.
Philippe Weill
Le #21464231
Eric Belhomme a écrit :

Au niveau FS, le volume RAID est le seul et unique membre d'un volume
LVM, les les LVs sont formattés en XFS, avec les options qui vont bien
(au formatage, _et_ au montage)




pour information quels sont vos parametres xfs au formatage et montage
Publicité
Poster une réponse
Anonyme