Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

cluster RAID avec cartes FC sous linux...

9 réponses
Avatar
Eric Belhomme
Bonjour, J'ai récupéré une paire de cartes HBA (des QLogic 2300) avec
leur cable, et je me suis mis dans la tête de m'en servir pour tenter un
truc rigolo :

une partition data en soft-raid 6 sur chacune des machines, le tout en
mirroir via les cartes FC, le volume résultant doit pouvoir être monté
depuis les 2 machines en même temps...

Le but final : ce volume est destiné à contenir des images Xen, je
voudrais donc pouvoir faire des migration de domaine Xen facilement d'un
host à un autre...

Comme je suis néophyte en FC, je suis prenueur de toute documentation
sur le sujet !

Merci,

--
Rico

9 réponses

Avatar
fx [François-Xavier Peretmere]
on the 22/06/09 16:26 Eric Belhomme wrote the following:
Bonjour, J'ai récupéré une paire de cartes HBA (des QLogic 2300) avec
leur cable, et je me suis mis dans la tête de m'en servir pour tenter un
truc rigolo :

une partition data en soft-raid 6 sur chacune des machines, le tout en
mirroir via les cartes FC, le volume résultant doit pouvoir être monté
depuis les 2 machines en même temps...



Je ne comprend pas bien. Quel stockage sera partagé entre les deux machines?
Une baie externe ou du stockage interne aux serveurs? Quel système de fichier?

Si c'est le stockage interne, alors cela revient à faire du mirroring via un
lien FC/IP? Je ne sais pas si le kernel ou les drivers QLogic supportent IP
over FC, il faudrait vérifier. Quel intérêt sinon à passer en FC plutôt
qu'avec un lien Ethernet?


Le but final : ce volume est destiné à contenir des images Xen, je
voudrais donc pouvoir faire des migration de domaine Xen facilement d'un
host à un autre...

Comme je suis néophyte en FC, je suis prenueur de toute documentation
sur le sujet !



Fu2 fr.comp.stockage

Fx

--
Stay the patient course.
Of little worth is your ire;
The network is down.
Avatar
Eric Belhomme
fx [François-Xavier Peretmere] a écrit :

Je ne comprend pas bien. Quel stockage sera partagé entre les deux
machines? Une baie externe ou du stockage interne aux serveurs? Quel
système de fichier?



Du stockage interne sur les machines. Pour être précis, j'ai 6 disques.
Je veux :
1°) faire une raid 5 (ou 6) localement avec les 6 disques,
2°) faire un miroir de ce raid 5 (ou 6) grace aux cartes FC

Pour l'instant, je ne sais pas par quel bout prendre le problème. Mes
cartes sont bien reconnues par le noyau (2.6.26) et je crois qu'elles se
voient bien :

qla2xxx 0000:01:07.0: LOOP UP detected (2 Gbps).

En revanche, je n'ai aucun périphérique vu dessus (normal, puisque ce
sont 2 cartes HBA connectées en point à point)
Et je n'ai aucune idée de la façon d'exporter un volume ou un device à
la carte. J'ai googelisé, mais il semble qu'il n'y a pas d'outils
spécifique pour cela ?

Si c'est le stockage interne, alors cela revient à faire du mirroring
via un lien FC/IP? Je ne sais pas si le kernel ou les drivers QLogic
supportent IP over FC, il faudrait vérifier. Quel intérêt sinon à passer
en FC plutôt qu'avec un lien Ethernet?



Mes cartes sont des QLA2340, et à priori le driver qla2xxx ne supporte
pas l'IP sur FC. Pour l'interet,
1°) j'ai les cartes
2°) 2Gbps de bande passante,
3°) latences ultra faibles
4)) le fun ?

M'enfin, ca me semble mal engagé pour le moment...

--
Rico
Avatar
JKB
Le 22-06-2009, ? propos de
Re: cluster RAID avec cartes FC sous linux...,
Eric Belhomme ?crivait dans fr.comp.stockage :
fx [François-Xavier Peretmere] a écrit :

Je ne comprend pas bien. Quel stockage sera partagé entre les deux
machines? Une baie externe ou du stockage interne aux serveurs? Quel
système de fichier?



Du stockage interne sur les machines. Pour être précis, j'ai 6 disques.
Je veux :
1°) faire une raid 5 (ou 6) localement avec les 6 disques,
2°) faire un miroir de ce raid 5 (ou 6) grace aux cartes FC

Pour l'instant, je ne sais pas par quel bout prendre le problème. Mes
cartes sont bien reconnues par le noyau (2.6.26) et je crois qu'elles se
voient bien :

qla2xxx 0000:01:07.0: LOOP UP detected (2 Gbps).

En revanche, je n'ai aucun périphérique vu dessus (normal, puisque ce
sont 2 cartes HBA connectées en point à point)
Et je n'ai aucune idée de la façon d'exporter un volume ou un device à
la carte. J'ai googelisé, mais il semble qu'il n'y a pas d'outils
spécifique pour cela ?

Si c'est le stockage interne, alors cela revient à faire du mirroring
via un lien FC/IP? Je ne sais pas si le kernel ou les drivers QLogic
supportent IP over FC, il faudrait vérifier. Quel intérêt sinon à passer
en FC plutôt qu'avec un lien Ethernet?



Mes cartes sont des QLA2340, et à priori le driver qla2xxx ne supporte
pas l'IP sur FC. Pour l'interet,
1°) j'ai les cartes
2°) 2Gbps de bande passante,
3°) latences ultra faibles
4)) le fun ?

M'enfin, ca me semble mal engagé pour le moment...



Personnellement, j'ai une approche assez différente. Deux machines
reliées en Gigabit Ethernet point à point (à remplacer dans ton cas par
un lien FC) et un volume raid 51 : un volume raid 5 par machine de 6
disques, et un miroir par dessus (en iSCSI). Par contre, le volume final
n'est monté que par l'une _ou_ l'autre des machines. J'ai des scripts
qui basculent automatiquement en cas de problème.

Cordialement,

JKB

--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.
Avatar
Eric Belhomme
JKB a écrit :

Personnellement, j'ai une approche assez différente. Deux machines
reliées en Gigabit Ethernet point à point (à remplacer dans ton cas par
un lien FC) et un volume raid 51 : un volume raid 5 par machine de 6
disques, et un miroir par dessus (en iSCSI). Par contre, le volume final
n'est monté que par l'une _ou_ l'autre des machines. J'ai des scripts
qui basculent automatiquement en cas de problème.




Dans ce cas, tu n'as qu'un serveur Xen actif en même temps... moi ce que
je souhaite, c'est que mes 2 dom0 se partagent la charge des domU à peu
près equitablement, mais que je puisse migrer les domaines de l'un à
l'autre (maintenance, crash de l'un des serveurs, etc..)
Pour cela, il faut que le volume soit accessible en même temps par
chaque dom0.

Sinon, pour ce qui concerne le raid51, c'est tout à fait ça... sauf que
si ca a l'air trivial à faire avec des interfaces ethernet (avec drdb
par exemple), ca semble hardu, pour ne pas dire impossible avec des
cartes HBAs... Je trouve ça curieux, dans la mesure où ce type de
matériel est justement dédié au stockage ?

--
Rico
Avatar
JKB
Le 22-06-2009, ? propos de
Re: cluster RAID avec cartes FC sous linux...,
Eric Belhomme ?crivait dans fr.comp.stockage :
JKB a écrit :

Personnellement, j'ai une approche assez différente. Deux machines
reliées en Gigabit Ethernet point à point (à remplacer dans ton cas par
un lien FC) et un volume raid 51 : un volume raid 5 par machine de 6
disques, et un miroir par dessus (en iSCSI). Par contre, le volume final
n'est monté que par l'une _ou_ l'autre des machines. J'ai des scripts
qui basculent automatiquement en cas de problème.




Dans ce cas, tu n'as qu'un serveur Xen actif en même temps... moi ce que
je souhaite, c'est que mes 2 dom0 se partagent la charge des domU à peu
près equitablement, mais que je puisse migrer les domaines de l'un à
l'autre (maintenance, crash de l'un des serveurs, etc..)
Pour cela, il faut que le volume soit accessible en même temps par
chaque dom0.



Non. Ce que je fait, c'est du NFSv3/TCP qui attaque une grappe de
serveurs diskless. Ces serveurs utilisent soit le premier serveur, soit
le second, mais jamais les deux ensemble. Ces serveurs NFS sont des
machines à 24 processeurs et qui ne font _que_ ça.

Sinon, pour ce qui concerne le raid51, c'est tout à fait ça... sauf que
si ca a l'air trivial à faire avec des interfaces ethernet (avec drdb
par exemple), ca semble hardu, pour ne pas dire impossible avec des
cartes HBAs... Je trouve ça curieux, dans la mesure où ce type de
matériel est justement dédié au stockage ?



Si tu arrives à faire une connexion point à point en IP over FC,
qu'est-ce qui t'empêche d'utiliser iSCSI (avec ietd) par dessus ?

Cordialement,

JKB

--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.
Avatar
Eric Belhomme
JKB a écrit :

Non. Ce que je fait, c'est du NFSv3/TCP qui attaque une grappe de
serveurs diskless. Ces serveurs utilisent soit le premier serveur, soit
le second, mais jamais les deux ensemble. Ces serveurs NFS sont des
machines à 24 processeurs et qui ne font _que_ ça.



question : pourquoi as-tu besoin de tant de procs pour faire du nfs ?
c'est pas un peu g&ché ?
Sinon sur le principe ta solution me plait, mon problème, c'est que dans
mon cas, le stockage _et_ les dom0 sont une même machine

Si tu arrives à faire une connexion point à point en IP over FC,
qu'est-ce qui t'empêche d'utiliser iSCSI (avec ietd) par dessus ?



Ben... visiblement ce n'est pas possible de faire de l'IP avec ma carte.
Et vu que je suis une buse en ce qui concerne la techno FC, ben je sais
pas comment prendre le truc... je sens que ca va se finir avec 2 cartes
Gbit à la place...

--
Rico
Avatar
JKB
Le 23-06-2009, ? propos de
Re: cluster RAID avec cartes FC sous linux...,
Eric Belhomme ?crivait dans fr.comp.stockage :
JKB a écrit :

Non. Ce que je fait, c'est du NFSv3/TCP qui attaque une grappe de
serveurs diskless. Ces serveurs utilisent soit le premier serveur, soit
le second, mais jamais les deux ensemble. Ces serveurs NFS sont des
machines à 24 processeurs et qui ne font _que_ ça.



question : pourquoi as-tu besoin de tant de procs pour faire du nfs ?
c'est pas un peu g&ché ?



Parce d'une part le iSCSI bouffe beaucoup de ressources et que
d'autre part, j'ai une ferme de calcul derrière ses deux serveurs (y
compris des serveurs de base de données). Cela me permet donc d'avoir
entre 24 et 48 threads nfsd sans problème avec des performances
correctes (le goulot d'étranglement est le gigabit Ethernet, mais vu les
applications qui tournent sur les machines, j'arrive peu ou prou aux
performances d'un disque local en lecture _continue_).

Sinon sur le principe ta solution me plait, mon problème, c'est que dans
mon cas, le stockage _et_ les dom0 sont une même machine



Je suis une buse en virtualisation (d'autant que ça ne m'intéresse
vraiment pas et que j'ai du mal à voir ce que ça apporte à les
applications sauf à ne pas avoir pensé dès le début à une infrastructure
correcte, mais je ne vais pas entrer dans le débat ici...). Ce que je ne
comprends pas, mais je dis peut-être une grosse honnerie, c'est comment
tu vas pouvoir monter un même système de fichiers sur deux machines
distantes sans passer par un mécanisme du type NFS ou autre, bref, un
système de fichiers capable d'être monté à deux endroits sans corruption
de données.

Si tu arrives à faire une connexion point à point en IP over FC,
qu'est-ce qui t'empêche d'utiliser iSCSI (avec ietd) par dessus ?



Ben... visiblement ce n'est pas possible de faire de l'IP avec ma carte.
Et vu que je suis une buse en ce qui concerne la techno FC, ben je sais
pas comment prendre le truc... je sens que ca va se finir avec 2 cartes
Gbit à la place...



J'ai quatre Blade 2000 avec des qla2200. Lorsque j'aurai fini de
débugguer les noyaux Linux sparc 2.6.29 et supérieurs (il y a un
problème avec un watchdog NMI rajouté unilatéralement dans le code
i386/amd64 qui fout un bazar noir dans d'autres architectures !), je penserai
à regarder ça... Mais je ne promets rien avant quelques semaines...

Cordialement,

JKB

--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.
Avatar
Eric Belhomme
JKB a écrit :

Parce d'une part le iSCSI bouffe beaucoup de ressources et que
d'autre part, j'ai une ferme de calcul derrière ses deux serveurs (y
compris des serveurs de base de données). Cela me permet donc d'avoir
entre 24 et 48 threads nfsd sans problème avec des performances
correctes (le goulot d'étranglement est le gigabit Ethernet, mais vu les
applications qui tournent sur les machines, j'arrive peu ou prou aux
performances d'un disque local en lecture _continue_).



Juste par curiosité, tu utilises quoi comme machines pour tes serveurs
NFS (du sparc, ok, mais encore ?) et en FS, tu utilises quoi ? du ext ou
des choses plus rigolotes, genre jfs/xfs/reiserfs ?

Je suis une buse en virtualisation (d'autant que ça ne m'intéresse
vraiment pas et que j'ai du mal à voir ce que ça apporte à les
applications sauf à ne pas avoir pensé dès le début à une infrastructure
correcte, mais je ne vais pas entrer dans le débat ici...). Ce que je ne
comprends pas, mais je dis peut-être une grosse honnerie, c'est comment
tu vas pouvoir monter un même système de fichiers sur deux machines
distantes sans passer par un mécanisme du type NFS ou autre, bref, un
système de fichiers capable d'être monté à deux endroits sans corruption
de données.



Ben en fait mes domU utilisent directement des volumes LVM donc en
théorie, comme un lv n'est que par un host à la fois, je suppose que ca
doit pas poser de problème. C'est de la théorie puisque pour le moment
je n'ai pas encore monté ma maquette...

J'ai quatre Blade 2000 avec des qla2200. Lorsque j'aurai fini de
débugguer les noyaux Linux sparc 2.6.29 et supérieurs (il y a un
problème avec un watchdog NMI rajouté unilatéralement dans le code
i386/amd64 qui fout un bazar noir dans d'autres architectures !), je penserai
à regarder ça... Mais je ne promets rien avant quelques semaines...



Ah ce serait bien aimable de ta part ! mes modestes compétences ne me
permettent pas de hacker du noyau, (surtout pas quand la plupart des
subtilités du FC me passent au-dessus ;)

--
Rico
Avatar
JKB
Le 23-06-2009, ? propos de
Re: cluster RAID avec cartes FC sous linux...,
Eric Belhomme ?crivait dans fr.comp.stockage :
JKB a écrit :

Parce d'une part le iSCSI bouffe beaucoup de ressources et que
d'autre part, j'ai une ferme de calcul derrière ses deux serveurs (y
compris des serveurs de base de données). Cela me permet donc d'avoir
entre 24 et 48 threads nfsd sans problème avec des performances
correctes (le goulot d'étranglement est le gigabit Ethernet, mais vu les
applications qui tournent sur les machines, j'arrive peu ou prou aux
performances d'un disque local en lecture _continue_).



Juste par curiosité, tu utilises quoi comme machines pour tes serveurs
NFS (du sparc, ok, mais encore ?) et en FS, tu utilises quoi ? du ext ou
des choses plus rigolotes, genre jfs/xfs/reiserfs ?



Comme système de fichiers, je trouve que ext3 est un très bon
compromis. J'élimine ReiserFS parce que le type qui le développe est,
comment dire, assez bizarre et que je préfère quelque chose de développé
par quelqu'un d'un peu plus sain (informatiquement parlant). JFS et XFS
n'apportent rien de plus en terme de performance (mon volume exporté se
compose seulement de douze disques SCA-II U320 de 300 Go chacun).

Les serveurs NFS tournent sur des processeurs T1 (6*4 threads) avec
4 Go de mémoire et disques SAS (coup de gueule, le SAS, c'est une merde
comparé au U320 !...). Le NFS ne demandant pas de calculs en virgule
flottante et chaque serveur étant dans un thread particulier, ça dépote.
L'OS est un linux/debian. Les serveurs de calculs embarquent des T2+ ou des
UltraSPARC VII et tournent eux sous Solaris 10 (en diskless). Entre tout
ça, j'ai des switches 3Com.

Je suis une buse en virtualisation (d'autant que ça ne m'intéresse
vraiment pas et que j'ai du mal à voir ce que ça apporte à les
applications sauf à ne pas avoir pensé dès le début à une infrastructure
correcte, mais je ne vais pas entrer dans le débat ici...). Ce que je ne
comprends pas, mais je dis peut-être une grosse honnerie, c'est comment
tu vas pouvoir monter un même système de fichiers sur deux machines
distantes sans passer par un mécanisme du type NFS ou autre, bref, un
système de fichiers capable d'être monté à deux endroits sans corruption
de données.



Ben en fait mes domU utilisent directement des volumes LVM donc en
théorie, comme un lv n'est que par un host à la fois, je suppose que ca
doit pas poser de problème. C'est de la théorie puisque pour le moment
je n'ai pas encore monté ma maquette...

J'ai quatre Blade 2000 avec des qla2200. Lorsque j'aurai fini de
débugguer les noyaux Linux sparc 2.6.29 et supérieurs (il y a un
problème avec un watchdog NMI rajouté unilatéralement dans le code
i386/amd64 qui fout un bazar noir dans d'autres architectures !), je penserai
à regarder ça... Mais je ne promets rien avant quelques semaines...



Ah ce serait bien aimable de ta part ! mes modestes compétences ne me
permettent pas de hacker du noyau, (surtout pas quand la plupart des
subtilités du FC me passent au-dessus ;)



Je ne promets rien... Mais je vais essayer de trouver un peu de
temps pour ça.

Cordialement,

JKB

--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.