SAN FiberChannel et Linux

Le
Eric Belhomme
Bonjour,

J'ai récupéré une baie NexSan SataBoy en FC, ainsi qu'une paire de
cartes QLogic QLA 2340, que j'ai installé sur des Linux Debian Lenny.

Sans autre manip que l'installation du firmware QLogic, j'ai ça au boot :

geese:~# cat /proc/scsi/scsi
Attached devices:
Host: scsi2 Channel: 00 Id: 00 Lun: 00
Vendor: NEXSAN Model: SATABoy Rev: Bt66
Type: Direct-Access ANSI SCSI revision: 05
Host: scsi3 Channel: 00 Id: 00 Lun: 00
Vendor: TEAC Model: DV-516G Rev: F4S7
Type: CD-ROM ANSI SCSI revision: 05
Host: scsi4 Channel: 00 Id: 00 Lun: 00
Vendor: ATA Model: SAMSUNG HD080HJ/ Rev: ZH10
Type: Direct-Access ANSI SCSI revision: 05

C'est donc plutot encourageant :-)

Maintenant, ce que je cherche à faire, c'est d'avoir plusieurs serveurs
branchés au cul du SataBoy, et pouvoir migrer les LUN d'un serveur à
l'autre.

L'idée, c'est d'avoir une ferme de Xen Dom0 qui executent des domU :
- Chaque domU aura son propre LUN à lui sur le SataBoy,
- le LUN doit être attaché _manuellement_ au Dom0 qui instanciera le
DomU concerné
- la migration (au sens Xen du terme) d'un domU, doit entrainer la
deconnexion du LUN d'un dom0 et sa reconnexion sur un autre dom0

Au delà des questions relatives à Xen qui sont totalement HC ici, je me
pose les questions suivantes :

- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?
- Y a-til un moyen de s'assurer d'un accès exclusif à un LUN, afin
d'éviter qu'un même LUN soit attaché à plusieurs hosts simultanément ?
- comment gérer la connexion/deconnexion des LUNs ? avec scsiadd ?

Ce type de config est une grande première pour moi, donc tous les bons
conseil de personnes expérimentées me seront d'un grand secours :)

Voila, c'est tout pour le moment. Après je compte corser encore un peu
en rajoutant du multi-path, mais il faut d'abord que je me procure des
switches FC

--
Rico
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Emmanuel Florac
Le #21523002
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:


- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?



Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun
mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du
bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon
tu gères ça au niveau du switch mais c'est la misère, il est bien plus
simple de faire un LUN mapping au niveau du contrôleur.

- Y a-til un
moyen de s'assurer d'un accès exclusif à un LUN, afin d'éviter qu'un
même LUN soit attaché à plusieurs hosts simultanément ?



Voir ci-dessus. Le tout c'est d'être d'accord de toute façon; le fait que
toutes les machines voient tous les LUNs ne pose pas de problème, tant
qu'elles n'essaient pas d'écrire dans le même.

- comment gérer
la connexion/deconnexion des LUNs ? avec scsiadd?



Plutôt

echo '- - -' > /sys/class/scsi_host/hostXX/scan

et
echo 1 > /sys/block/sdXX/device/delete

Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La
seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe
qla2xxx... la misère quoi.

Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux
pas sur certaines machines. un peu définitif mais bon...

Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe
en 45 secondes et ça marche super-hyper-bien. Tu fais

aptitude install ocfs2-console
/etc/init.d/o2cb enable

augmenter le délai de heartbeat avec dpkg-reconfigure ocfs2-tools (seuil
de battement o2cb, moi je mets 30).

Ensuite

ocfs2-console

Ensuite cluster-> configure nodes, configurer les FS, faire les montages,
et copier la config sur tous les noeuds, et voilà un stockage partagé.



--
For every complex problem there is an answer that is clear, simple,
and wrong.
H. L. Mencken
Eric Belhomme
Le #21523652
Emmanuel Florac wrote:

Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:


- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?



Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun
mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du
bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon
tu gères ça au niveau du switch mais c'est la misère, il est bien plus
simple de faire un LUN mapping au niveau du contrôleur.



Ca c'est bon, le controleur du sataboy le permet. Mais moi je veux
pouvoir avoir tous mes LUNs sur tous les hosts, mais un seul à la
fois...

Visiblement ca va être a moi de le gérer. J'ai vu aussi que certains
utilisaient EVMS qui gère le clustering, mais c'est con, EVMS est
déprécié sous Debian, j'ai pas vraiment envie d'installer mes Dom0 en
Suse ou RHEL...
Y'aurait aussi LVM avec clvmd, mais j'ai cru comprendre que c'etait pas
encore tout à fait au point ? Pour le moment je fais mumuse, mais le but
c'est d'avoir une ferme de Xen en vraie prod, alors il faut du solide...

Plutôt

echo '- - -' > /sys/class/scsi_host/hostXX/scan

et
echo 1 > /sys/block/sdXX/device/delete

Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La
seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe
qla2xxx... la misère quoi.



Marrant ça : j'ai passé la journée à jouer avec (et avec sysfs, et avec
scsiadd), en créant, supprimant, modifiant des LUNs sur le SataBoy et
j'ai pas eu de soucis. Avec le noyau Xen officiel de la Lenny/amd64

Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux
pas sur certaines machines. un peu définitif mais bon...



C'est pas que je les veux pas, c'est que je veux pas qu'ils soient
actifs. mais bon d'après ce que tu dis, ca n'a aucune espèce
d'importance du moment que 2 hosts n'y accèdent pas en même temps
Donc finalement c'etait un faux problème !

Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe
en 45 secondes et ça marche super-hyper-bien. Tu fais



Oui, j'ai déjà monté une config bien tordue avec drbd, ocfs, et encore
deux Xen dom0 :
Mirroir actif/actif d'un volume raid6 soft avec drbd, filesystem partagé
avec ocfs et gestion du failover avec hb-2 : j'ai mis presque 2 semaines
avant que ca tombe en marche !
Par contre depuis, ca'marche sans aucun entretien ! (heureusement,
car c'est sur un site _très_ distant)

Mais là j'ai du bô matos (pas de 1ere fraicheur, mais tout de même) et
j'aimerais faire un beau truc, élégant, sans rajouter des couches qui
vont alourdir bouzin et potentiellement rajouter des risques de pannes !

Donc pour l'instant j'hésite entre pleins de petits LUNs (1 par domU) et
une gestion manuelle du locking pour prévenir les corruptions de
données, ou un gros LUNs avec clvm.

Je vais tenter la solution clvm demain...

--

Rico
Publicité
Suivre les réponses
Poster une réponse
Anonyme