Maintenant, ce que je cherche à faire, c'est d'avoir plusieurs serveurs
branchés au cul du SataBoy, et pouvoir migrer les LUN d'un serveur à
l'autre.
L'idée, c'est d'avoir une ferme de Xen Dom0 qui executent des domU :
- Chaque domU aura son propre LUN à lui sur le SataBoy,
- le LUN doit être attaché _manuellement_ au Dom0 qui instanciera le
DomU concerné
- la migration (au sens Xen du terme) d'un domU, doit entrainer la
deconnexion du LUN d'un dom0 et sa reconnexion sur un autre dom0
Au delà des questions relatives à Xen qui sont totalement HC ici, je me
pose les questions suivantes :
- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?
- Y a-til un moyen de s'assurer d'un accès exclusif à un LUN, afin
d'éviter qu'un même LUN soit attaché à plusieurs hosts simultanément ?
- comment gérer la connexion/deconnexion des LUNs ? avec scsiadd ?
Ce type de config est une grande première pour moi, donc tous les bons
conseil de personnes expérimentées me seront d'un grand secours :)
Voila, c'est tout pour le moment. Après je compte corser encore un peu
en rajoutant du multi-path, mais il faut d'abord que je me procure des
switches FC...
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Emmanuel Florac
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon tu gères ça au niveau du switch mais c'est la misère, il est bien plus simple de faire un LUN mapping au niveau du contrôleur.
- Y a-til un moyen de s'assurer d'un accès exclusif à un LUN, afin d'éviter qu'un même LUN soit attaché à plusieurs hosts simultanément ?
Voir ci-dessus. Le tout c'est d'être d'accord de toute façon; le fait que toutes les machines voient tous les LUNs ne pose pas de problème, tant qu'elles n'essaient pas d'écrire dans le même.
- comment gérer la connexion/deconnexion des LUNs ? avec scsiadd?
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe qla2xxx... la misère quoi.
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux pas sur certaines machines. un peu définitif mais bon...
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe en 45 secondes et ça marche super-hyper-bien. Tu fais
augmenter le délai de heartbeat avec dpkg-reconfigure ocfs2-tools (seuil de battement o2cb, moi je mets 30).
Ensuite
ocfs2-console
Ensuite cluster-> configure nodes, configurer les FS, faire les montages, et copier la config sur tous les noeuds, et voilà un stockage partagé.
-- For every complex problem there is an answer that is clear, simple, and wrong. H. L. Mencken
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun
mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du
bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon
tu gères ça au niveau du switch mais c'est la misère, il est bien plus
simple de faire un LUN mapping au niveau du contrôleur.
- Y a-til un
moyen de s'assurer d'un accès exclusif à un LUN, afin d'éviter qu'un
même LUN soit attaché à plusieurs hosts simultanément ?
Voir ci-dessus. Le tout c'est d'être d'accord de toute façon; le fait que
toutes les machines voient tous les LUNs ne pose pas de problème, tant
qu'elles n'essaient pas d'écrire dans le même.
- comment gérer
la connexion/deconnexion des LUNs ? avec scsiadd?
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et
echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La
seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe
qla2xxx... la misère quoi.
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux
pas sur certaines machines. un peu définitif mais bon...
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe
en 45 secondes et ça marche super-hyper-bien. Tu fais
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon tu gères ça au niveau du switch mais c'est la misère, il est bien plus simple de faire un LUN mapping au niveau du contrôleur.
- Y a-til un moyen de s'assurer d'un accès exclusif à un LUN, afin d'éviter qu'un même LUN soit attaché à plusieurs hosts simultanément ?
Voir ci-dessus. Le tout c'est d'être d'accord de toute façon; le fait que toutes les machines voient tous les LUNs ne pose pas de problème, tant qu'elles n'essaient pas d'écrire dans le même.
- comment gérer la connexion/deconnexion des LUNs ? avec scsiadd?
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe qla2xxx... la misère quoi.
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux pas sur certaines machines. un peu définitif mais bon...
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe en 45 secondes et ça marche super-hyper-bien. Tu fais
augmenter le délai de heartbeat avec dpkg-reconfigure ocfs2-tools (seuil de battement o2cb, moi je mets 30).
Ensuite
ocfs2-console
Ensuite cluster-> configure nodes, configurer les FS, faire les montages, et copier la config sur tous les noeuds, et voilà un stockage partagé.
-- For every complex problem there is an answer that is clear, simple, and wrong. H. L. Mencken
Eric Belhomme
Emmanuel Florac wrote:
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon tu gères ça au niveau du switch mais c'est la misère, il est bien plus simple de faire un LUN mapping au niveau du contrôleur.
Ca c'est bon, le controleur du sataboy le permet. Mais moi je veux pouvoir avoir tous mes LUNs sur tous les hosts, mais un seul à la fois...
Visiblement ca va être a moi de le gérer. J'ai vu aussi que certains utilisaient EVMS qui gère le clustering, mais c'est con, EVMS est déprécié sous Debian, j'ai pas vraiment envie d'installer mes Dom0 en Suse ou RHEL... Y'aurait aussi LVM avec clvmd, mais j'ai cru comprendre que c'etait pas encore tout à fait au point ? Pour le moment je fais mumuse, mais le but c'est d'avoir une ferme de Xen en vraie prod, alors il faut du solide...
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe qla2xxx... la misère quoi.
Marrant ça : j'ai passé la journée à jouer avec (et avec sysfs, et avec scsiadd), en créant, supprimant, modifiant des LUNs sur le SataBoy et j'ai pas eu de soucis. Avec le noyau Xen officiel de la Lenny/amd64
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux pas sur certaines machines. un peu définitif mais bon...
C'est pas que je les veux pas, c'est que je veux pas qu'ils soient actifs. mais bon d'après ce que tu dis, ca n'a aucune espèce d'importance du moment que 2 hosts n'y accèdent pas en même temps Donc finalement c'etait un faux problème !
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe en 45 secondes et ça marche super-hyper-bien. Tu fais
Oui, j'ai déjà monté une config bien tordue avec drbd, ocfs, et encore deux Xen dom0 : Mirroir actif/actif d'un volume raid6 soft avec drbd, filesystem partagé avec ocfs et gestion du failover avec hb-2 : j'ai mis presque 2 semaines avant que ca tombe en marche ! Par contre depuis, ca'marche sans aucun entretien ! (heureusement, car c'est sur un site _très_ distant)
Mais là j'ai du bô matos (pas de 1ere fraicheur, mais tout de même) et j'aimerais faire un beau truc, élégant, sans rajouter des couches qui vont alourdir bouzin et potentiellement rajouter des risques de pannes !
Donc pour l'instant j'hésite entre pleins de petits LUNs (1 par domU) et une gestion manuelle du locking pour prévenir les corruptions de données, ou un gros LUNs avec clvm.
Je vais tenter la solution clvm demain...
--
Rico
Emmanuel Florac wrote:
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter
automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun
mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du
bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon
tu gères ça au niveau du switch mais c'est la misère, il est bien plus
simple de faire un LUN mapping au niveau du contrôleur.
Ca c'est bon, le controleur du sataboy le permet. Mais moi je veux
pouvoir avoir tous mes LUNs sur tous les hosts, mais un seul à la
fois...
Visiblement ca va être a moi de le gérer. J'ai vu aussi que certains
utilisaient EVMS qui gère le clustering, mais c'est con, EVMS est
déprécié sous Debian, j'ai pas vraiment envie d'installer mes Dom0 en
Suse ou RHEL...
Y'aurait aussi LVM avec clvmd, mais j'ai cru comprendre que c'etait pas
encore tout à fait au point ? Pour le moment je fais mumuse, mais le but
c'est d'avoir une ferme de Xen en vraie prod, alors il faut du solide...
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et
echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La
seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe
qla2xxx... la misère quoi.
Marrant ça : j'ai passé la journée à jouer avec (et avec sysfs, et avec
scsiadd), en créant, supprimant, modifiant des LUNs sur le SataBoy et
j'ai pas eu de soucis. Avec le noyau Xen officiel de la Lenny/amd64
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux
pas sur certaines machines. un peu définitif mais bon...
C'est pas que je les veux pas, c'est que je veux pas qu'ils soient
actifs. mais bon d'après ce que tu dis, ca n'a aucune espèce
d'importance du moment que 2 hosts n'y accèdent pas en même temps
Donc finalement c'etait un faux problème !
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe
en 45 secondes et ça marche super-hyper-bien. Tu fais
Oui, j'ai déjà monté une config bien tordue avec drbd, ocfs, et encore
deux Xen dom0 :
Mirroir actif/actif d'un volume raid6 soft avec drbd, filesystem partagé
avec ocfs et gestion du failover avec hb-2 : j'ai mis presque 2 semaines
avant que ca tombe en marche !
Par contre depuis, ca'marche sans aucun entretien ! (heureusement,
car c'est sur un site _très_ distant)
Mais là j'ai du bô matos (pas de 1ere fraicheur, mais tout de même) et
j'aimerais faire un beau truc, élégant, sans rajouter des couches qui
vont alourdir bouzin et potentiellement rajouter des risques de pannes !
Donc pour l'instant j'hésite entre pleins de petits LUNs (1 par domU) et
une gestion manuelle du locking pour prévenir les corruptions de
données, ou un gros LUNs avec clvm.
Le Thu, 08 Apr 2010 16:11:00 +0000, Eric Belhomme a écrit:
- Comment faire pour que Linux ne cherche pas à connecter automatiquement dès le démarrage tous les LUNs du SataBoy ?
Ça dépend, il y a un contrôleur RAID dans les SataBoy, avec du Lun mapping? C'est la façon kasher de procéder... Dans l'interface d'admin du bouzin tu dois pouvoir autoriser certains WWNs sur certains LUNs. Sinon tu gères ça au niveau du switch mais c'est la misère, il est bien plus simple de faire un LUN mapping au niveau du contrôleur.
Ca c'est bon, le controleur du sataboy le permet. Mais moi je veux pouvoir avoir tous mes LUNs sur tous les hosts, mais un seul à la fois...
Visiblement ca va être a moi de le gérer. J'ai vu aussi que certains utilisaient EVMS qui gère le clustering, mais c'est con, EVMS est déprécié sous Debian, j'ai pas vraiment envie d'installer mes Dom0 en Suse ou RHEL... Y'aurait aussi LVM avec clvmd, mais j'ai cru comprendre que c'etait pas encore tout à fait au point ? Pour le moment je fais mumuse, mais le but c'est d'avoir une ferme de Xen en vraie prod, alors il faut du solide...
Plutôt
echo '- - -' > /sys/class/scsi_host/hostXX/scan
et echo 1 > /sys/block/sdXX/device/delete
Perso j'ai toujours eu les pires emmerdes avec le rescan sur les QLA. La seule chose qui marche correctement c'est le rmmod qla2xxx && modprobe qla2xxx... la misère quoi.
Marrant ça : j'ai passé la journée à jouer avec (et avec sysfs, et avec scsiadd), en créant, supprimant, modifiant des LUNs sur le SataBoy et j'ai pas eu de soucis. Avec le noyau Xen officiel de la Lenny/amd64
Sinon tu peux simplement blacklister avec udev les LUNs que tu ne veux pas sur certaines machines. un peu définitif mais bon...
C'est pas que je les veux pas, c'est que je veux pas qu'ils soient actifs. mais bon d'après ce que tu dis, ca n'a aucune espèce d'importance du moment que 2 hosts n'y accèdent pas en même temps Donc finalement c'etait un faux problème !
Et enfin tu devrais essayer le stockage partagé avec OCFS2, ça s'installe en 45 secondes et ça marche super-hyper-bien. Tu fais
Oui, j'ai déjà monté une config bien tordue avec drbd, ocfs, et encore deux Xen dom0 : Mirroir actif/actif d'un volume raid6 soft avec drbd, filesystem partagé avec ocfs et gestion du failover avec hb-2 : j'ai mis presque 2 semaines avant que ca tombe en marche ! Par contre depuis, ca'marche sans aucun entretien ! (heureusement, car c'est sur un site _très_ distant)
Mais là j'ai du bô matos (pas de 1ere fraicheur, mais tout de même) et j'aimerais faire un beau truc, élégant, sans rajouter des couches qui vont alourdir bouzin et potentiellement rajouter des risques de pannes !
Donc pour l'instant j'hésite entre pleins de petits LUNs (1 par domU) et une gestion manuelle du locking pour prévenir les corruptions de données, ou un gros LUNs avec clvm.
