NAS LVM ?

Le 09-02-2018, Ascadix nous expliquait dans
fr.comp.stockage (<5a7e11a2$0$31637$426a74cc@news.free.fr>) :

Dans son message précédent, Doug713705 a écrit :

Le 09-02-2018, Ascadix nous expliquait dans
fr.comp.stockage (<5a7de231$0$31616$426a74cc@news.free.fr>) :

Et si au lieu de chercher un truc propriétaire "LVM", tu cherchais avec
le nom générique de la fonctionnalité qui t'intéresse : JBOD , je pense
que tu trouveras plus d'un boiter USB/NAS, etc.. qui réponde à la
demande.

J'ai découvert le terme JBOD cet après-midi et honnêtement je n'étais
pas tout à fait certain que ça corresponde à ce que je cherche.

Un JBOD de DD, et depuis ton OS, t'as accès un périph en mode bloc
genre "DD virtuel" de taille équivalente à la somme de tes DD.

C'est exactement ce dont j'ai besoin o/

Fait quand même gaffe à la capacité du boîtier vis à vis des divers
types de DD, et notamment gaffe à mixer des DD avec secteurs 512, 512e
et/ou du 4k.

Je note...

Là-dessus, tu met ce que t'as envie, une couche LVM si t'aime le
risque, ou un partitionnement direct MBR/GPT suivant la volumétrie et
tes besoins/possibilités.

Reste que comme déjà dis par ailleurs, c'est un tantinet risqué comme
manip, si 1 des DD lâche, tu perd tout.

J'en suis bien conscient.

Et coté perf, c'est bof, ça apporte juste de la volumétrie.

C'est bien mon objectif :)

Merci pour la confirmation que JBOD correspond à ce que je cherche.

ATTENTION : Piège en vue !!

Dès que le marketing s'en mêle, ça devient le boxon.
J'ai vu récement des boitiers (sur Amazon) avec des inscriptions en
vrac sur l'étiquette. Il y a des mélanges de termes et sigles tel que
JBOD, RAID, etc... et des nouveaux termes marketing "BIG", assortis à
des descriptions mélangées.

J'ai fait le même constat chez Amazon: Des appareils estampillés JBOD ou
RAID lorsque le fabriquant lui même dit le contraire.

Avant l'achat d'un tel matériel, je commence toujours par télécharger le
manuel depuis le site du fabriquant.

Gros risques de se faire planter quand aux capacitées rééles de l'engin
acheté.

C'est le problème avec la vente en ligne. Il y a une boutique physique
LDLC à coté de chez moi. C'est peut-être plus cher mais un bon conseil
n'a pas de prix ;-)

--
Et je viendrai relever le compteur de ton ennui
Il te faudra sans doute changer de tête
Et puis brancher ton cerveau sur ton coeur
Rien ne sera plus jamais comme avant
-- H.F. Thiéfaine, L'ascenceur de 22H43

jdd avait prétendu :

Le 09/02/2018 à 19:54, Ascadix a écrit :

Tu peux bien sur utiliser un PC "cheap" dédié, CM pas cher, un CPU cheap,
au besoin, une carte PCIe/SATA pour ajouter qq ports, une poignée de DD
dedans et tu monte ton JBOD et tu le met à dispo des autre PC chez toi via
NFS/SMB/iSCSI, etc... note que coté réseau, il vaut mieux avoir une carte
GB et un switch GB que de l'ethernet 10/100 ou du WiFi.

c'est ce que tu appelle JBOD qui m'interpelle,

Ma foi, j'utilise ce terme depuis ...+/- 30 ans.

Ceci dit, chaque fournisseur d'OS ou baie de disque utilise souvent ses
propres termes et pas toujours les sigles génériques.

Sous Windows, c'est "spanned" ou "fractionné", JBOD sur divers boitier,
et sur Linux, t'as différentes dénominations pour arriver à ça à coup
de LVM.

désolé de ne pas préciser plus, mais LVM me file de l'urticaire, il m'a
déjà couté des nuits blanches accompagnées des pertes de données
abérantes, des prises de tête pas possible lors de projets P2V de
serveurs et bref, il me sort par les yeux.

sinon j'ai déjà fait tout ça
(même monté un serveur en raid 1 miroir avec trois disques :-), mais c'était
du raid ou du lvm (les deux, en fait)

Les divers niveaux de RAID, c'est des concepts alors que LVM c'est une
surcouche de stockage qui permet entre autre de réaliser ces concepts
sur un matos donné.

si je comprends bien, il faut associer les disques avec un système de
fichiers adapté

Pas vraiment, le FS ça vient en dernier, aprés avoir créé le JBOD ou le
RAID. et les étape avant dépendent si tu fait du JBOD/RAID géré par le
matos ou géré mar l'OS.

https://www.admin-linux.fr/aufs-unir-les-contenus-de-repertoires/

ça c'est encore autre chose, exotique et inclassable.

jdd

Si tu fait du RAID (0,1,5,6...) ou du JBOD géré par le matos, ton OS ne
vera qu'un énorme périph en mode bloc, san aucune information sur le
matos réél sous-jacent. Il vera juste un gros disque dur virtuel, sur
lequel ton OS pourr a faire tout ce qu'il fait sur un bête HDD.
Entre autre partitionner comme tu veux (MBR ou GPT natif, ou mettre un
LV Met par dessus n'improte quel plan bizare de volumes LVM) et enfin,
placer là-dessus un systeme de fichiers.


Si tu gére le RAID/JBOD au niveau OS du PC sur une poignée de disque
ordinaire connectés de façon simple sur X connecteurs SATA de ta CM, là
t'as d'autre manips:
- préparer le DD suivant ce qu'attend l'OS pour permetre la création de
JBOD/RAID (sous nunux, préparer le DD avec une partition LVM. sous
ouinouin, initialiser le DD en mode "disque dynamique")
- créér le RAID/JBOD toujours suivant les manip pour ton OS.
- formater le "volume logique" ainsi obtenu avec un systeme de fichier
pour pouvoir enfin y mettre des fichiers.

--
@+
Ascadix
adresse @mail valide, mais ajoutez "sesame" dans l'objet pour que ça
arrive.

Le 09/02/2018 à 23:06, Ascadix a écrit :

jdd avait prétendu :

c'est ce que tu appelle JBOD qui m'interpelle,

Ma foi, j'utilise ce terme depuis ...+/- 30 ans.

c'est la première fois que je le vois :-(

Sous Windows, c'est "spanned" ou "fractionné"

j'ai pratiquement abandonné Windows depuis des années, au profit de
Linux (openSUSE)

désolé de ne pas préciser plus, mais LVM me file de l'urticaire,

je fais beaucoup de dépannage dans mon club, sur des machines qu'on
m'apporte, les rares cas ou j'ai du traiter du LVM, ca m'a aussi donné
des boutons... du coup j'évite moi aussi, rien que le nom des "devices"
quand on ne sait pas ce qui a été cré au départ.

RAID. et les étape avant dépendent si tu fait du JBOD/RAID géré par le
matos ou géré mar l'OS.

j'ai vu pas mal de machines RAID natif, jamais de JBOD

JBOD/RAID (sous nunux, préparer le DD avec une partition LVM.

oui, bon, encore lvm.

c'est vrai que c'est souple (dynamique), mais en cas de perte d'un
disque, on perd tout! Or la perte d'un disque c'est assez fréquent et
assez catastrophique - chaque fois que je l'ai vu ça a été brutal

jdd


--
http://dodin.org

Le 10/02/2018 à 08:26, jdd a écrit :

je fais beaucoup de dépannage dans mon club, sur des machines qu'on m'apporte, les rares cas ou j'ai du traiter du LVM, ca m'a aussi
donné des boutons... du coup j'évite moi aussi, rien que le nom des "devices" quand on ne sait pas ce qui a été cré au départ.

il ne faut pas en avoir peur
il y a 3 commandes a connaitre pour savoir comment c'est fait

pvs :Physical volume list
vgs :Volume Group list
lvs :Logical Volume list

le periph on le trouve sous /dev/VGNAME/LVNAME

[root@mds2-ipsl ~]# lvs
LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert
BACKUPFS MDT15K -wi-ao---- 200,00g
ETHERFS MDT15K -wi-ao---- 400,00g
LOCEAN-TEST MDT15K -wi-a----- 300,00g
LOCEAN2 MDT15K -wi-ao---- 300,00g
LOCEANFS MDT15K -wi-ao---- 200,00g
MGS MDT15K -wi-ao---- 1,00g
PRODIGFS MDT15K -wi-ao---- 100,00g
DATAFS MDTSSD -wi-ao---- 400,00g
HOMEFS MDTSSD -wi-ao---- 150,00g
lv_root VolGroup -wi-ao---- 76,72g
lv_swap VolGroup -wi-ao---- 32,00g



[root@mds2-ipsl ~]# pvs
PV VG Fmt Attr PSize PFree
/dev/mapper/mdt2-15k MDT15K lvm2 a-- 2,18t 732,64g
/dev/mapper/mdt2-ssd MDTSSD lvm2 a-- 744,22g 194,22g
/dev/sda5 VolGroup lvm2 a-- 108,72g 0

[root@mds2-ipsl ~]# vgs
VG #PV #LV #SN Attr VSize VFree
MDT15K 1 7 0 wz--n- 2,18t 732,64g
MDTSSD 1 2 0 wz--n- 744,22g 194,22g
VolGroup 1 2 0 wz--n- 108,72g 0

[root@mds2-ipsl ~]# lvs
LV VG Attr LSize Pool Origin Data% Move Log Cpy%Sync Convert
BACKUPFS MDT15K -wi-ao---- 200,00g
ETHERFS MDT15K -wi-ao---- 400,00g
LOCEAN-TEST MDT15K -wi-a----- 300,00g
LOCEAN2 MDT15K -wi-ao---- 300,00g
LOCEANFS MDT15K -wi-ao---- 200,00g
MGS MDT15K -wi-ao---- 1,00g
PRODIGFS MDT15K -wi-ao---- 100,00g
DATAFS MDTSSD -wi-ao---- 400,00g
HOMEFS MDTSSD -wi-ao---- 150,00g
lv_root VolGroup -wi-ao---- 76,72g
lv_swap VolGroup -wi-ao---- 32,00g

Le 10/02/2018 à 09:31, Philippe Weill a écrit :

Le 10/02/2018 à 08:26, jdd a écrit :

je fais beaucoup de dépannage dans mon club, sur des machines qu'on
m'apporte, les rares cas ou j'ai du traiter du LVM, ca m'a aussi donné
des boutons... du coup j'évite moi aussi, rien que le nom des
"devices" quand on ne sait pas ce qui a été cré au départ.

il ne faut pas en avoir peur
il y a 3 commandes a connaitre pour savoir comment c'est fait

oui, ben... faut déjà que ton système rescue les ai, ensuite que tu
comprenne comment rebooter sur un système qui marche

la panne vient souvent d'un mot de passe root oublié ou de data à
récupérer sur disque endommagé

je sais faire en MSDOS ou GPT, le lvm c'est une complication en plus.

sans doute utile pour certaines configurations, mais sur un poste perso,
en 20 ans de Linux je n'en ai jamais senti le besoin :-(

et je dépanne un ou deux appareils par semaine depuis le début, c'est
peu pour faire des statistiques, mais beaucoup par rapport à la moyenne,
et je n'ai eu que deux ou trois échecs en 20 ans :-(, dont un appareil
uefi qui a refusé obstinément de démarrer linux par défaut

jdd

pvs :Physical volume list
vgs :Volume Group list
lvs :Logical Volume list

le periph on le trouve sous /dev/VGNAME/LVNAME

[root@mds2-ipsl ~]# lvs
  LV          VG       Attr       LSize   Pool Origin Data%  Move Log
Cpy%Sync Convert
  BACKUPFS    MDT15K   -wi-ao---- 200,00g
  ETHERFS     MDT15K   -wi-ao---- 400,00g
  LOCEAN-TEST MDT15K   -wi-a----- 300,00g
  LOCEAN2     MDT15K   -wi-ao---- 300,00g
  LOCEANFS    MDT15K   -wi-ao---- 200,00g
  MGS         MDT15K   -wi-ao----   1,00g
  PRODIGFS    MDT15K   -wi-ao---- 100,00g
  DATAFS      MDTSSD   -wi-ao---- 400,00g
  HOMEFS      MDTSSD   -wi-ao---- 150,00g
  lv_root     VolGroup -wi-ao----  76,72g
  lv_swap     VolGroup -wi-ao----  32,00g



[root@mds2-ipsl ~]# pvs
  PV                   VG       Fmt  Attr PSize   PFree
  /dev/mapper/mdt2-15k MDT15K   lvm2 a--    2,18t 732,64g
  /dev/mapper/mdt2-ssd MDTSSD   lvm2 a--  744,22g 194,22g
  /dev/sda5            VolGroup lvm2 a--  108,72g      0

[root@mds2-ipsl ~]# vgs
  VG       #PV #LV #SN Attr   VSize   VFree
  MDT15K     1   7   0 wz--n-   2,18t 732,64g
  MDTSSD     1   2   0 wz--n- 744,22g 194,22g
  VolGroup   1   2   0 wz--n- 108,72g      0

[root@mds2-ipsl ~]# lvs
  LV          VG       Attr       LSize   Pool Origin Data%  Move Log
Cpy%Sync Convert
  BACKUPFS    MDT15K   -wi-ao---- 200,00g
  ETHERFS     MDT15K   -wi-ao---- 400,00g
  LOCEAN-TEST MDT15K   -wi-a----- 300,00g
  LOCEAN2     MDT15K   -wi-ao---- 300,00g
  LOCEANFS    MDT15K   -wi-ao---- 200,00g
  MGS         MDT15K   -wi-ao----   1,00g
  PRODIGFS    MDT15K   -wi-ao---- 100,00g
  DATAFS      MDTSSD   -wi-ao---- 400,00g
  HOMEFS      MDTSSD   -wi-ao---- 150,00g
  lv_root     VolGroup -wi-ao----  76,72g
  lv_swap     VolGroup -wi-ao----  32,00g

--
http://dodin.org

Le 10-02-2018, jdd nous expliquait dans
fr.comp.stockage (<5a7eb229$0$3427$426a74cc@news.free.fr>) :

Le 10/02/2018 à 09:31, Philippe Weill a écrit :

Le 10/02/2018 à 08:26, jdd a écrit :

je fais beaucoup de dépannage dans mon club, sur des machines qu'on
m'apporte, les rares cas ou j'ai du traiter du LVM, ca m'a aussi donné
des boutons... du coup j'évite moi aussi, rien que le nom des
"devices" quand on ne sait pas ce qui a été cré au départ.

il ne faut pas en avoir peur
il y a 3 commandes a connaitre pour savoir comment c'est fait

oui, ben... faut déjà que ton système rescue les ai,

S'il ne les a pas ce n'est donc pas un système de secours et il suffit
de les ajouter (YMMV en fonction de la distribution).

ensuite que tu comprenne comment rebooter sur un système qui marche

Ça n'a rien de complexe. En premier lieu il faut déjà faire reconnaitre
les volumes par le système:

# vgchange -ay

Pour lister les volumes logiques:

# lvdisplay
ou pour s'éviter les infos inutiles pour le moment
# lvdisplay | grep Path

Ensuite il suffit de monter les partitions comme elles se sont affichées
avec la commande précedente.

Idéalement le nom des partitions (des volumes logiques) doit être
suffisement significatif pour aider.

Chez moi ça donne:

root@cyberlab:~# lvdisplay | grep Path
LV Path /dev/slackvg/root
LV Path /dev/slackvg/usr
LV Path /dev/slackvg/var
LV Path /dev/slackvg/tmp

Ici on voit que le goupe de volumes (volume group) s'appelle slackvg et
qu'il contient 4 volumes logiques dont les noms sont la dernière
composantes du chemin affiché.

Exemple pour monter l'un des volumes:

# mount /dev/slackvg/root /
# mount /dev/slackvg/usr /usr
etc...

la panne vient souvent d'un mot de passe root oublié ou de data à
récupérer sur disque endommagé

je sais faire en MSDOS ou GPT, le lvm c'est une complication en plus.

Non, ça ne change rien. MBR et GPT gèrent la table de partitions.
LVM gère les volumes logiques.

Car, et c'est souvent là que réside la confusion, partitionner les
disques au préalable reste nécessaire pour créer des volumes logiques.

Typiquement, faire une seule partition sur tout le disque est
généralement suffisant (Sauf pour un disque de boot qui aura besoin de
deux partitions suplémentaires: EFI et /boot pour le noyau).

Car:
- le noyau ne peut pas être stocké dans le LVM et un initrd sera
nécessaire pour charger les drivers kivonbien©
- la partition EFI doit être en vfat et accessible sans drivers par le
BIOS

sans doute utile pour certaines configurations, mais sur un poste perso,
en 20 ans de Linux je n'en ai jamais senti le besoin :-(

C'est très utile lorsque le partitionnement que tu as mis en place il y
a 10 ans avoue ses limites et que tu as besoin, par exemple, d'ajouter
de l'espace à un volume. Dans ce cas tu n'as qu'a ajouter un disque
(physical drive) à ton groupe de volume puis étendre ton volume logique
de la taille suplémentaire et, pouf, tu as de l'espace dispo partout où
tu en as besoin.

et je dépanne un ou deux appareils par semaine depuis le début, c'est
peu pour faire des statistiques, mais beaucoup par rapport à la moyenne,
et je n'ai eu que deux ou trois échecs en 20 ans :-(

Ce n'est qu'une question d'expérience. Lorsque tu y auras vraiment gouté
tu ne t'en sépareras plus ;-)

--
Je ne connaîtrai rien de tes habitudes
Il se peut même que tu sois décédée
Mais j'demanderai ta main pour la couper
-- H.F. Thiéfaine, L'ascenceur de 22H43

Salut,

Doug713705 a écrit le 10/02/2018 à 10:25 :

Car:
- le noyau ne peut pas être stocké dans le LVM et un initrd sera
nécessaire pour charger les drivers kivonbien©
- la partition EFI doit être en vfat et accessible sans drivers par le
BIOS

sans doute utile pour certaines configurations, mais sur un poste perso,
en 20 ans de Linux je n'en ai jamais senti le besoin :-(

J'ai plusieurs cas (dont la machine depuis laquelle j'écris) où /boot
est en LVM. Depuis GRUB2, j’avais lu que ça ne posait plus problème.



--
Stéphane

Le 10/02/2018 à 09:49, jdd a écrit :

Le 10/02/2018 à 09:31, Philippe Weill a écrit :

Le 10/02/2018 à 08:26, jdd a écrit :

je fais beaucoup de dépannage dans mon club, sur des machines qu'on m'apporte, les rares cas ou j'ai du traiter du LVM, ca m'a
aussi donné des boutons... du coup j'évite moi aussi, rien que le nom des "devices" quand on ne sait pas ce qui a été cré au départ.

certaines distributions font des installations LVM par défaut

oui, ben... faut déjà que ton système rescue les ai, ensuite que tu comprenne comment rebooter sur un système qui marche

C'est quand meme la base

mon préféré c'est sysrescuecd
http://www.system-rescue-cd.org/http://www.system-rescue-cd.org/


et effectivement comme cela a été écrit
vgchange -a y

la panne vient souvent d'un mot de passe root oublié ou de data à récupérer sur disque endommagé

pour les data à récupérer pour moi c'est ddrescue a faire avant tout autre solution
et travail sur une image+

je sais faire en MSDOS ou GPT, le lvm c'est une complication en plus.

sans doute utile pour certaines configurations, mais sur un poste perso, en 20 ans de Linux je n'en ai jamais senti le besoin :-(

et je dépanne un ou deux appareils par semaine depuis le début, c'est peu pour faire des statistiques, mais beaucoup par rapport à
la moyenne, et je n'ai eu que deux ou trois échecs en 20 ans :-(, dont un appareil uefi qui a refusé obstinément de démarrer linux
par défaut

les BIOS moisis oui cela existe

jdd

Le Sat, 10 Feb 2018 09:25:56 +0000, Doug713705 a écrit :

il ne faut pas en avoir peur il y a 3 commandes a connaitre pour
savoir comment c'est fait

oui, ben... faut déjà que ton système rescue les ai,

S'il ne les a pas ce n'est donc pas un système de secours et il suffit
de les ajouter (YMMV en fonction de la distribution).

Si LVM n'est pas présent sur un disque rescue, c'est que ton 'rescue' n'en
est pas un... => changer de rescue CD !

Non, ça ne change rien. MBR et GPT gèrent la table de partitions.
LVM gère les volumes logiques.

oui

Car, et c'est souvent là que réside la confusion, partitionner les
disques au préalable reste nécessaire pour créer des volumes logiques.

Non !
LVM n'impose pas de partitionner un disque préalabmement à son
utilisation avec LVM !
Il est parfaitement possible d'utiliser la commande suivante :

pvcreate /dev/sda

Et le volume /dev/sda sera parfaitement disponible pour être ajouté à un
VG, bien que les outils de partitionnement (fdisk, parted) verront un
disque non initilisé.

Ou alors on peut créer une table de partition avec un unique (ou
plusieurs) volume LVM.

A vrai dire, il y a du pour et du contre pour les 2 approches
(personnelement je préfère partitionner et créer un volume LVM, ça evite
la confusion surtout si je ne suis pas le seul à opérer sur les machines)

sans doute utile pour certaines configurations, mais sur un poste
perso, en 20 ans de Linux je n'en ai jamais senti le besoin :-(

C'est très utile lorsque le partitionnement que tu as mis en place il y
a 10 ans avoue ses limites et que tu as besoin, par exemple, d'ajouter
de l'espace à un volume. Dans ce cas tu n'as qu'a ajouter un disque
(physical drive) à ton groupe de volume puis étendre ton volume logique
de la taille suplémentaire et, pouf, tu as de l'espace dispo partout où
tu en as besoin.

C'est parce que tu ne sais pas t'en servir...

Quel bonheur de faire un lvextend à chaud lorsqu'on se retrouve un peu à
l'étroit sur son /home !

Moi j'utilise LVM depuis plus de 10 ans y compris sur mes laptops et
stations de travail. Mes volumes sont dimenssionnés au plus juste, et je
fais varier la volumétrie au besoin.

Et je ne te parles pas des setups beaucoup plus spécifiques sur des
serveurs avec du snapshooting, du CoW, du cLVM...

--
Rico
LVM, l'essayer, c'est l'adopter

Le 12/02/2018 à 11:41, Eric Belhomme a écrit :

LVM n'impose pas de partitionner un disque préalabmement à son
utilisation avec LVM !
Il est parfaitement possible d'utiliser la commande suivante :

pvcreate /dev/sda

Et le volume /dev/sda sera parfaitement disponible pour être ajouté à un
VG, bien que les outils de partitionnement (fdisk, parted) verront un
disque non initilisé.

Ou alors on peut créer une table de partition avec un unique (ou
plusieurs) volume LVM.

A vrai dire, il y a du pour et du contre pour les 2 approches

Je vois bien le pour du partitionnement et le contre de son absence,
mais quel est le contre du partitionnement et le pour de son absence ?

(personnelement je préfère partitionner et créer un volume LVM, ça evite
la confusion surtout si je ne suis pas le seul à opérer sur les machines)

Pareil.