Je rencontre un problème (de filesystem ?) sur un serveur 12 × 250 Go, RAID5
en soft (Linux, noyau 2.6.3), 1 spare.
D'après 'cat /proc/mdstat', le tableau RAID a bien été créé (raidtools2 sous
Debian Woody) et devrait tourner sans problème.
Seulement 'mke2fs' (lancé par 'mke2fs /dev/md0') n'affiche rien d'autre que
son message de démarrage (« mke2fs 1.27 (8-Mar-2002) ») et tourne depuis
plus de 10 heures. Je suppose qu'il ne parvient pas à gérer la capacité
(2,5 To utiles) bien que sa documentation spécifie qu'il devrait permettre de
créer des systèmes de fichiers jusqu'à 4 To. La commande 'top' m'indique
qu'il est supposé être en train de travailler (10% de CPU).
Avez-vous déjà rencontré un problème similaire ?
Savez-vous comment vérifier si mke2fs est bien en train de fonctionner ?
Seulement 'mke2fs' (lancé par 'mke2fs /dev/md0') n'affiche rien d'autre que son message de démarrage (« mke2fs 1.27 (8-Mar-2002) ») et tourne depuis plus de 10 heures.
Je n'ai jamais testé mke2fs sur des volumes superieurs à 1.75 To. Je ne sais pas ce que vous voulez stocker sur ce volume mais : - si le nombre de ficher est réduit, il peut être plus qu'interessant de réduire le nombre d'inode (surtout dans le cas d'un fsck - il y a des options à mke2fs pour indiquer qu'il s'agit d'un groupe RAID - si le nombre de fichier est important, ext2 n'est pas forcement un bon choix
François
On Thu, 26 Feb 2004 11:48:30 +0100, Seb wrote:
Seulement 'mke2fs' (lancé par 'mke2fs /dev/md0') n'affiche rien d'autre que
son message de démarrage (« mke2fs 1.27 (8-Mar-2002) ») et tourne depuis
plus de 10 heures.
Je n'ai jamais testé mke2fs sur des volumes superieurs à 1.75 To. Je ne
sais pas ce que vous voulez stocker sur ce volume mais :
- si le nombre de ficher est réduit, il peut être plus
qu'interessant de réduire le nombre d'inode (surtout dans le cas d'un
fsck
- il y a des options à mke2fs pour indiquer qu'il s'agit d'un groupe RAID
- si le nombre de fichier est important, ext2 n'est pas forcement un
bon choix
Seulement 'mke2fs' (lancé par 'mke2fs /dev/md0') n'affiche rien d'autre que son message de démarrage (« mke2fs 1.27 (8-Mar-2002) ») et tourne depuis plus de 10 heures.
Je n'ai jamais testé mke2fs sur des volumes superieurs à 1.75 To. Je ne sais pas ce que vous voulez stocker sur ce volume mais : - si le nombre de ficher est réduit, il peut être plus qu'interessant de réduire le nombre d'inode (surtout dans le cas d'un fsck - il y a des options à mke2fs pour indiquer qu'il s'agit d'un groupe RAID - si le nombre de fichier est important, ext2 n'est pas forcement un bon choix
François
Emmanuel Florac
Le Thu, 26 Feb 2004 11:48:30 +0100, Seb écrivait:
Avez-vous déjà rencontré un problème similaire ?
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To. Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de 2 To, mais en passant par LVM pas de problème.
Savez-vous comment vérifier si mke2fs est bien en train de fonctionner ?
ps -ef | grep mke2fs peut-être? :)
Voyez-vous des pistes que j'aurais négligées ?
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme Reiser je n'ai jamais eu de soucis sérieux. Et éventuellement essaie de constituer ton RAID avec LVM/EVMS pour voir si ça fait une différence.
-- L'Algérie était au bord du gouffre; aujourd'hui, elle a fait un grand pas en avant. Kaid Ahmed.
Le Thu, 26 Feb 2004 11:48:30 +0100, Seb écrivait:
Avez-vous déjà rencontré un problème similaire ?
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des
partitions de plus d'1 To.
Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de
2 To, mais en passant par LVM pas de problème.
Savez-vous comment vérifier si mke2fs est bien en train de fonctionner ?
ps -ef | grep mke2fs peut-être? :)
Voyez-vous des pistes que j'aurais négligées ?
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme
Reiser je n'ai jamais eu de soucis sérieux.
Et éventuellement essaie de constituer ton RAID avec LVM/EVMS pour voir
si ça fait une différence.
--
L'Algérie était au bord du gouffre; aujourd'hui, elle a fait un grand
pas en avant.
Kaid Ahmed.
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To. Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de 2 To, mais en passant par LVM pas de problème.
Savez-vous comment vérifier si mke2fs est bien en train de fonctionner ?
ps -ef | grep mke2fs peut-être? :)
Voyez-vous des pistes que j'aurais négligées ?
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme Reiser je n'ai jamais eu de soucis sérieux. Et éventuellement essaie de constituer ton RAID avec LVM/EVMS pour voir si ça fait une différence.
-- L'Algérie était au bord du gouffre; aujourd'hui, elle a fait un grand pas en avant. Kaid Ahmed.
Emmanuel Florac
Le Thu, 26 Feb 2004 12:09:54 +0000, Loic Tortay écrivait:
Je ne sais pas si le support de XFS est présent (et même possible à l'heure actuelle) dans les noyaux 2.6;
Si si.
-- Sutor ne ultra Crepidam.
Le Thu, 26 Feb 2004 12:09:54 +0000, Loic Tortay écrivait:
Je ne sais pas si le support de XFS est présent (et même possible à
l'heure actuelle) dans les noyaux 2.6;
Le Thu, 26 Feb 2004 12:09:54 +0000, Loic Tortay écrivait:
Je ne sais pas si le support de XFS est présent (et même possible à l'heure actuelle) dans les noyaux 2.6;
Si si.
-- Sutor ne ultra Crepidam.
Seb
Bonjour,
Personellement, je n'utilise pas EXT2 sur des serveurs de disques Linux, mais XFS, qui est journalisé (comme EXT3), gère bien un très grand bombre de fichiers et pour lequel le formatage est instantané (< 30 s) sur des systèmes de fichiers de 2 To.
J'ai conduit plusieurs essais ces dernières 48h sur la base de ce conseil.
mkfs.xfs ne parvenait pas à créer un système de fichiers sur /dev/md0 lorsque celui-ci était composé de 12 disques (RAID5, 1 spare), c'est-à-dire que la fenêtre (xterm) se « gèle » et que l'on ne parvient pas à se loguer à distance (ssh). Solution: On/Off...
En revanche, mkfs.xfs se comportait normalement (et créait effectivement le filesystem très rapidement) pour des tableaux RAID de 3 et 7 (6+1) disques. Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à 7 disques, en prenant cette fois les derniers (et non les premiers) branchés sur la carte 3ware. Succès.
À 10 disques, le filesystem (xfs) est bien créé mais je ne parviens pas à le monter: # mount /dev/md0 /mnt mount: Unknown error 990
Une recherche sur Google n'a pas été très informative sur ce message d'erreur.
Descente à 9 disques: avec xfs tout se passe bien. J'essaie un ext3: il se crée, mais je ne peux pas le monter (même message qu'à 10 disques).
Bilan: quelque chose foire dans les grandes largeurs et c'est lié au nombre de disques. Vu que la barrière se situe à 8 disques (de 250 Go chacun), cela ressemble à un problème avec la « barrière » des 2 Go, soit côté kernel (2.6.2), soit côté raidtools.
Qu'est-ce que vous en pensez ? Cela mérite-t-il un post dans une ML consacrée au noyau ? Avez-vous des idées d'autres choses à tester ?
Merci pour toute idée !
Seb.
Bonjour,
Personellement, je n'utilise pas EXT2 sur des serveurs de disques Linux,
mais XFS, qui est journalisé (comme EXT3), gère bien un très grand
bombre de fichiers et pour lequel le formatage est instantané (< 30 s)
sur des systèmes de fichiers de 2 To.
J'ai conduit plusieurs essais ces dernières 48h sur la base de ce conseil.
mkfs.xfs ne parvenait pas à créer un système de fichiers sur /dev/md0 lorsque
celui-ci était composé de 12 disques (RAID5, 1 spare), c'est-à-dire que la
fenêtre (xterm) se « gèle » et que l'on ne parvient pas à se loguer à
distance (ssh). Solution: On/Off...
En revanche, mkfs.xfs se comportait normalement (et créait effectivement
le filesystem très rapidement) pour des tableaux RAID de 3 et 7 (6+1) disques.
Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à
7 disques, en prenant cette fois les derniers (et non les premiers) branchés
sur la carte 3ware. Succès.
À 10 disques, le filesystem (xfs) est bien créé mais je ne parviens pas à le
monter:
# mount /dev/md0 /mnt
mount: Unknown error 990
Une recherche sur Google n'a pas été très informative sur ce message d'erreur.
Descente à 9 disques: avec xfs tout se passe bien. J'essaie un ext3: il se
crée, mais je ne peux pas le monter (même message qu'à 10 disques).
Bilan: quelque chose foire dans les grandes largeurs et c'est lié au nombre de
disques. Vu que la barrière se situe à 8 disques (de 250 Go chacun), cela
ressemble à un problème avec la « barrière » des 2 Go, soit côté kernel
(2.6.2), soit côté raidtools.
Qu'est-ce que vous en pensez ? Cela mérite-t-il un post dans une ML consacrée
au noyau ? Avez-vous des idées d'autres choses à tester ?
Personellement, je n'utilise pas EXT2 sur des serveurs de disques Linux, mais XFS, qui est journalisé (comme EXT3), gère bien un très grand bombre de fichiers et pour lequel le formatage est instantané (< 30 s) sur des systèmes de fichiers de 2 To.
J'ai conduit plusieurs essais ces dernières 48h sur la base de ce conseil.
mkfs.xfs ne parvenait pas à créer un système de fichiers sur /dev/md0 lorsque celui-ci était composé de 12 disques (RAID5, 1 spare), c'est-à-dire que la fenêtre (xterm) se « gèle » et que l'on ne parvient pas à se loguer à distance (ssh). Solution: On/Off...
En revanche, mkfs.xfs se comportait normalement (et créait effectivement le filesystem très rapidement) pour des tableaux RAID de 3 et 7 (6+1) disques. Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à 7 disques, en prenant cette fois les derniers (et non les premiers) branchés sur la carte 3ware. Succès.
À 10 disques, le filesystem (xfs) est bien créé mais je ne parviens pas à le monter: # mount /dev/md0 /mnt mount: Unknown error 990
Une recherche sur Google n'a pas été très informative sur ce message d'erreur.
Descente à 9 disques: avec xfs tout se passe bien. J'essaie un ext3: il se crée, mais je ne peux pas le monter (même message qu'à 10 disques).
Bilan: quelque chose foire dans les grandes largeurs et c'est lié au nombre de disques. Vu que la barrière se situe à 8 disques (de 250 Go chacun), cela ressemble à un problème avec la « barrière » des 2 Go, soit côté kernel (2.6.2), soit côté raidtools.
Qu'est-ce que vous en pensez ? Cela mérite-t-il un post dans une ML consacrée au noyau ? Avez-vous des idées d'autres choses à tester ?
Merci pour toute idée !
Seb.
Seb
Bonjour,
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To.
Aurais-je raté une étape ? Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de 2 To, mais en passant par LVM pas de problème.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5, je croyais qu'il servait à mettre bout à bout des partitions, une sorte de généralisation du JBOD. Avez-vous un pointeur en tête ?
ps -ef | grep mke2fs peut-être? :)
C'est ce que j'ai fait (à peu près), mais cela ne donne une information que sur le processus, pas sur son résultat...
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme Reiser je n'ai jamais eu de soucis sérieux.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé par mkraid ? Cette confirmation m'intéresserait beaucoup !
Merci, Seb.
Bonjour,
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des
partitions de plus d'1 To.
Aurais-je raté une étape ?
Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de
2 To, mais en passant par LVM pas de problème.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5,
je croyais qu'il servait à mettre bout à bout des partitions, une sorte de
généralisation du JBOD. Avez-vous un pointeur en tête ?
ps -ef | grep mke2fs peut-être? :)
C'est ce que j'ai fait (à peu près), mais cela ne donne une information que
sur le processus, pas sur son résultat...
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme
Reiser je n'ai jamais eu de soucis sérieux.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé
par mkraid ? Cette confirmation m'intéresserait beaucoup !
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To.
Aurais-je raté une étape ? Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Par ailleurs avec un noyau 2.4.2x impossible de créer un RAID de plus de 2 To, mais en passant par LVM pas de problème.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5, je croyais qu'il servait à mettre bout à bout des partitions, une sorte de généralisation du JBOD. Avez-vous un pointeur en tête ?
ps -ef | grep mke2fs peut-être? :)
C'est ce que j'ai fait (à peu près), mais cela ne donne une information que sur le processus, pas sur son résultat...
Oui, utiliser un vrai fs et pas cette crotte d'ext2/3. Avec XFS comme Reiser je n'ai jamais eu de soucis sérieux.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé par mkraid ? Cette confirmation m'intéresserait beaucoup !
Merci, Seb.
rene-marc
Seb :
Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à 7 disques, en prenant cette fois les derniers (et non les premiers) branchés sur la carte 3ware. Succès.
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Seb <seb.pas-de-spam@h-k.fr> :
Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à
7 disques, en prenant cette fois les derniers (et non les premiers) branchés
sur la carte 3ware. Succès.
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Retour à l'essai de 12 disques: nouvel échec, Troublé, j'ai réessayé à 7 disques, en prenant cette fois les derniers (et non les premiers) branchés sur la carte 3ware. Succès.
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Emmanuel Florac
Dans article , disait...
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste... Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
Question à deux balles, c'est quel modèle de carte exactement?
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Dans article <slrnc43rae.30b6.rmd@rmd.hosted.firstream.net>,
rmd@mecreant.org disait...
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste... Par
ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes
3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans
l'ombre d'un soucis.
Question à deux balles, c'est quel modèle de carte exactement?
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste... Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
Question à deux balles, c'est quel modèle de carte exactement?
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Emmanuel Florac
Dans article , seb.pas-de- disait...
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To.
Aurais-je raté une étape ? Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Pour créer des partitions dans le volume RAID, par exemple. Ce n'est évidemment pas obligatoire.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5, je croyais qu'il servait à mettre bout à bout des partitions, une sorte de généralisation du JBOD. Avez-vous un pointeur en tête ?
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé par mkraid ? Cette confirmation m'intéresserait beaucoup !
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille conséquente en RAID software... En RAID 5 hardware, aucun problème. A mon avis, la première chose à faire serait d'investir dans une bonne carte 3Ware...
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Dans article <pan.2004.02.28.23.59.08.266284.2202@h-k.fr>, seb.pas-de-
spam@h-k.fr disait...
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des
partitions de plus d'1 To.
Aurais-je raté une étape ?
Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Pour créer des partitions dans le volume RAID, par exemple. Ce n'est
évidemment pas obligatoire.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5,
je croyais qu'il servait à mettre bout à bout des partitions, une sorte de
généralisation du JBOD. Avez-vous un pointeur en tête ?
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé
par mkraid ? Cette confirmation m'intéresserait beaucoup !
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille
conséquente en RAID software... En RAID 5 hardware, aucun problème. A mon
avis, la première chose à faire serait d'investir dans une bonne carte
3Ware...
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Oui. Plusieurs outils (par exemple cfdisk) ne savent pas gérer des partitions de plus d'1 To.
Aurais-je raté une étape ? Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Pour créer des partitions dans le volume RAID, par exemple. Ce n'est évidemment pas obligatoire.
Tiens, je ne savais pas que LVM fournissait la possibilité de créer du RAID5, je croyais qu'il servait à mettre bout à bout des partitions, une sorte de généralisation du JBOD. Avez-vous un pointeur en tête ?
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
Avez-vous déjà réussi à créer un fs avec xfs sur un /dev/md0 > 2 To créé par mkraid ? Cette confirmation m'intéresserait beaucoup !
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille conséquente en RAID software... En RAID 5 hardware, aucun problème. A mon avis, la première chose à faire serait d'investir dans une bonne carte 3Ware...
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
rene-marc
Emmanuel Florac :
Non, pas à ma connaissance, mais c'est peut-être une piste... Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
Ah oui, mais je pensais à 2 To par volume raid. Je crois avoir vu ca dans la doc d'une 7508.
Emmanuel Florac <eflorac@verisign.com> :
Non, pas à ma connaissance, mais c'est peut-être une piste... Par
ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes
3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans
l'ombre d'un soucis.
Ah oui, mais je pensais à 2 To par volume raid. Je crois avoir vu ca
dans la doc d'une 7508.
Non, pas à ma connaissance, mais c'est peut-être une piste... Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
Ah oui, mais je pensais à 2 To par volume raid. Je crois avoir vu ca dans la doc d'une 7508.
rene-marc
rene-marc :
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Je viens de vérifier dans la doc de la 8506:
http://www.3ware.com/products/pdf/8506-US.pdf
The Escalade 8506 series features the only 8 and 12 port SATA RAID controllers available on the market today, with support for up to 3TB of storage per controller (dependent on drive capacity, 2TB per single array maximum.)
La taille max d'un array est de 2 To. Donc, pour avoir un file system dépassant cette taille, il faut utiliser un volume manager au dessus de plusieurs arrays.
rene-marc <rmd@mecreant.org> :
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Je viens de vérifier dans la doc de la 8506:
http://www.3ware.com/products/pdf/8506-US.pdf
The Escalade 8506 series features the only 8 and 12 port SATA RAID
controllers available on the market today, with support for up to 3TB of
storage per controller (dependent on drive capacity, 2TB per single
array maximum.)
La taille max d'un array est de 2 To. Donc, pour avoir un file system
dépassant cette taille, il faut utiliser un volume manager au dessus de
plusieurs arrays.
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Je viens de vérifier dans la doc de la 8506:
http://www.3ware.com/products/pdf/8506-US.pdf
The Escalade 8506 series features the only 8 and 12 port SATA RAID controllers available on the market today, with support for up to 3TB of storage per controller (dependent on drive capacity, 2TB per single array maximum.)
La taille max d'un array est de 2 To. Donc, pour avoir un file system dépassant cette taille, il faut utiliser un volume manager au dessus de plusieurs arrays.
