Je rencontre un problème (de filesystem ?) sur un serveur 12 × 250 Go, RAID5
en soft (Linux, noyau 2.6.3), 1 spare.
D'après 'cat /proc/mdstat', le tableau RAID a bien été créé (raidtools2 sous
Debian Woody) et devrait tourner sans problème.
Seulement 'mke2fs' (lancé par 'mke2fs /dev/md0') n'affiche rien d'autre que
son message de démarrage (« mke2fs 1.27 (8-Mar-2002) ») et tourne depuis
plus de 10 heures. Je suppose qu'il ne parvient pas à gérer la capacité
(2,5 To utiles) bien que sa documentation spécifie qu'il devrait permettre de
créer des systèmes de fichiers jusqu'à 4 To. La commande 'top' m'indique
qu'il est supposé être en train de travailler (10% de CPU).
Avez-vous déjà rencontré un problème similaire ?
Savez-vous comment vérifier si mke2fs est bien en train de fonctionner ?
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste...
La carte 3ware que j'utilise (7508 ATA 12 ports) est effectivement limitée à 2 To et c'est pour cette raison que j'utilise un raid soft. (Sur une autre machine, j'ai fait un tableau raid de moins de 2 To avec l'interface bios de la carte.)
Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
OK, merci pour l'information.
Un point qui ne me semble pas clair: quels sont les outils liés à LVM pour créer du raid ? Pour ma part j'ai configuré le noyau pour tirer parti de LVM/RAID (ainsi que des fs de plus de 2 To) et j'applique ensuite mkraid des raidtools. S'agit-il de la même chose ? Ou y a-t-il une autre suite de logiciels liée à LVM, analogue aux raidtools ou à mdadm ?
Merci ! Seb.
Bonjour,
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste...
La carte 3ware que j'utilise (7508 ATA 12 ports) est effectivement limitée à
2 To et c'est pour cette raison que j'utilise un raid soft.
(Sur une autre machine, j'ai fait un tableau raid de moins de 2 To avec
l'interface bios de la carte.)
Par
ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes
3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans
l'ombre d'un soucis.
OK, merci pour l'information.
Un point qui ne me semble pas clair: quels sont les outils liés à LVM pour
créer du raid ? Pour ma part j'ai configuré le noyau pour tirer parti de
LVM/RAID (ainsi que des fs de plus de 2 To) et j'applique ensuite mkraid des
raidtools. S'agit-il de la même chose ? Ou y a-t-il une autre suite de
logiciels liée à LVM, analogue aux raidtools ou à mdadm ?
Les cartes 3ware ne sont pas limités à des raid de 2 To ???
Non, pas à ma connaissance, mais c'est peut-être une piste...
La carte 3ware que j'utilise (7508 ATA 12 ports) est effectivement limitée à 2 To et c'est pour cette raison que j'utilise un raid soft. (Sur une autre machine, j'ai fait un tableau raid de moins de 2 To avec l'interface bios de la carte.)
Par ailleurs j'ai déjà créé des volumes de plus de 2 To avec deux cartes 3ware 7506-8 strippées ensemble avec LVM, le tout formaté en XFS sans l'ombre d'un soucis.
OK, merci pour l'information.
Un point qui ne me semble pas clair: quels sont les outils liés à LVM pour créer du raid ? Pour ma part j'ai configuré le noyau pour tirer parti de LVM/RAID (ainsi que des fs de plus de 2 To) et j'applique ensuite mkraid des raidtools. S'agit-il de la même chose ? Ou y a-t-il une autre suite de logiciels liée à LVM, analogue aux raidtools ou à mdadm ?
Merci ! Seb.
Seb
Hello,
Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ? Pour créer des partitions dans le volume RAID, par exemple. Ce n'est
évidemment pas obligatoire.
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus grande possible, je n'y avais pas songé.
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
D'accord. (Désolé d'avoir reposé la question il y a quelques minutes.)
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille conséquente en RAID software... En RAID 5 hardware, aucun problème. A mon avis, la première chose à faire serait d'investir dans une bonne carte 3Ware...
L'idée ne m'était pas venue non plus. Et ce n'est pas de gaieté de coeur. Nous avons acheté une carte 3ware pensant qu'elle nous permettrait de faire du RAID5 sur les 12 disques, et c'est au moment de créer le tableau RAID, via l'interface BIOS, que j'ai appris (par la carte elle-même) qu'elle ne peut pas gérer plus de 2 To.
Seule solution pour sauver la situation, tenter de faire la même chose en soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits, c'est un disque de perdu), mais aussi parce que le cahier des charges de la machine est de disposer d'une seule partition (gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu léger pour nos besoins -- plusieurs centaines de scans haute résolution, format A1, chaque jour).
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des outils que j'utilise. Une solution de rattrapage serait de créer deux RAID plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID), soit en RAID0 (total: 4 disques « perdus »).
Lequel des deux me recommanderiez-vous, et avec quel outil ?
Merci ! Seb.
Hello,
Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ?
Pour créer des partitions dans le volume RAID, par exemple. Ce n'est
évidemment pas obligatoire.
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus
grande possible, je n'y avais pas songé.
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
D'accord.
(Désolé d'avoir reposé la question il y a quelques minutes.)
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille
conséquente en RAID software... En RAID 5 hardware, aucun problème. A
mon avis, la première chose à faire serait d'investir dans une bonne
carte 3Ware...
L'idée ne m'était pas venue non plus. Et ce n'est pas de gaieté de coeur.
Nous avons acheté une carte 3ware pensant qu'elle nous permettrait de faire du
RAID5 sur les 12 disques, et c'est au moment de créer le tableau RAID, via
l'interface BIOS, que j'ai appris (par la carte elle-même) qu'elle ne peut pas
gérer plus de 2 To.
Seule solution pour sauver la situation, tenter de faire la même chose en
soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits,
c'est un disque de perdu), mais aussi parce que le
cahier des charges de la machine est de disposer d'une seule partition
(gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu
léger pour nos besoins -- plusieurs centaines de scans haute résolution,
format A1, chaque jour).
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des
outils que j'utilise. Une solution de rattrapage serait de créer deux RAID
plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID),
soit en RAID0 (total: 4 disques « perdus »).
Lequel des deux me recommanderiez-vous, et avec quel outil ?
Pourquoi faut-il utiliser fdisk *après* avoir créé le tableau RAID ? Pour créer des partitions dans le volume RAID, par exemple. Ce n'est
évidemment pas obligatoire.
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus grande possible, je n'y avais pas songé.
LVM ne permet pas de faire du RAID 5. C'était pour du RAID 0.
D'accord. (Désolé d'avoir reposé la question il y a quelques minutes.)
A dire vrai il ne m'est jamais venu à l'idée de faire un RAID de taille conséquente en RAID software... En RAID 5 hardware, aucun problème. A mon avis, la première chose à faire serait d'investir dans une bonne carte 3Ware...
L'idée ne m'était pas venue non plus. Et ce n'est pas de gaieté de coeur. Nous avons acheté une carte 3ware pensant qu'elle nous permettrait de faire du RAID5 sur les 12 disques, et c'est au moment de créer le tableau RAID, via l'interface BIOS, que j'ai appris (par la carte elle-même) qu'elle ne peut pas gérer plus de 2 To.
Seule solution pour sauver la situation, tenter de faire la même chose en soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits, c'est un disque de perdu), mais aussi parce que le cahier des charges de la machine est de disposer d'une seule partition (gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu léger pour nos besoins -- plusieurs centaines de scans haute résolution, format A1, chaque jour).
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des outils que j'utilise. Une solution de rattrapage serait de créer deux RAID plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID), soit en RAID0 (total: 4 disques « perdus »).
Lequel des deux me recommanderiez-vous, et avec quel outil ?
Merci ! Seb.
Emmanuel Florac
Dans article , disait...
La taille max d'un array est de 2 To. Donc, pour avoir un file system dépassant cette taille, il faut utiliser un volume manager au dessus de plusieurs arrays.
OK. Donc je te rappelle en passant que sous Linux 2.4.2x, il faut donc passer par LVM, avec Linux RAID ça ne marche pas (limite à 2 To aussi).
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Dans article <slrnc4452n.31ck.rmd@rmd.hosted.firstream.net>,
rmd@mecreant.org disait...
La taille max d'un array est de 2 To. Donc, pour avoir un file system
dépassant cette taille, il faut utiliser un volume manager au dessus de
plusieurs arrays.
OK. Donc je te rappelle en passant que sous Linux 2.4.2x, il faut donc
passer par LVM, avec Linux RAID ça ne marche pas (limite à 2 To aussi).
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
La taille max d'un array est de 2 To. Donc, pour avoir un file system dépassant cette taille, il faut utiliser un volume manager au dessus de plusieurs arrays.
OK. Donc je te rappelle en passant que sous Linux 2.4.2x, il faut donc passer par LVM, avec Linux RAID ça ne marche pas (limite à 2 To aussi).
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Emmanuel Florac
Dans article , seb.pas-de- disait...
Seule solution pour sauver la situation, tenter de faire la même chose en soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits, c'est un disque de perdu),
C'est vrai mais d'un autre côté, il faut penser que plus le nombre de disques est grand pour un disque de parité, plus la probablilité de catastrophe (deux disques qui lâchent) est grande. Personnellement je ne conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare, c'est trop risqué : au taux de reconstruction le plus rapide, il faut encore 3 à 4 heures pour reconstruire un disque de 250 Go...
mais aussi parce que le cahier des charges de la machine est de disposer d'une seule partition (gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu léger pour nos besoins -- plusieurs centaines de scans haute résolution, format A1, chaque jour).
Je vois. Personnellement je préfère toujours utiliser des cartes 7/8506- 8, avec 8 disques, et striper les volumes ensemble le cas échéant.
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des outils que j'utilise. Une solution de rattrapage serait de créer deux RAID plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID), soit en RAID0 (total: 4 disques « perdus »).
IL n'y a pas de raison à priori pour utiliser 2 hot spare. Si 2 volumes concaténés suffisent en terme de performance, c'est la voie la plus sûre : normalement, même en cas de perte d'un des deux volumes, il reste possible de lire l'autre...
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Dans article <pan.2004.03.01.04.12.16.103887.12311@h-k.fr>, seb.pas-de-
spam@h-k.fr disait...
Seule solution pour sauver la situation, tenter de faire la même chose en
soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits,
c'est un disque de perdu),
C'est vrai mais d'un autre côté, il faut penser que plus le nombre de
disques est grand pour un disque de parité, plus la probablilité de
catastrophe (deux disques qui lâchent) est grande. Personnellement je ne
conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare,
c'est trop risqué : au taux de reconstruction le plus rapide, il faut
encore 3 à 4 heures pour reconstruire un disque de 250 Go...
mais aussi parce que le
cahier des charges de la machine est de disposer d'une seule partition
(gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu
léger pour nos besoins -- plusieurs centaines de scans haute résolution,
format A1, chaque jour).
Je vois. Personnellement je préfère toujours utiliser des cartes 7/8506-
8, avec 8 disques, et striper les volumes ensemble le cas échéant.
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des
outils que j'utilise. Une solution de rattrapage serait de créer deux RAID
plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID),
soit en RAID0 (total: 4 disques « perdus »).
IL n'y a pas de raison à priori pour utiliser 2 hot spare. Si 2 volumes
concaténés suffisent en terme de performance, c'est la voie la plus sûre
: normalement, même en cas de perte d'un des deux volumes, il reste
possible de lire l'autre...
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Seule solution pour sauver la situation, tenter de faire la même chose en soft. Pas seulement pour éviter du gâchis de disque (deux RAID5 plus petits, c'est un disque de perdu),
C'est vrai mais d'un autre côté, il faut penser que plus le nombre de disques est grand pour un disque de parité, plus la probablilité de catastrophe (deux disques qui lâchent) est grande. Personnellement je ne conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare, c'est trop risqué : au taux de reconstruction le plus rapide, il faut encore 3 à 4 heures pour reconstruire un disque de 250 Go...
mais aussi parce que le cahier des charges de la machine est de disposer d'une seule partition (gigantesque) et qu'il y a de bonnes raisons à cela (même 2 To, c'est un peu léger pour nos besoins -- plusieurs centaines de scans haute résolution, format A1, chaque jour).
Je vois. Personnellement je préfère toujours utiliser des cartes 7/8506- 8, avec 8 disques, et striper les volumes ensemble le cas échéant.
Au final, je pense qu'il y a un bug quelque part dans l'un au moins des outils que j'utilise. Une solution de rattrapage serait de créer deux RAID plus petits unis ensuite soit en JBOD (1 seul spare pour les deux RAID), soit en RAID0 (total: 4 disques « perdus »).
IL n'y a pas de raison à priori pour utiliser 2 hot spare. Si 2 volumes concaténés suffisent en terme de performance, c'est la voie la plus sûre : normalement, même en cas de perte d'un des deux volumes, il reste possible de lire l'autre...
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
Francois Petillon
On Mon, 01 Mar 2004 09:55:57 +0100, Emmanuel Florac wrote:
Personnellement je ne conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare, c'est trop risqué : au taux de reconstruction le plus rapide, il faut encore 3 à 4 heures pour reconstruire un disque de 250 Go...
Uniquement sur une machine qui n'est pas en prod. Sur un serveur en prod, il faut plus de 24h...
François
On Mon, 01 Mar 2004 09:55:57 +0100, Emmanuel Florac wrote:
Personnellement je ne
conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare,
c'est trop risqué : au taux de reconstruction le plus rapide, il faut
encore 3 à 4 heures pour reconstruire un disque de 250 Go...
Uniquement sur une machine qui n'est pas en prod. Sur un serveur en prod,
il faut plus de 24h...
On Mon, 01 Mar 2004 09:55:57 +0100, Emmanuel Florac wrote:
Personnellement je ne conseillerais à personne d'aller au-delà de 8 data pour 1 parité+1 spare, c'est trop risqué : au taux de reconstruction le plus rapide, il faut encore 3 à 4 heures pour reconstruire un disque de 250 Go...
Uniquement sur une machine qui n'est pas en prod. Sur un serveur en prod, il faut plus de 24h...
François
Francois Petillon
On Mon, 01 Mar 2004 04:12:16 +0100, Seb wrote:
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus grande possible, je n'y avais pas songé.
Mauvais cahier des charges... Ça me semble pas être une bonne idée : il faut toujours avoir la possibilité de scinder un serveur unique en plusieurs (cela permet entre autre de pouvoir rajouter un serveur de stockage sans avoir à migrer les données pour virer l'ancien).
François
On Mon, 01 Mar 2004 04:12:16 +0100, Seb wrote:
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus
grande possible, je n'y avais pas songé.
Mauvais cahier des charges... Ça me semble pas être une bonne idée : il
faut toujours avoir la possibilité de scinder un serveur unique en
plusieurs (cela permet entre autre de pouvoir rajouter un serveur de
stockage sans avoir à migrer les données pour virer l'ancien).
Ah, oui. Mon cahier des charges étant de créer une unique partition, la plus grande possible, je n'y avais pas songé.
Mauvais cahier des charges... Ça me semble pas être une bonne idée : il faut toujours avoir la possibilité de scinder un serveur unique en plusieurs (cela permet entre autre de pouvoir rajouter un serveur de stockage sans avoir à migrer les données pour virer l'ancien).
