J'utilise les outils raidtools pour creer une unite raid0 sur 8 disques
SCSI320. Les disques sont distribuees sur 1, 2 ou 3 cartes PCI-X100 SCSI320
LSI (mptfusion) ou adaptec 39320 (aic79xx). Les serveur est base sur un
chipset intel7500 (2x Xeon 1.8ghz), il fonctionne sous rh9.0.
Le but du jeu est de maximiser les performances en write : notre application
doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write
toujours)
L'unite raid est formate en ext2[1] et le chunksize du raid est de 256k.
Cette configuration est la meilleure que j'ai pu atteindre[2]
Je trouve les debits de l'unite raid decevant, et j'aimerais avoir votre
avis sur les eventuelles causes ?
L'un d'entre vous obtient il des debits superieures ? avec quel type de
materiel/configuration ?
Merci.
[1] mkfs.ext2 -m0 -b 4096 -g 32768 /dev/md0 (suivant le nombre de disque du
raid j'utilise aussi -g 32760, l'option -Rstride=x ne change pas grand
chose)
[2] j'ai utilise un script pour tester toutes les valeurs de chunksize ainsi
que les parametres de mkfs.ext2 possibles
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Emmanuel Florac
Dans article <bqhml6$1h1n$, disait...
Le but du jeu est de maximiser les performances en write : notre application doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de perfs avec xfs par rapport à ext2, en général (en débit). Il faut aussi savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en général).
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Dans article <bqhml6$1h1n$1@biggoron.nerim.net>, pandre@nerim.fr
disait...
Le but du jeu est de maximiser les performances en write : notre application
doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write
toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de
perfs avec xfs par rapport à ext2, en général (en débit). Il faut aussi
savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent
il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par
curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en
général).
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Le but du jeu est de maximiser les performances en write : notre application doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de perfs avec xfs par rapport à ext2, en général (en débit). Il faut aussi savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en général).
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Paul Andre
Emmanuel Florac wrote:
Dans article <bqhml6$1h1n$, disait...
Le but du jeu est de maximiser les performances en write : notre application doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate en ext2.
Il faut aussi savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en général).
Ok, merci pour ces conseils.
Pour info, depuis mon premier post, j'ai essaye de faire du DIRECT_IO (option O_DIRECT sur open). A ma grande surprise, ca n'a pas vraiment d'incidence sur le debit (ni sur l'allocation massive du cache !). Pourtant d'apres un petit modele mathematique tout simple, ne pas faire la copie du buffer sur le write est une vrai optimisation dans cette configuration... peut etre un probleme d'implementation ext2 ?
Il faut vraiment que je mette les mains dans xfs :-|
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Emmanuel Florac wrote:
Dans article <bqhml6$1h1n$1@biggoron.nerim.net>, pandre@nerim.fr
disait...
Le but du jeu est de maximiser les performances en write : notre
application doit ecrire des donnees par blocs de 6 Mo a un rythme de
200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write
toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de
perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure
sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate
en ext2.
Il faut aussi
savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent
il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par
curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en
général).
Ok, merci pour ces conseils.
Pour info, depuis mon premier post, j'ai essaye de faire du DIRECT_IO
(option O_DIRECT sur open). A ma grande surprise, ca n'a pas vraiment
d'incidence sur le debit (ni sur l'allocation massive du cache !). Pourtant
d'apres un petit modele mathematique tout simple, ne pas faire la copie du
buffer sur le write est une vrai optimisation dans cette configuration...
peut etre un probleme d'implementation ext2 ?
Il faut vraiment que je mette les mains dans xfs :-|
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Le but du jeu est de maximiser les performances en write : notre application doit ecrire des donnees par blocs de 6 Mo a un rythme de 200MB/s.
Le debit unitaire des disques est de l'ordre de 50MB/s en write.
Le debit des 8 disques en raid0 est de l'ordre de 170MB/s (en write toujours)
Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate en ext2.
Il faut aussi savoir que le stack SCSI de Linux 2.4 n'est pas transcendant, et souvent il paquetise mystérieusement les IOs... Essaie avec un noyau 2.6 par curiosité (j'ai de bien meilleures perfs AUSSI avec le noyau 2.6, en général).
Ok, merci pour ces conseils.
Pour info, depuis mon premier post, j'ai essaye de faire du DIRECT_IO (option O_DIRECT sur open). A ma grande surprise, ca n'a pas vraiment d'incidence sur le debit (ni sur l'allocation massive du cache !). Pourtant d'apres un petit modele mathematique tout simple, ne pas faire la copie du buffer sur le write est une vrai optimisation dans cette configuration... peut etre un probleme d'implementation ext2 ?
Il faut vraiment que je mette les mains dans xfs :-|
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Florent Rougon
Bonjour,
Paul Andre wrote:
[problèmes de performances en écriture sur disque, en software RAID0]
Les transferts DMA sont-ils activés pour les disques faisant partie de la « matrice » [1] ?
[1] Paraît que c'est comme ça qu'on traduit « array » dans le contexte du RAID...
-- Florent
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Bonjour,
Paul Andre <pandre@nerim.fr> wrote:
[problèmes de performances en écriture sur disque, en software RAID0]
Les transferts DMA sont-ils activés pour les disques faisant partie de
la « matrice » [1] ?
[1] Paraît que c'est comme ça qu'on traduit « array » dans le contexte
du RAID...
--
Florent
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
[problèmes de performances en écriture sur disque, en software RAID0]
Les transferts DMA sont-ils activés pour les disques faisant partie de la « matrice » [1] ?
[1] Paraît que c'est comme ça qu'on traduit « array » dans le contexte du RAID...
-- Florent
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Emmanuel Florac
Dans article <bqmrpd$1n44$, disait...
> > Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de > perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate en ext2.
Xfs est le fs qui colle au plus près des perfs des disques de mon expérience personnelle. Pour une raison mystérieuse, ext2 "écrête" à partir de 120/130 Mo/s, quelle que soit la perf du système disque.
Ah et un autre truc intéressant : avec xfs 1.3.1 (la version actuelle) on a enfin accès au GRIO (Guaranteed Rate IO). C'est une plaie à configurer, mais ça permet d'avoir des débits temps-réel (autrement dit rigoureusement garantis). Evidemment le débit garanti est nettement inférieur au débit maximum, dans ce cas.
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
Dans article <bqmrpd$1n44$1@biggoron.nerim.net>, pandre@nerim.fr
disait...
>
> Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de
> perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure
sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate
en ext2.
Xfs est le fs qui colle au plus près des perfs des disques de mon
expérience personnelle. Pour une raison mystérieuse, ext2 "écrête" à
partir de 120/130 Mo/s, quelle que soit la perf du système disque.
Ah et un autre truc intéressant : avec xfs 1.3.1 (la version actuelle) on
a enfin accès au GRIO (Guaranteed Rate IO). C'est une plaie à configurer,
mais ça permet d'avoir des débits temps-réel (autrement dit
rigoureusement garantis). Evidemment le débit garanti est nettement
inférieur au débit maximum, dans ce cas.
--
Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
> > Essaie avec xfs. Ext2 est naze en performances. J'obtiens le double de > perfs avec xfs par rapport à ext2, en général (en débit).
Pour l'instant j'ai pas essaye d'autre fs que ext2 car le debit "raw" mesure sur md0 (avec dd) est tres proche du debit mesure sur md0 une fois formate en ext2.
Xfs est le fs qui colle au plus près des perfs des disques de mon expérience personnelle. Pour une raison mystérieuse, ext2 "écrête" à partir de 120/130 Mo/s, quelle que soit la perf du système disque.
Ah et un autre truc intéressant : avec xfs 1.3.1 (la version actuelle) on a enfin accès au GRIO (Guaranteed Rate IO). C'est une plaie à configurer, mais ça permet d'avoir des débits temps-réel (autrement dit rigoureusement garantis). Evidemment le débit garanti est nettement inférieur au débit maximum, dans ce cas.
-- Quis, quid, ubi, quibus auxiliis, cur, quomodo, quando?
-- Pour contacter l'équipe de modération : ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans la liste de distribution des modérateurs.
