Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

benches baie RAID Promise VTrak

12 réponses
Avatar
patpro ~ Patrick Proniewski
Bonjour,

Nous avons reçu nos nouvelles baies RAID pour le bureau virtuel de
l'Université (des millions de mails et de documents divers). Il s'agit
d'une Promise VTrak E610 et d'un châssis d'extension J610, 32
disques SAS 300 Go au total.
J'ai configuré tout ce beau monde en RAID 60 : 
- 4 packs de 7 disques en RAID 6, placés en RAID 0
- 4 disques de spare
- Taille de secteur 512 o (defaut)
- Taille de stripe 64 ko (defaut)

La baie E610 est connectée en cuivre via ses 4 ports SFP sur une carte
Fibre channel "Quad", dans un XServe Intel en 10.5.3.
Le châssis J610 est connecté au E610 via deux câbles SAS.

Sur la baie, avec la commande bonnie++ suivante : 

bonnie++ -d /Volumes/documents/test-bonnie -n 1000:51200:50:1000 -u root

j'obtiens les résultats suivants : 

------Sequential Output------ --Sequential Input- --Random-
     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
dante 300M 75502  82 230297  46 247015  43 95434  99 +++++ +++ +++++ +++
------Sequential Create------ --------Random Create--------
        -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
1000:51200:50/1000  
3922  96  1668  41  9745  88  3716  93    85   2   402  11


Avec la même commande lancée à destination du 3eme disque interne du
XServe qui pilote la baie (disque SAS 80 Go), j'obtiens (après 15h de
bench...) : 

------Sequential Output------ --Sequential Input- --Random-
        -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
dante 300M 56714  74 72395  14 71612  12 95149  99 +++++ +++  4363   9
------Sequential Create------ --------Random Create--------
        -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min
/sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
1000:51200:50/1000
1692  45  1315  34  4581  42  1116  30    30   0    45   1


Je trouvais le random read très mauvais sur la baie RAID, mais en
comparaison du disque interne il n'est finalement pas si mauvais.
Qu'en pensez vous ? Avez vous des points de comparaison avec vos propres
matériels ?

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133

10 réponses

1 2
Avatar
Nicolas-Michel_REMOVE
patpro ~ Patrick Proniewski wrote:

------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
dante 300M 75502 82 230297 46 247015 43 95434 99 +++++ +++ +++++ +++
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min
/sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
1000:51200:50/1000
3922 96 1668 41 9745 88 3716 93 85 2 402 11


Avec la même commande lancée à destination du 3eme disque interne du
XServe qui pilote la baie (disque SAS 80 Go), j'obtiens (après 15h de
bench...) :

------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
dante 300M 56714 74 72395 14 71612 12 95149 99 +++++ +++ 4363 9
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files:max:min
/sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
1000:51200:50/1000
1692 45 1315 34 4581 42 1116 30 30 0 45 1


Je trouvais le random read très mauvais sur la baie RAID, mais en
comparaison du disque interne il n'est finalement pas si mauvais.
Qu'en pensez vous ? Avez vous des points de comparaison avec vos propres
matériels ?


Peux-tu stp expliquer comment on lit ton test ?
Jamais utilisé cet outil.

Ceci dit, dans la "apple tech serie" que j'ai suivi la semaine passé,
qui portait sur le sujet, les débits théoriques montent sauf erreur à
600Mo par baies pour des LUN de 7 à 8 disques max
( 12000 si tu attache 2 vtrak en DAS).
Mais en pratique, leur démo est montée à 120 Mo en écriture et ~230 en
lecture si mes souvenirs sont bons. (j'ai préféré écouter que prendre
des notes, donc je ne sais plus trop) Quand j'ai demandé à quoi tenaient
ces différences entre lathéorie et la pratique, le gars m'a répondu
qu'il falait optimiser dans Xsan le type de données du LUN.
Et aussi que ça dépendait fortement du type de données, taille de
fichiers, de la config des LUN et autre.
Donc il faut jouer un peu avec les différentes et très nombreuses
options du vtrak pour optimiser les perf.

--
Nicolas Michel

Avatar
laurent.pertois
patpro ~ Patrick Proniewski wrote:

Je trouvais le random read très mauvais sur la baie RAID, mais en
comparaison du disque interne il n'est finalement pas si mauvais.


Tu ne voudrais pas faire une zoulie page parce que là, avec le wrap à 72
caractères, c'est lourd à lire ;-)

--
Politically Correct Unix - UTILITIES
The "touch" command has been removed from the standard distribution due
to its inappropriate use by high-level managers.

Avatar
patpro ~ Patrick Proniewski
In article <1iih25b.1kk6wxe1lsa1lN%,
(Laurent Pertois) wrote:

patpro ~ Patrick Proniewski wrote:

Je trouvais le random read très mauvais sur la baie RAID, mais en
comparaison du disque interne il n'est finalement pas si mauvais.


Tu ne voudrais pas faire une zoulie page parce que là, avec le wrap à 72
caractères, c'est lourd à lire ;-)


heu... non :)
C'est un test préliminaire, je voulais juste savoir si quelqu'un avait
le même genre de résultat à montrer pour comparer...

par contre tu peux piper ce string dans bon_csv2html (fourni avec
bonnie++) pour obtenir la table en html :

dante,300M,75502,82,230297,46,247015,43,95434,99,+++++,+++,+++++,+++,1000
:51200:50/1000,3922,96,1668,41,9745,88,3716,93,85,2,402,11

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133


Avatar
patpro ~ Patrick Proniewski
In article
<1iih1lv.1fjg7nt13hbllmN%,
(Michel Nicolas Alex) wrote:

Peux-tu stp expliquer comment on lit ton test ?
Jamais utilisé cet outil.


tu as quelques détails ici :

<http://www.coker.com.au/bonnie++/readme.html>


Ceci dit, dans la "apple tech serie" que j'ai suivi la semaine passé,
qui portait sur le sujet, les débits théoriques montent sauf erreur à
600Mo par baies pour des LUN de 7 à 8 disques max
( 12000 si tu attache 2 vtrak en DAS).


en RAID 0 peut être, mais ce sont de toute manière des chiffres qui
n'ont pas de sens pris hors de leur contexte (taille et norme des
disques, taille des secteurs, du striping, filesystem, ...)

Mais en pratique, leur démo est montée à 120 Mo en écriture et ~230 en
lecture si mes souvenirs sont bons.


je suis monté à plus de 200 Mo/s sur mon RAID 60 avec 4 flux d'écriture
simultanés, à base de dd if=/dev/zero of=/ma/baie/fichier, et pour des
fichiers de 2Go.

Donc il faut jouer un peu avec les différentes et très nombreuses
options du vtrak pour optimiser les perf.


ouais, sans moi :)
J'ai malheureusement pas que ça à faire, surtout que c'est pour exporter
en NFS.

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133

Avatar
Nicolas-Michel_REMOVE
patpro ~ Patrick Proniewski wrote:


Ceci dit, dans la "apple tech serie" que j'ai suivi la semaine passé,
qui portait sur le sujet, les débits théoriques montent sauf erreur à
600Mo par baies pour des LUN de 7 à 8 disques max
( 12000 si tu attache 2 vtrak en DAS).


en RAID 0 peut être, mais ce sont de toute manière des chiffres qui
n'ont pas de sens pris hors de leur contexte (taille et norme des
disques, taille des secteurs, du striping, filesystem, ...)


Selon ce que le gars de Apple disait, la différence entre sas et sata
est négligeable si tu as un LUN de 7 ou 8 disques dans du VTrak.
J'ai pas testé, bien évidement.

Le file system est du Xsan fs en l'occurence

La taille des secteurs et autre, c'est ce que je te dis plus bas, il
faut tester en fonction du type de fichiers que tu as mais tu ne va te
rapprocher de ces débits théoriques que avec des gros fichiers et de
gros blocs.

Mais en pratique, leur démo est montée à 120 Mo en écriture et ~230 en
lecture si mes souvenirs sont bons.


je suis monté à plus de 200 Mo/s sur mon RAID 60 avec 4 flux d'écriture
simultanés, à base de dd if=/dev/zero of=/ma/baie/fichier, et pour des
fichiers de 2Go.


J'ai peut-être pas capté la démo et ils n'avaient pas encore peaufiné la
config. Mais j'étais déçu en effêt.

Donc il faut jouer un peu avec les différentes et très nombreuses
options du vtrak pour optimiser les perf.


ouais, sans moi :)
J'ai malheureusement pas que ça à faire, surtout que c'est pour exporter
en NFS.


Tu peux déjà jouer avec les prefs prédéfinies dans Xsan,
tu auras assez vite fait le tour.

--
Nicolas Michel


Avatar
patpro ~ Patrick Proniewski
In article
<1iihe7v.1m4z838huywg6N%,
(Michel Nicolas Alex) wrote:

Tu peux déjà jouer avec les prefs prédéfinies dans Xsan,
tu auras assez vite fait le tour.


je n'utilise pas XSan :)

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133

Avatar
J.P. Poindessault
In article ,
patpro ~ Patrick Proniewski wrote:

In article
<1iihe7v.1m4z838huywg6N%,
(Michel Nicolas Alex) wrote:

Tu peux déjà jouer avec les prefs prédéfinies dans Xsan,
tu auras assez vite fait le tour.


je n'utilise pas XSan :)

patpro


Patrick,

J'ai eu la flemme de calculer, c'est quoi ta capacité utile à partir des 7x4 disques installés en
RAID60 ?

Jean-Pierre


Avatar
patpro ~ Patrick Proniewski
In article
,
"J.P. Poindessault" wrote:

In article ,
patpro ~ Patrick Proniewski wrote:

In article
<1iihe7v.1m4z838huywg6N%,
(Michel Nicolas Alex) wrote:

Tu peux déjà jouer avec les prefs prédéfinies dans Xsan,
tu auras assez vite fait le tour.


je n'utilise pas XSan :)

patpro


Patrick,

J'ai eu la flemme de calculer, c'est quoi ta capacité utile à partir des 7x4
disques installés en
RAID60 ?


4 ensembles de 7 disques, donc plutôt 4x7 que 7x4 ;)
Chaque disque SAS de 300 Go est vu comme un disque de 278 Go, donc j'ai
1,39 To par paquet. Soit un total de 5,56 To.

Dans df, ça se présente comme ça pour une baie vide, sur la quelle j'ai
bien fait joujou :

Filesystem Size Used Avail Capacity Mounted on
/dev/disk4s2 5.4Ti 1.2Gi 5.4Ti 1% /Volumes/documents

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133



Avatar
laurent.pertois
Michel Nicolas Alex &lt;&gt; wrote:<br />
<br />
<blockquote class="block0"><br />
Selon ce que le gars de Apple disait, la diff&eacute;rence entre sas et sata<br />
est n&eacute;gligeable si tu as un LUN de 7 ou 8 disques dans du VTrak.<br />
<br />
</blockquote><br />
Sur du serveur de fichiers Apple recommande en fait du SAS, sur du gros<br />
fichiers, le SATA suffit.<br />
<br />
--<br />
Politically Correct Unix - UTILITIES<br />
The &quot;touch&quot; command has been removed from the standard distribution due<br />
to its inappropriate use by high-level managers.<br />
<br />
Avatar
Nicolas-Michel_REMOVE
Laurent Pertois &lt;&gt; wrote:<br />
<br />
<blockquote class="block0"><br />
Sur du serveur de fichiers Apple recommande en fait du SAS, sur du gros<br />
fichiers, le SATA suffit.<br />
<br />
</blockquote><br />
Ok, merci.<br />
<br />
--<br />
Nicolas Michel<br />
<br />
1 2