dans le cadre d'un achat prochain j'aurais aimé faire appel à l'expérience
des uns et des autres. Je sais que l'on trouve des bancs d'essais de NAS ici
où là avec pleins d'infos y compris les taux de transferts avec gros ou
petits fichiers mais un test sur une journée ne révèlent pas forcément tout
.
Il s'agira d'un cadre d'utilisation plutôt professionnel, avec au moins dans
un premier temps une dizaine d'utilisateurs. Le NAS sera au moins lui même
connecté en Gb et vu les coûts il est probable que toutes les machines le
soient donc il faut un produit capable de soutenir des débit d'au moins
20Mo/s sur du fichier de quelques Mo. Bien sûr le cout devra rester mesuré
et la fiabilité n'est pas à négliger. Pour le deuxième point la solution est
simple: deux disques SATA en miroir m'offriront la sécurité voulue. Pour le
premier point les idées de l'assemblée seront certainement intéressantes.
Comme expérience concrète pour le moment j'ai à mon actif:
_ Ioméga 150d 2To
Bien joli mais finalement assez pauvre question performance et toujours un
p'tit doute sur la fiabilité (il m'a fait un couac un jour qui a nécessité
un échange du boitier .... avec pertes des données à la clé ! gasp !).
Niveau performance il peine à dépasser les 15Mo/s ce qui à mon sens est
ridicule pour un appareil de ce niveau là !
Ses moins: les perfs indignes du niveau de prix. Plutôt bruyant si on veut
travailler à coté. Pas beaucoup d'info sur la santé des disques et assez peu
de fonctions (quasi juste FTP et SMB)
Ses plus: lourd et assez encombrant ce qui réduit le risque de vol ;-)
_ Icy Box NAS4220
Esthétiquement très réussis, silencieux surtout équipé de deux disques à
5900 tr/mn
Performance très correctes pour le prix (150 euros) approchant les 20Mo/s en
lecture de gros fichiers . Sur du petit fichier ça s'écroule jusqu'a 1Mo/s,
mais qui s'amuse à écrire 50ooo fichiers de 20ko et moins ? ;-)) .
Plusieurs fonctions (ftp, SMB, bittorrent, itunes...) pas forcément
nécessaire mais pouvant apporter un plus produit. "Gros" défaut: ne
s'intègre pas à un domaine AD donc rejetté dans le cadre de l'usage en
question.
Enfin, comme candidat intéressant, je pense à un Synology, genre 209+, voire
carrément du 409+ pas beaucoup plus cher et pouvant offrir une capacité
d'extension. En plus j'ai vu que Synology avait vraiment gavé leur matéériel
de fonction !!
Qu'en pensez vous ?
Avez vous une alternative à me proposer genre un challenger chez Qnap ou
Thecus qui se ferait discret dans les bancs d'essais malgré une très bonne
qualité ?
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du HighPoint. Surtout pas du Promise.
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To, le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et la durée de reconstruction du RAID font que le RAID 5 devient dangereux au delà.
-- Jesus saves but only Buddha makes incremental backups.
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du
HighPoint. Surtout pas du Promise.
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To,
le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et
la durée de reconstruction du RAID font que le RAID 5 devient dangereux
au delà.
--
Jesus saves but only Buddha makes incremental backups.
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du HighPoint. Surtout pas du Promise.
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To, le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et la durée de reconstruction du RAID font que le RAID 5 devient dangereux au delà.
-- Jesus saves but only Buddha makes incremental backups.
Olivier B.
On Fri, 27 Nov 2009 14:51:19 +0000 (UTC), "La Bete des Vosges (Francis Chartier)" <francis+ wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit :
au boulot j'ai des problematiques de stockage sur des nas faits "maisons" pour des questions financieres, par exemple sous w2k3 pc avec 6 disques de 2To en raid 5 soft, les perfs en lecture sont tres bonne par contre en ecriture cela peche grandement (10Mo/s soutenu),
Le serveur que j'ai sous la main doit dater de 2005 ou 2006 je pense, il est monté avec une carte 3ware 9500 Sata et 4 disques raptor en Raid5 sur une carte mère Tyan chipset AMD8xxx. C'est pas du tout jeune ni du haut de gamme.
Je viens de faire un test en écriture d'un fichier de 2 Go entre un disque hors raid vers la grappe raid : 38 Mo/s. Faudrait faire un essai avec un troupeau de plus petits fichiers, mais j'ai la flemme. :)
Maintenant, je ne sais pas ce que ça donnerait sans le contrôleur 3ware en raid soft...
c'est ce que je cherche à savoir en fait
Quant à la difficulté d'install et de gestion d'un serveur sous Debian, joker, c'est trop dépendant de la personne et des efforts consentis : plein de gens y arrivent. :)
certes :-)
Pour la fiabilité les seules fois où je le redémarre c'est quand EDF décide de couper l'alim trop longtemps pour l'onduleur :
On Fri, 27 Nov 2009 14:51:19 +0000 (UTC), "La Bete des Vosges (Francis
Chartier)" <francis+news@bete-des-vosges.org> wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit :
au boulot j'ai des problematiques de stockage sur des nas faits
"maisons" pour des questions financieres, par exemple sous w2k3 pc avec
6 disques de 2To en raid 5 soft, les perfs en lecture sont tres bonne
par contre en ecriture cela peche grandement (10Mo/s soutenu),
Le serveur que j'ai sous la main doit dater de 2005 ou 2006 je pense, il
est monté avec une carte 3ware 9500 Sata et 4 disques raptor en Raid5 sur
une carte mère Tyan chipset AMD8xxx.
C'est pas du tout jeune ni du haut de gamme.
Je viens de faire un test en écriture d'un fichier de 2 Go entre un
disque hors raid vers la grappe raid : 38 Mo/s.
Faudrait faire un essai avec un troupeau de plus petits fichiers, mais
j'ai la flemme. :)
Maintenant, je ne sais pas ce que ça donnerait sans le contrôleur 3ware
en raid soft...
c'est ce que je cherche à savoir en fait
Quant à la difficulté d'install et de gestion d'un serveur sous Debian,
joker, c'est trop dépendant de la personne et des efforts consentis :
plein de gens y arrivent. :)
certes :-)
Pour la fiabilité les seules fois où je le redémarre c'est quand EDF
décide de couper l'alim trop longtemps pour l'onduleur :
On Fri, 27 Nov 2009 14:51:19 +0000 (UTC), "La Bete des Vosges (Francis Chartier)" <francis+ wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit :
au boulot j'ai des problematiques de stockage sur des nas faits "maisons" pour des questions financieres, par exemple sous w2k3 pc avec 6 disques de 2To en raid 5 soft, les perfs en lecture sont tres bonne par contre en ecriture cela peche grandement (10Mo/s soutenu),
Le serveur que j'ai sous la main doit dater de 2005 ou 2006 je pense, il est monté avec une carte 3ware 9500 Sata et 4 disques raptor en Raid5 sur une carte mère Tyan chipset AMD8xxx. C'est pas du tout jeune ni du haut de gamme.
Je viens de faire un test en écriture d'un fichier de 2 Go entre un disque hors raid vers la grappe raid : 38 Mo/s. Faudrait faire un essai avec un troupeau de plus petits fichiers, mais j'ai la flemme. :)
Maintenant, je ne sais pas ce que ça donnerait sans le contrôleur 3ware en raid soft...
c'est ce que je cherche à savoir en fait
Quant à la difficulté d'install et de gestion d'un serveur sous Debian, joker, c'est trop dépendant de la personne et des efforts consentis : plein de gens y arrivent. :)
certes :-)
Pour la fiabilité les seules fois où je le redémarre c'est quand EDF décide de couper l'alim trop longtemps pour l'onduleur :
On 27 Nov 2009 22:08:59 GMT, Emmanuel Florac wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du HighPoint. Surtout pas du Promise.
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To, le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et la durée de reconstruction du RAID font que le RAID 5 devient dangereux au delà.
je ne pense pas qu'il faille raisonner en capacité mais en nombre de disques, plus il est grand plus on a de chance d'en voir 2 tomber en panne à la fois et donc il vaut mieu passer en raid6, c'est ce qu'on a pour nos volumes de plusieurs dizaines de To, mais ici le nas maison ne comporte pas des dizaines de disque mais juste 6, et en plus on peut se permettre de perdre les donnés car elle sont reconstructibles, c'est juste assez long et emm... de devoir le refaire donc je prefere securiser, et passer en raid6 me fait perdre 2To de plus ce qui est ennuyeux, au final le raid5 est un bon compromis.
Je precise un peu la config actuelle en rappelant que la question originale est de savoir si debian amènerait plus de perf à hardware egal:
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
En cas de changement de disque je le fais à chaud en ouvrant le boitier et deplugant/plugant le sata afin de ne pas stopper els autres disques.
-- pas de turlututu. apres l'@robase
On 27 Nov 2009 22:08:59 GMT, Emmanuel Florac <eflorac@imaginet.fr>
wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du
HighPoint. Surtout pas du Promise.
quand je dis "faits "maisons" pour des questions financieres" c'est
que je veux minimiser au maximum les couts, sinon comme je le précise
j'ai aussi du nas/areca mais le besoin n'est pas le meme
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To,
le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et
la durée de reconstruction du RAID font que le RAID 5 devient dangereux
au delà.
je ne pense pas qu'il faille raisonner en capacité mais en nombre de
disques, plus il est grand plus on a de chance d'en voir 2 tomber en
panne à la fois et donc il vaut mieu passer en raid6, c'est ce qu'on a
pour nos volumes de plusieurs dizaines de To, mais ici le nas maison
ne comporte pas des dizaines de disque mais juste 6, et en plus on
peut se permettre de perdre les donnés car elle sont reconstructibles,
c'est juste assez long et emm... de devoir le refaire donc je prefere
securiser, et passer en raid6 me fait perdre 2To de plus ce qui est
ennuyeux, au final le raid5 est un bon compromis.
Je precise un peu la config actuelle en rappelant que la question
originale est de savoir si debian amènerait plus de perf à hardware
egal:
HP EVO9400 (nforce3000 en jbod car raid catastrophique)
6 disques 2To serie GREEN de WD, choisis pour leur faible conso et
l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des
fcihier d'une dizaine de Go
raid5 sous windows server 2k3
En cas de changement de disque je le fais à chaud en ouvrant le
boitier et deplugant/plugant le sata afin de ne pas stopper els autres
disques.
On 27 Nov 2009 22:08:59 GMT, Emmanuel Florac wrote:
Le Fri, 27 Nov 2009 09:43:31 +0100, Olivier B. a écrit:
- d'augmenter les perfs en ecriture soutenue
Un contrôleur RAID : Areca, 3Ware ou ADaptec 52445, à la rigueur du HighPoint. Surtout pas du Promise.
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
- de gérer en raid 5 un seul volume de 10To
Franchement, 10To en RAID 5 ce n'est pas à recommander. Au delà de 8 To, le RAID 6 est à préférer dans tous les cas, la fiabilité des disques et la durée de reconstruction du RAID font que le RAID 5 devient dangereux au delà.
je ne pense pas qu'il faille raisonner en capacité mais en nombre de disques, plus il est grand plus on a de chance d'en voir 2 tomber en panne à la fois et donc il vaut mieu passer en raid6, c'est ce qu'on a pour nos volumes de plusieurs dizaines de To, mais ici le nas maison ne comporte pas des dizaines de disque mais juste 6, et en plus on peut se permettre de perdre les donnés car elle sont reconstructibles, c'est juste assez long et emm... de devoir le refaire donc je prefere securiser, et passer en raid6 me fait perdre 2To de plus ce qui est ennuyeux, au final le raid5 est un bon compromis.
Je precise un peu la config actuelle en rappelant que la question originale est de savoir si debian amènerait plus de perf à hardware egal:
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
En cas de changement de disque je le fais à chaud en ouvrant le boitier et deplugant/plugant le sata afin de ne pas stopper els autres disques.
-- pas de turlututu. apres l'@robase
Eric Belhomme
Olivier B. a écrit :
c'est ce que je cherche à savoir en fait
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un expert en hard, mais je crois que c'est du à l'architecture i386 en elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué de me vanter par la même occasion les mérites des machines SPARC de Sun pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que raisonnable pour une machine de production...
-- Rico
Olivier B. a écrit :
c'est ce que je cherche à savoir en fait
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un
expert en hard, mais je crois que c'est du à l'architecture i386 en
elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que
c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué
de me vanter par la même occasion les mérites des machines SPARC de Sun
pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens
d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que
raisonnable pour une machine de production...
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un expert en hard, mais je crois que c'est du à l'architecture i386 en elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué de me vanter par la même occasion les mérites des machines SPARC de Sun pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que raisonnable pour une machine de production...
-- Rico
JKB
Le 28-11-2009, ? propos de Re: Re : [Ch Avis] NAS recommandable., Eric Belhomme ?crivait dans fr.comp.stockage :
Olivier B. a écrit :
c'est ce que je cherche à savoir en fait
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un expert en hard, mais je crois que c'est du à l'architecture i386 en elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué de me vanter par la même occasion les mérites des machines SPARC de Sun pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que raisonnable pour une machine de production...
Jusqu'au jour où la carte tombe en panne et où tu vas te retrouver comme un imbécile avec ta baie de disque parce que la version plus récente ne formate plus de la même façon. Pour moi, c'est du vécu. C'est même pour ça que je n'utilise plus que du raid soft et effectivement avec des Sparc, parce que la différence d'architecture fait que les débits raid hard sous Linux/amd64 avec deux procs à 2 GHz et des brouettes ne sont pas meilleurs que du raid soft tournant sur une vieillerie de chez Sun. Exemple :
Root rayleigh:[~] > hdparm -tT /dev/md7
/dev/md7: Timing cached reads: 1372 MB in 2.00 seconds = 686.28 MB/sec Timing buffered disk reads: 350 MB in 3.01 seconds = 116.38 MB/sec
Le débit est plus limité par les performances de la carte que par les calculs raid (je n'arrive même pas à voir l'incidence des calculs du raid sur la charge de la machine en question). L'avantage, c'est que c'est parfaitement configurable. J'ai au besoin de faire du Raid 51 qui plus est over iSCSI pour une configuration spéciale et tu peux le faire. En hard, c'est difficile.
Cordialement,
JKB
-- Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre masse corporelle, mais disperse à lui seul 25% de l'énergie que nous consommons tous les jours.
Le 28-11-2009, ? propos de
Re: Re : [Ch Avis] NAS recommandable.,
Eric Belhomme ?crivait dans fr.comp.stockage :
Olivier B. a écrit :
c'est ce que je cherche à savoir en fait
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un
expert en hard, mais je crois que c'est du à l'architecture i386 en
elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que
c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué
de me vanter par la même occasion les mérites des machines SPARC de Sun
pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens
d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que
raisonnable pour une machine de production...
Jusqu'au jour où la carte tombe en panne et où tu vas te retrouver
comme un imbécile avec ta baie de disque parce que la version plus
récente ne formate plus de la même façon. Pour moi, c'est du vécu.
C'est même pour ça que je n'utilise plus que du raid soft et
effectivement avec des Sparc, parce que la différence d'architecture
fait que les débits raid hard sous Linux/amd64 avec deux procs à 2 GHz et
des brouettes ne sont pas meilleurs que du raid soft tournant sur
une vieillerie de chez Sun. Exemple :
Root rayleigh:[~] > hdparm -tT /dev/md7
/dev/md7:
Timing cached reads: 1372 MB in 2.00 seconds = 686.28 MB/sec
Timing buffered disk reads: 350 MB in 3.01 seconds = 116.38 MB/sec
Le débit est plus limité par les performances de la carte que par
les calculs raid (je n'arrive même pas à voir l'incidence des
calculs du raid sur la charge de la machine en question).
L'avantage, c'est que c'est parfaitement configurable. J'ai au
besoin de faire du Raid 51 qui plus est over iSCSI pour une
configuration spéciale et tu peux le faire. En hard, c'est
difficile.
Cordialement,
JKB
--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.
Le 28-11-2009, ? propos de Re: Re : [Ch Avis] NAS recommandable., Eric Belhomme ?crivait dans fr.comp.stockage :
Olivier B. a écrit :
c'est ce que je cherche à savoir en fait
Le raid 5 soft, c'est lent, y compris sous linux. Je ne suis pas un expert en hard, mais je crois que c'est du à l'architecture i386 en elle-meme, et à sa gestion des I/O et des accès DMA. Il me semble que c'est JKB qui m'avait donné cette explication, et qui n'avait pas manqué de me vanter par la même occasion les mérites des machines SPARC de Sun pour un usage "filer" ;)
Et une bonne carte RAID Sata ne coute pas si cher que ça : je viens d'acheter une 3ware 9650-4 pour à peu près 300 euros ce qui est plus que raisonnable pour une machine de production...
Jusqu'au jour où la carte tombe en panne et où tu vas te retrouver comme un imbécile avec ta baie de disque parce que la version plus récente ne formate plus de la même façon. Pour moi, c'est du vécu. C'est même pour ça que je n'utilise plus que du raid soft et effectivement avec des Sparc, parce que la différence d'architecture fait que les débits raid hard sous Linux/amd64 avec deux procs à 2 GHz et des brouettes ne sont pas meilleurs que du raid soft tournant sur une vieillerie de chez Sun. Exemple :
Root rayleigh:[~] > hdparm -tT /dev/md7
/dev/md7: Timing cached reads: 1372 MB in 2.00 seconds = 686.28 MB/sec Timing buffered disk reads: 350 MB in 3.01 seconds = 116.38 MB/sec
Le débit est plus limité par les performances de la carte que par les calculs raid (je n'arrive même pas à voir l'incidence des calculs du raid sur la charge de la machine en question). L'avantage, c'est que c'est parfaitement configurable. J'ai au besoin de faire du Raid 51 qui plus est over iSCSI pour une configuration spéciale et tu peux le faire. En hard, c'est difficile.
Cordialement,
JKB
-- Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre masse corporelle, mais disperse à lui seul 25% de l'énergie que nous consommons tous les jours.
JKB
Le 28-11-2009, ? propos de Re: Re : [Ch Avis] NAS recommandable., Eric Belhomme ?crivait dans fr.comp.stockage :
Emmanuel Florac a écrit :
Oui, en optimisant au mieux, un windows 2003 atteint environ 50% des performances d'une Debian bien optimisée sur le même matériel. Classe, hein ? :) Après on s'étonne que Windows ne prend pas dans le HPC :)
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau : - séléction du scheduler deadline
CFQ
- alignement des blocksize à ceux de la carte RAID
Je laisse le raid soft se débrouiller (je peaufine plutôt le goulot d'étranglement qu'est le iSCSI).
- priorisation des IO
Non.
- augmentation des buffers reseau
Oui, mais à mon avis, ça dépend fortement du type de données.
- augmentation des buffers tcp
Oui, mais à mon avis, ça dépend fortement du type de données.
Lorsque j'utilise XFS je formate et je monte comme ceci : mkfs.xfs -f -l sunit8 -l lazy-count=1 /dev/vg_filer/data /dev/vg-filer/data /data xfs allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
ext3 (c'est ce que j'ai trouvé de plus polyvalent pour ce que je fais).
enfin, pour NFS, - je démare un bon paquet de threads (128)
Pas plus d'un thread par coeur de processeur.
- je force NFS v3 en tcp
Idem (mais parce que le NFSv4 de Linux et de Solaris n'aiment pas se parler : Solaris boote en diskless sur du NFSv2/UDP et je bascule déjà en NFSv3/TCP avec des paquets de 32K).
JKB
-- Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre masse corporelle, mais disperse à lui seul 25% de l'énergie que nous consommons tous les jours.
Le 28-11-2009, ? propos de
Re: Re : [Ch Avis] NAS recommandable.,
Eric Belhomme ?crivait dans fr.comp.stockage :
Emmanuel Florac a écrit :
Oui, en optimisant au mieux, un windows 2003 atteint environ 50% des
performances d'une Debian bien optimisée sur le même matériel. Classe,
hein ? :) Après on s'étonne que Windows ne prend pas dans le HPC :)
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian
pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau :
- séléction du scheduler deadline
CFQ
- alignement des blocksize à ceux de la carte RAID
Je laisse le raid soft se débrouiller (je peaufine plutôt le goulot
d'étranglement qu'est le iSCSI).
- priorisation des IO
Non.
- augmentation des buffers reseau
Oui, mais à mon avis, ça dépend fortement du type de données.
- augmentation des buffers tcp
Oui, mais à mon avis, ça dépend fortement du type de données.
Lorsque j'utilise XFS je formate et je monte comme ceci :
mkfs.xfs -f -l sunit8 -l lazy-count=1 /dev/vg_filer/data
/dev/vg-filer/data /data xfs
allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
ext3 (c'est ce que j'ai trouvé de plus polyvalent pour ce que je
fais).
enfin, pour NFS,
- je démare un bon paquet de threads (128)
Pas plus d'un thread par coeur de processeur.
- je force NFS v3 en tcp
Idem (mais parce que le NFSv4 de Linux et de Solaris n'aiment pas se
parler : Solaris boote en diskless sur du NFSv2/UDP et je bascule
déjà en NFSv3/TCP avec des paquets de 32K).
JKB
--
Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre
masse corporelle, mais disperse à lui seul 25% de l'énergie que nous
consommons tous les jours.
Le 28-11-2009, ? propos de Re: Re : [Ch Avis] NAS recommandable., Eric Belhomme ?crivait dans fr.comp.stockage :
Emmanuel Florac a écrit :
Oui, en optimisant au mieux, un windows 2003 atteint environ 50% des performances d'une Debian bien optimisée sur le même matériel. Classe, hein ? :) Après on s'étonne que Windows ne prend pas dans le HPC :)
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau : - séléction du scheduler deadline
CFQ
- alignement des blocksize à ceux de la carte RAID
Je laisse le raid soft se débrouiller (je peaufine plutôt le goulot d'étranglement qu'est le iSCSI).
- priorisation des IO
Non.
- augmentation des buffers reseau
Oui, mais à mon avis, ça dépend fortement du type de données.
- augmentation des buffers tcp
Oui, mais à mon avis, ça dépend fortement du type de données.
Lorsque j'utilise XFS je formate et je monte comme ceci : mkfs.xfs -f -l sunit8 -l lazy-count=1 /dev/vg_filer/data /dev/vg-filer/data /data xfs allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
ext3 (c'est ce que j'ai trouvé de plus polyvalent pour ce que je fais).
enfin, pour NFS, - je démare un bon paquet de threads (128)
Pas plus d'un thread par coeur de processeur.
- je force NFS v3 en tcp
Idem (mais parce que le NFSv4 de Linux et de Solaris n'aiment pas se parler : Solaris boote en diskless sur du NFSv2/UDP et je bascule déjà en NFSv3/TCP avec des paquets de 32K).
JKB
-- Le cerveau, c'est un véritable scandale écologique. Il représente 2% de notre masse corporelle, mais disperse à lui seul 25% de l'énergie que nous consommons tous les jours.
Emmanuel Florac
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de n'importe quel "professionnel", les bonnes solutions "gratuites" ça n'existe pas. "Fast, good, cheap, choose two".
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de windows. Mais si c'est une machine à processeur Intel (hors dernière génération) la performance mémoire absolument minable rend les I/O très médiocres et donc obère la performance d'un RAID logiciel.
Par ailleurs les WD 2To ont des performances correctes mais nettement inférieures aux Hitachi et Seagate 2 To. Cependant en RAID-5 (matériel) sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
-- Jesus saves but only Buddha makes incremental backups.
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que
je veux minimiser au maximum les couts, sinon comme je le précise j'ai
aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de
n'importe quel "professionnel", les bonnes solutions "gratuites" ça
n'existe pas. "Fast, good, cheap, choose two".
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To
serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi
mono-utilisateur du nas, on y pousse unitairement des fcihier d'une
dizaine de Go
raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de
windows. Mais si c'est une machine à processeur Intel (hors dernière
génération) la performance mémoire absolument minable rend les I/O très
médiocres et donc obère la performance d'un RAID logiciel.
Par ailleurs les WD 2To ont des performances correctes mais nettement
inférieures aux Hitachi et Seagate 2 To. Cependant en RAID-5 (matériel)
sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
--
Jesus saves but only Buddha makes incremental backups.
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de n'importe quel "professionnel", les bonnes solutions "gratuites" ça n'existe pas. "Fast, good, cheap, choose two".
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de windows. Mais si c'est une machine à processeur Intel (hors dernière génération) la performance mémoire absolument minable rend les I/O très médiocres et donc obère la performance d'un RAID logiciel.
Par ailleurs les WD 2To ont des performances correctes mais nettement inférieures aux Hitachi et Seagate 2 To. Cependant en RAID-5 (matériel) sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
-- Jesus saves but only Buddha makes incremental backups.
Emmanuel Florac
Le Sat, 28 Nov 2009 03:59:09 +0100, Eric Belhomme a écrit:
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau : - séléction du scheduler deadline - alignement des blocksize à ceux de la carte RAID - priorisation des IO - augmentation des buffers reseau - augmentation des buffers tcp
Moi je compile le noyau moi-même, pour commencer :) Sans SE Linux... Au niveau sched je garde le noop.
En règle générale je mets les blocks au max sur la carte RAID: cat /sys/block/sda/queue/max_hw_sectors_kb > /sys/block/sda/queue/ max_sectors_kb
Ensuite je règle la longueur de queue :
echo 512 > /sys/block/sda/queue/nr_requests
Puis je règle le readahead (selon le nombre et type de disques): blockdev --setra 32768 /dev/sda
Lorsque j'utilise XFS je formate et je monte comme ceci : mkfs.xfs -f -l sunit8 -l lazy-count=1 /dev/vg_filer/data /dev/vg-filer/data /data xfs allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
J'utilise XFS dans 99% des cas :)
Je fais un su et un sw adaptés au RAID (su de même taille que le stripe sélectionné sur le contrôleur RAID, en général 64K, sw égal au nombre de disques de données).
Je monte le XFS en nobarrier et en général en noatime, c'est son point faible. Autre solution : je mets parfois le log (avec le système) sur un SSD de petite taille (16 Go), les perfs sont bien améliorées.
enfin, pour NFS, - je démare un bon paquet de threads (128) - je force NFS v3 en tcp
Pour le nombre de threads j'ai fait un moniteur munin qui permet d'optimiser en fonction des cas. En règle générale je ne dépasse pas 64.
-- Money is a barren Thing, and produces nothing, but by Compact, transfers that Profit, that was the Reward of one Man's Labour, into another Man's Pocket. John Locke
Le Sat, 28 Nov 2009 03:59:09 +0100, Eric Belhomme a écrit:
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian
pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau : -
séléction du scheduler deadline
- alignement des blocksize à ceux de la carte RAID - priorisation des IO
- augmentation des buffers reseau
- augmentation des buffers tcp
Moi je compile le noyau moi-même, pour commencer :) Sans SE Linux...
Au niveau sched je garde le noop.
En règle générale je mets les blocks au max sur la carte RAID:
cat /sys/block/sda/queue/max_hw_sectors_kb > /sys/block/sda/queue/
max_sectors_kb
Ensuite je règle la longueur de queue :
echo 512 > /sys/block/sda/queue/nr_requests
Puis je règle le readahead (selon le nombre et type de disques):
blockdev --setra 32768 /dev/sda
Lorsque j'utilise XFS je formate et je monte comme ceci : mkfs.xfs -f -l
sunit8 -l lazy-count=1 /dev/vg_filer/data /dev/vg-filer/data /data
xfs
allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
J'utilise XFS dans 99% des cas :)
Je fais un su et un sw adaptés au RAID (su de même taille que le stripe
sélectionné sur le contrôleur RAID, en général 64K, sw égal au nombre de
disques de données).
Je monte le XFS en nobarrier et en général en noatime, c'est son point
faible. Autre solution : je mets parfois le log (avec le système) sur un
SSD de petite taille (16 Go), les perfs sont bien améliorées.
enfin, pour NFS,
- je démare un bon paquet de threads (128) - je force NFS v3 en tcp
Pour le nombre de threads j'ai fait un moniteur munin qui permet
d'optimiser en fonction des cas. En règle générale je ne dépasse pas 64.
--
Money is a barren Thing, and produces nothing, but by Compact, transfers
that Profit, that was the Reward of one Man's Labour, into another Man's
Pocket.
John Locke
Le Sat, 28 Nov 2009 03:59:09 +0100, Eric Belhomme a écrit:
Ca m'intéresserait fortement de comparer nos "optimsations" de Debian pour du NFS...
Pour ma part, je fais quelques modifications au niveau noyau : - séléction du scheduler deadline - alignement des blocksize à ceux de la carte RAID - priorisation des IO - augmentation des buffers reseau - augmentation des buffers tcp
Moi je compile le noyau moi-même, pour commencer :) Sans SE Linux... Au niveau sched je garde le noop.
En règle générale je mets les blocks au max sur la carte RAID: cat /sys/block/sda/queue/max_hw_sectors_kb > /sys/block/sda/queue/ max_sectors_kb
Ensuite je règle la longueur de queue :
echo 512 > /sys/block/sda/queue/nr_requests
Puis je règle le readahead (selon le nombre et type de disques): blockdev --setra 32768 /dev/sda
Lorsque j'utilise XFS je formate et je monte comme ceci : mkfs.xfs -f -l sunit8 -l lazy-count=1 /dev/vg_filer/data /dev/vg-filer/data /data xfs allocsize1072,attr2,logbufs=8,logbsize&2144,noatime,pquota
J'utilise XFS dans 99% des cas :)
Je fais un su et un sw adaptés au RAID (su de même taille que le stripe sélectionné sur le contrôleur RAID, en général 64K, sw égal au nombre de disques de données).
Je monte le XFS en nobarrier et en général en noatime, c'est son point faible. Autre solution : je mets parfois le log (avec le système) sur un SSD de petite taille (16 Go), les perfs sont bien améliorées.
enfin, pour NFS, - je démare un bon paquet de threads (128) - je force NFS v3 en tcp
Pour le nombre de threads j'ai fait un moniteur munin qui permet d'optimiser en fonction des cas. En règle générale je ne dépasse pas 64.
-- Money is a barren Thing, and produces nothing, but by Compact, transfers that Profit, that was the Reward of one Man's Labour, into another Man's Pocket. John Locke
Olivier B.
On 28 Nov 2009 14:04:28 GMT, Emmanuel Florac wrote:
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de n'importe quel "professionnel", les bonnes solutions "gratuites" ça n'existe pas. "Fast, good, cheap, choose two".
l'objectif du "nas maison" n'est pas d'offrir de grosses perfs, je ne vais donc pas investir, disons que linux etait peut etre l'occasion d'optimiser le best effort.
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de windows.
c'est en fait ce que je voudrais savoir puisque c'est avancé par 2 contributeurs ici, mais je suis loin d'être sur de gagner 30 à 50 % de perfs pour la config annoncée...
Mais si c'est une machine à processeur Intel (hors dernière génération) la performance mémoire absolument minable rend les I/O très médiocres et donc obère la performance d'un RAID logiciel.
et dans ce cas linux ne serait pas plus efficace, toutes ces incertitudes font que je vais donc rester en raid soft sous w2k3...
Par ailleurs les WD 2To ont des performances correctes mais nettement inférieures aux Hitachi et Seagate 2 To.
surtout les green, les perfs en accès concurents sont tres en retrait, mais on est ici dans une utilistion quasi mono utilisateur, un peu du NOL. De plus D.Storage ne les a pas validé sur les nas que l'on a (4000) car ils ont eu des pertes de donné avec, domage car coté conso ils sont imbatables.
Cependant en RAID-5 (matériel) sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
je ne doute pas qu'avec un raid matériel les perfs puissent etre meilleures :-)
-- pas de turlututu. apres l'@robase
On 28 Nov 2009 14:04:28 GMT, Emmanuel Florac <eflorac@imaginet.fr>
wrote:
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que
je veux minimiser au maximum les couts, sinon comme je le précise j'ai
aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de
n'importe quel "professionnel", les bonnes solutions "gratuites" ça
n'existe pas. "Fast, good, cheap, choose two".
l'objectif du "nas maison" n'est pas d'offrir de grosses perfs, je ne
vais donc pas investir, disons que linux etait peut etre l'occasion
d'optimiser le best effort.
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To
serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi
mono-utilisateur du nas, on y pousse unitairement des fcihier d'une
dizaine de Go
raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de
windows.
c'est en fait ce que je voudrais savoir puisque c'est avancé par 2
contributeurs ici, mais je suis loin d'être sur de gagner 30 à 50 % de
perfs pour la config annoncée...
Mais si c'est une machine à processeur Intel (hors dernière
génération) la performance mémoire absolument minable rend les I/O très
médiocres et donc obère la performance d'un RAID logiciel.
et dans ce cas linux ne serait pas plus efficace, toutes ces
incertitudes font que je vais donc rester en raid soft sous w2k3...
Par ailleurs les WD 2To ont des performances correctes mais nettement
inférieures aux Hitachi et Seagate 2 To.
surtout les green, les perfs en accès concurents sont tres en retrait,
mais on est ici dans une utilistion quasi mono utilisateur, un peu du
NOL. De plus D.Storage ne les a pas validé sur les nas que l'on a
(4000) car ils ont eu des pertes de donné avec, domage car coté conso
ils sont imbatables.
Cependant en RAID-5 (matériel)
sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
je ne doute pas qu'avec un raid matériel les perfs puissent etre
meilleures :-)
On 28 Nov 2009 14:04:28 GMT, Emmanuel Florac wrote:
Le Sat, 28 Nov 2009 00:25:41 +0100, Olivier B. a écrit:
quand je dis "faits "maisons" pour des questions financieres" c'est que je veux minimiser au maximum les couts, sinon comme je le précise j'ai aussi du nas/areca mais le besoin n'est pas le meme
Une carte RAID correcte coûte 3 ou 400 euros. C'est à la portée de n'importe quel "professionnel", les bonnes solutions "gratuites" ça n'existe pas. "Fast, good, cheap, choose two".
l'objectif du "nas maison" n'est pas d'offrir de grosses perfs, je ne vais donc pas investir, disons que linux etait peut etre l'occasion d'optimiser le best effort.
HP EVO9400 (nforce3000 en jbod car raid catastrophique) 6 disques 2To serie GREEN de WD, choisis pour leur faible conso et l'aspect quasi mono-utilisateur du nas, on y pousse unitairement des fcihier d'une dizaine de Go raid5 sous windows server 2k3
Peut-être que le RAID logiciel de Linux est plus performant que celui de windows.
c'est en fait ce que je voudrais savoir puisque c'est avancé par 2 contributeurs ici, mais je suis loin d'être sur de gagner 30 à 50 % de perfs pour la config annoncée...
Mais si c'est une machine à processeur Intel (hors dernière génération) la performance mémoire absolument minable rend les I/O très médiocres et donc obère la performance d'un RAID logiciel.
et dans ce cas linux ne serait pas plus efficace, toutes ces incertitudes font que je vais donc rester en raid soft sous w2k3...
Par ailleurs les WD 2To ont des performances correctes mais nettement inférieures aux Hitachi et Seagate 2 To.
surtout les green, les perfs en accès concurents sont tres en retrait, mais on est ici dans une utilistion quasi mono utilisateur, un peu du NOL. De plus D.Storage ne les a pas validé sur les nas que l'on a (4000) car ils ont eu des pertes de donné avec, domage car coté conso ils sont imbatables.
Cependant en RAID-5 (matériel) sur 3 disques j'ai obtenu 120 Mo/s en écriture et 200 en lecture.
je ne doute pas qu'avec un raid matériel les perfs puissent etre meilleures :-)
