Je dois monter un NAS "basse consommation" composé de 8 disques 2To en
2.5' et 5400 tpm, montés en grappe RAID6 logiciel (donc sans carte RAID
matérielle). Ces disques seront connecté à un controlleur SAS LSI capable
de gérer jusqu'à 16 disques, et histoire de booster les perfs qui
risquent sinon d'être bien minables, j'étudie la possibilité de rajouter
un paire de disques SSD SLC en 256GO en cache disque.
Sous Linux, il semble que les choses ne soient pas tout à fait
normalisées, avec plusieurs approches en concurrence, notamment bcache et
dm-cache. Il y en a d'autres (enhanceIO, FlashCache, etc) mais ils
semblent plus ou moins abandonnés. De la même manière, bcache semble
assez mort (la banche master n'a pas bougé depuis 2013...)
Bref, j'ai l'impression que le candidat sérieux, c'est dm-cache, ce qui
me semble par ailleurs assez logique étant donné qu'il est directement
intégré à LVM, mais je peine à trouver de la litérature *récente* sur le
sujet.
Je viens donc voir par ici si les spécialistes du stockage ont eu
l'occasion de jouer avec ces technos..
Ca fait un moment que je ne suis pas passé par ici et je constate avec
tristesse que ce groupe est bien moribond :'(
M'enfin si un barbu passe éventuellement par ici, je suis preneur des
bonnes pratiques...
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Eric Belhomme
Le Sun, 02 Jul 2017 17:22:59 +0000, Eric Belhomme a écrit :
Je viens donc voir par ici si les spécialistes du stockage ont eu l'occasion de jouer avec ces technos..
Suite à mon post je me suis re-penché de près sur le cas de ZFS sur Linux, et force est de constater que les choses ont bien évolué depuis la dernière fois que je m'y étais intéressé ! A l'époque, le protage vers Linux démarrait seulement et le support de ZFS se faisait exclusivement via FUSE... Aujourd'hui, ZFS tourne en mode noyau (via un module linké avec DKMS histoire de ne pas violer les licenses). J'ai donc joué avec... Les protagonistes sont donc : - Une carte mère Supermicro A1SA7 qui intègre un CPU Intel Atom C2750 (8 coeurs) et un controlleur SAS LSI, peuplée avec de 32 G de RAM, - deux disques SSD TLC de 240G (les SLC deviennent introuvables, et les MLC sont chers. Là je voulais du pas cher...) - 12 disques 1T, 2.5", 5400 tpm Seagate ST1000LM048 J'ai installé l'OS (Debian 9) sur une petite partition de 10G en RAID1 sur les deux SSD, les disques SATA sont aggrégés en un zpool en raidz2, avec 2 disques en hot-spare. J'ai partitionné les disques SSD avec une patite partition pour le zlog, et une grosse partition pour le cache : sisyphus:~# zpool status pool: rpool state: ONLINE scan: resilvered 80,9G in 2h27m with 0 errors on Wed Jul 26 08:48:50 2017 config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 sdc ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 sdj ONLINE 0 0 0 sdk ONLINE 0 0 0 sdl ONLINE 0 0 0 logs sda3 ONLINE 0 0 0 sdb3 ONLINE 0 0 0 cache sdb4 ONLINE 0 0 0 sda4 ONLINE 0 0 0 spares sdn AVAIL sdm AVAIL Histoire de comparer des choux et des carottes, j'ai lancé un bench avec bonnie++ : - sur mon ancien système NAS (seamus) un vénérable Core2 Quad sur une CM Intel D975XBX2 équipée d'un carte RAID Adaptec 51245 avec 8 disques SATA 3.5" de 1.5T 7200 rpm en RAID6. La carte RAID est équipée de 512M de cache et de sa BBU, formatté en btrfs - sur le nouveau (sisyphus), en ZFS Les données brutes, obtenues avec la commande suivante sur les 2 systèmes : bonnie++ -d /data/raid/bonnie -r 32768 -c 16 1.97,1.97,seamus,16,1501211959,64G,,462,99,201112,19,147885,23,2983,89,245909,21,366.4,13,16,,,,,789,14, +++++,+++,4416,27,24516,64,+++++,++ +,21864,97,27621us,13599ms,4388ms,33424us,269ms,96329us,120ms,510us,8868us,181ms,37us,1937us 1.97,1.97,sisyphus,16,1501222802,64G,,46,99,290461,94,106923,49,164,97,685650,93,639.7,34,16,,,,,10306,95, +++++,+++,4856,53,10901,99,+++++,++ +,1241,99,177ms,73945us,1867ms,460ms,425ms,402ms,26623us,2110us,415ms,41237us,72us,12732us Le RAID hardware est globalement plus performant, et surtout charge beaucoup moins le CPU, mais le système ZFS s'en tire tout de même plus qu'honorablement, sans doute grâce à la gestion evoluée du cache en RAM et sur disque SSD. C'est particulièrement flagrant sur les opération de lecture séquentielles et aléatoires. Je suppose que si je collais un ou deux SSD à la carte Adaptec, elle torcherait allègrement ZFS, mais le but etait de concevoir un NAS /basse consommation/ et cette bonne carte Adaptec consomme pas loin de 100W ;) -- Rico
Le Sun, 02 Jul 2017 17:22:59 +0000, Eric Belhomme a écrit :
Je viens donc voir par ici si les spécialistes du stockage ont eu
l'occasion de jouer avec ces technos..
Suite à mon post je me suis re-penché de près sur le cas de ZFS sur
Linux, et force est de constater que les choses ont bien évolué depuis la
dernière fois que je m'y étais intéressé ! A l'époque, le protage vers
Linux démarrait seulement et le support de ZFS se faisait exclusivement
via FUSE... Aujourd'hui, ZFS tourne en mode noyau (via un module linké
avec DKMS histoire de ne pas violer les licenses). J'ai donc joué avec...
Les protagonistes sont donc :
- Une carte mère Supermicro A1SA7 qui intègre un CPU Intel Atom C2750 (8
coeurs) et un controlleur SAS LSI, peuplée avec de 32 G de RAM,
- deux disques SSD TLC de 240G (les SLC deviennent introuvables, et les
MLC sont chers. Là je voulais du pas cher...)
- 12 disques 1T, 2.5", 5400 tpm Seagate ST1000LM048
J'ai installé l'OS (Debian 9) sur une petite partition de 10G en RAID1
sur les deux SSD, les disques SATA sont aggrégés en un zpool en raidz2,
avec 2 disques en hot-spare. J'ai partitionné les disques SSD avec une
patite partition pour le zlog, et une grosse partition pour le cache :
sisyphus:~# zpool status
pool: rpool
state: ONLINE
scan: resilvered 80,9G in 2h27m with 0 errors on Wed Jul 26 08:48:50
2017
config:
Histoire de comparer des choux et des carottes, j'ai lancé un bench avec
bonnie++ :
- sur mon ancien système NAS (seamus) un vénérable Core2 Quad sur une CM
Intel D975XBX2 équipée d'un carte RAID Adaptec 51245 avec 8 disques SATA
3.5" de 1.5T 7200 rpm en RAID6. La carte RAID est équipée de 512M de
cache et de sa BBU, formatté en btrfs
- sur le nouveau (sisyphus), en ZFS
Les données brutes, obtenues avec la commande suivante sur les 2
systèmes : bonnie++ -d /data/raid/bonnie -r 32768 -c 16
Le RAID hardware est globalement plus performant, et surtout charge
beaucoup moins le CPU, mais le système ZFS s'en tire tout de même plus
qu'honorablement, sans doute grâce à la gestion evoluée du cache en RAM
et sur disque SSD. C'est particulièrement flagrant sur les opération de
lecture séquentielles et aléatoires.
Je suppose que si je collais un ou deux SSD à la carte Adaptec, elle
torcherait allègrement ZFS, mais le but etait de concevoir un NAS /basse
consommation/ et cette bonne carte Adaptec consomme pas loin de 100W ;)
Le Sun, 02 Jul 2017 17:22:59 +0000, Eric Belhomme a écrit :
Je viens donc voir par ici si les spécialistes du stockage ont eu l'occasion de jouer avec ces technos..
Suite à mon post je me suis re-penché de près sur le cas de ZFS sur Linux, et force est de constater que les choses ont bien évolué depuis la dernière fois que je m'y étais intéressé ! A l'époque, le protage vers Linux démarrait seulement et le support de ZFS se faisait exclusivement via FUSE... Aujourd'hui, ZFS tourne en mode noyau (via un module linké avec DKMS histoire de ne pas violer les licenses). J'ai donc joué avec... Les protagonistes sont donc : - Une carte mère Supermicro A1SA7 qui intègre un CPU Intel Atom C2750 (8 coeurs) et un controlleur SAS LSI, peuplée avec de 32 G de RAM, - deux disques SSD TLC de 240G (les SLC deviennent introuvables, et les MLC sont chers. Là je voulais du pas cher...) - 12 disques 1T, 2.5", 5400 tpm Seagate ST1000LM048 J'ai installé l'OS (Debian 9) sur une petite partition de 10G en RAID1 sur les deux SSD, les disques SATA sont aggrégés en un zpool en raidz2, avec 2 disques en hot-spare. J'ai partitionné les disques SSD avec une patite partition pour le zlog, et une grosse partition pour le cache : sisyphus:~# zpool status pool: rpool state: ONLINE scan: resilvered 80,9G in 2h27m with 0 errors on Wed Jul 26 08:48:50 2017 config: NAME STATE READ WRITE CKSUM rpool ONLINE 0 0 0 raidz2-0 ONLINE 0 0 0 sdc ONLINE 0 0 0 sdd ONLINE 0 0 0 sde ONLINE 0 0 0 sdf ONLINE 0 0 0 sdg ONLINE 0 0 0 sdh ONLINE 0 0 0 sdi ONLINE 0 0 0 sdj ONLINE 0 0 0 sdk ONLINE 0 0 0 sdl ONLINE 0 0 0 logs sda3 ONLINE 0 0 0 sdb3 ONLINE 0 0 0 cache sdb4 ONLINE 0 0 0 sda4 ONLINE 0 0 0 spares sdn AVAIL sdm AVAIL Histoire de comparer des choux et des carottes, j'ai lancé un bench avec bonnie++ : - sur mon ancien système NAS (seamus) un vénérable Core2 Quad sur une CM Intel D975XBX2 équipée d'un carte RAID Adaptec 51245 avec 8 disques SATA 3.5" de 1.5T 7200 rpm en RAID6. La carte RAID est équipée de 512M de cache et de sa BBU, formatté en btrfs - sur le nouveau (sisyphus), en ZFS Les données brutes, obtenues avec la commande suivante sur les 2 systèmes : bonnie++ -d /data/raid/bonnie -r 32768 -c 16 1.97,1.97,seamus,16,1501211959,64G,,462,99,201112,19,147885,23,2983,89,245909,21,366.4,13,16,,,,,789,14, +++++,+++,4416,27,24516,64,+++++,++ +,21864,97,27621us,13599ms,4388ms,33424us,269ms,96329us,120ms,510us,8868us,181ms,37us,1937us 1.97,1.97,sisyphus,16,1501222802,64G,,46,99,290461,94,106923,49,164,97,685650,93,639.7,34,16,,,,,10306,95, +++++,+++,4856,53,10901,99,+++++,++ +,1241,99,177ms,73945us,1867ms,460ms,425ms,402ms,26623us,2110us,415ms,41237us,72us,12732us Le RAID hardware est globalement plus performant, et surtout charge beaucoup moins le CPU, mais le système ZFS s'en tire tout de même plus qu'honorablement, sans doute grâce à la gestion evoluée du cache en RAM et sur disque SSD. C'est particulièrement flagrant sur les opération de lecture séquentielles et aléatoires. Je suppose que si je collais un ou deux SSD à la carte Adaptec, elle torcherait allègrement ZFS, mais le but etait de concevoir un NAS /basse consommation/ et cette bonne carte Adaptec consomme pas loin de 100W ;) -- Rico
zeLittle
Le Sun, 30 Jul 2017 18:58:54 +0200, Eric Belhomme <rico-{nospam}@ricozome.net> a écrit:
mais le but était de concevoir un NAS /basse consommation [SNIP]
Tu peux aussi regarder du côté de la tour, s'il en existe avec dissipation de chaleur grâce à des ailettes de dissipation de chaleur avec l'air ambiant ( le fabricant de NAS Lacie, utilise de telles tours pour se passer de ventilateurs ). Mais bon e npériode de canicule, vaut mieux mettre ce genre de NAS à la cave...
Le Sun, 30 Jul 2017 18:58:54 +0200, Eric Belhomme
<rico-{nospam}@ricozome.net> a écrit:
mais le but était de concevoir un NAS /basse
consommation [SNIP]
Tu peux aussi regarder du côté de la tour, s'il en existe avec dissipation
de chaleur grâce à des ailettes de dissipation de chaleur avec l'air
ambiant ( le fabricant de NAS Lacie, utilise de telles tours pour se
passer de ventilateurs ).
Mais bon e npériode de canicule, vaut mieux mettre ce genre de NAS à la
cave...
Le Sun, 30 Jul 2017 18:58:54 +0200, Eric Belhomme <rico-{nospam}@ricozome.net> a écrit:
mais le but était de concevoir un NAS /basse consommation [SNIP]
Tu peux aussi regarder du côté de la tour, s'il en existe avec dissipation de chaleur grâce à des ailettes de dissipation de chaleur avec l'air ambiant ( le fabricant de NAS Lacie, utilise de telles tours pour se passer de ventilateurs ). Mais bon e npériode de canicule, vaut mieux mettre ce genre de NAS à la cave...
