caching SSD sous Linux

Le
Eric Belhomme
Bonjour la liste,

Je dois monter un NAS "basse consommation" composé de 8 disques 2To en
2.5' et 5400 tpm, montés en grappe RAID6 logiciel (donc sans carte RAID
matérielle). Ces disques seront connecté à un controlleur SAS LSI capable
de gérer jusqu'à 16 disques, et histoire de booster les perfs qui
risquent sinon d'être bien minables, j'étudie la possibilité de rajouter
un paire de disques SSD SLC en 256GO en cache disque.

Sous Linux, il semble que les choses ne soient pas tout à fait
normalisées, avec plusieurs approches en concurrence, notamment bcache et
dm-cache. Il y en a d'autres (enhanceIO, FlashCache, etc) mais ils
semblent plus ou moins abandonnés. De la même manière, bcache semble
assez mort (la banche master n'a pas bougé depuis 2013)

Bref, j'ai l'impression que le candidat sérieux, c'est dm-cache, ce qui
me semble par ailleurs assez logique étant donné qu'il est directement
intégré à LVM, mais je peine à trouver de la litérature *récente* sur le
sujet.

Je viens donc voir par ici si les spécialistes du stockage ont eu
l'occasion de jouer avec ces technos..

Ca fait un moment que je ne suis pas passé par ici et je constate avec
tristesse que ce groupe est bien moribond :'(
M'enfin si un barbu passe éventuellement par ici, je suis preneur des
bonnes pratiques

Merci,

--
Rico
Vos réponses
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Eric Belhomme
Le #26440574
Le Sun, 02 Jul 2017 17:22:59 +0000, Eric Belhomme a écrit :
Je viens donc voir par ici si les spécialistes du stockage ont eu
l'occasion de jouer avec ces technos..


Suite à mon post je me suis re-penché de près sur le cas de ZFS sur
Linux, et force est de constater que les choses ont bien évolué depuis la
dernière fois que je m'y étais intéressé ! A l'époque, le protage vers
Linux démarrait seulement et le support de ZFS se faisait exclusivement
via FUSE... Aujourd'hui, ZFS tourne en mode noyau (via un module linké
avec DKMS histoire de ne pas violer les licenses). J'ai donc joué avec...
Les protagonistes sont donc :
- Une carte mère Supermicro A1SA7 qui intègre un CPU Intel Atom C2750 (8
coeurs) et un controlleur SAS LSI, peuplée avec de 32 G de RAM,
- deux disques SSD TLC de 240G (les SLC deviennent introuvables, et les
MLC sont chers. Là je voulais du pas cher...)
- 12 disques 1T, 2.5", 5400 tpm Seagate ST1000LM048
J'ai installé l'OS (Debian 9) sur une petite partition de 10G en RAID1
sur les deux SSD, les disques SATA sont aggrégés en un zpool en raidz2,
avec 2 disques en hot-spare. J'ai partitionné les disques SSD avec une
patite partition pour le zlog, et une grosse partition pour le cache :
sisyphus:~# zpool status
pool: rpool
state: ONLINE
scan: resilvered 80,9G in 2h27m with 0 errors on Wed Jul 26 08:48:50
2017
config:
NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
raidz2-0 ONLINE 0 0 0
sdc ONLINE 0 0 0
sdd ONLINE 0 0 0
sde ONLINE 0 0 0
sdf ONLINE 0 0 0
sdg ONLINE 0 0 0
sdh ONLINE 0 0 0
sdi ONLINE 0 0 0
sdj ONLINE 0 0 0
sdk ONLINE 0 0 0
sdl ONLINE 0 0 0
logs
sda3 ONLINE 0 0 0
sdb3 ONLINE 0 0 0
cache
sdb4 ONLINE 0 0 0
sda4 ONLINE 0 0 0
spares
sdn AVAIL
sdm AVAIL
Histoire de comparer des choux et des carottes, j'ai lancé un bench avec
bonnie++ :
- sur mon ancien système NAS (seamus) un vénérable Core2 Quad sur une CM
Intel D975XBX2 équipée d'un carte RAID Adaptec 51245 avec 8 disques SATA
3.5" de 1.5T 7200 rpm en RAID6. La carte RAID est équipée de 512M de
cache et de sa BBU, formatté en btrfs
- sur le nouveau (sisyphus), en ZFS
Les données brutes, obtenues avec la commande suivante sur les 2
systèmes : bonnie++ -d /data/raid/bonnie -r 32768 -c 16
1.97,1.97,seamus,16,1501211959,64G,,462,99,201112,19,147885,23,2983,89,245909,21,366.4,13,16,,,,,789,14,
+++++,+++,4416,27,24516,64,+++++,++
+,21864,97,27621us,13599ms,4388ms,33424us,269ms,96329us,120ms,510us,8868us,181ms,37us,1937us
1.97,1.97,sisyphus,16,1501222802,64G,,46,99,290461,94,106923,49,164,97,685650,93,639.7,34,16,,,,,10306,95,
+++++,+++,4856,53,10901,99,+++++,++
+,1241,99,177ms,73945us,1867ms,460ms,425ms,402ms,26623us,2110us,415ms,41237us,72us,12732us
Le RAID hardware est globalement plus performant, et surtout charge
beaucoup moins le CPU, mais le système ZFS s'en tire tout de même plus
qu'honorablement, sans doute grâce à la gestion evoluée du cache en RAM
et sur disque SSD. C'est particulièrement flagrant sur les opération de
lecture séquentielles et aléatoires.
Je suppose que si je collais un ou deux SSD à la carte Adaptec, elle
torcherait allègrement ZFS, mais le but etait de concevoir un NAS /basse
consommation/ et cette bonne carte Adaptec consomme pas loin de 100W ;)
--
Rico
zeLittle
Le #26441196
Le Sun, 30 Jul 2017 18:58:54 +0200, Eric Belhomme
mais le but était de concevoir un NAS /basse
consommation [SNIP]


Tu peux aussi regarder du côté de la tour, s'il en existe avec dissipation
de chaleur grâce à des ailettes de dissipation de chaleur avec l'air
ambiant ( le fabricant de NAS Lacie, utilise de telles tours pour se
passer de ventilateurs ).
Mais bon e npériode de canicule, vaut mieux mettre ce genre de NAS à la
cave...
Publicité
Poster une réponse
Anonyme