Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[rico@kapa3 ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
[rico@kapa3 ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde...
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde...
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde...
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Le 09-06-2009, ? propos de
optimisation de serveur NFS,
Eric Belhomme ?crivait dans fr.comp.os.linux.configuration :Bonjour,
Bonjour,Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Ma boule de cristal est en panne. Made in China, mauvaise
fabrication, toussa ;-)
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Ici, avec le serveur que tu as vu la dernière fois (une U60 avec
deux procs à 450 MHz), j'ai des opérations de lecture et d'écriture sur
du raid6 soft à 12 Mo/s (réseau à 100 Mbps). Donc, il n'y a aucune
raison que cela ne fonctionne pas.
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Cordialement,
JKB
Le 09-06-2009, ? propos de
optimisation de serveur NFS,
Eric Belhomme ?crivait dans fr.comp.os.linux.configuration :
Bonjour,
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[rico@kapa3 ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Ma boule de cristal est en panne. Made in China, mauvaise
fabrication, toussa ;-)
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Ici, avec le serveur que tu as vu la dernière fois (une U60 avec
deux procs à 450 MHz), j'ai des opérations de lecture et d'écriture sur
du raid6 soft à 12 Mo/s (réseau à 100 Mbps). Donc, il n'y a aucune
raison que cela ne fonctionne pas.
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Cordialement,
JKB
Le 09-06-2009, ? propos de
optimisation de serveur NFS,
Eric Belhomme ?crivait dans fr.comp.os.linux.configuration :Bonjour,
Bonjour,Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de RAM,
- controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Ceci fait, j'ai fais quelques tests en créant simultanément une 12aine
de fichiers de 100GB depuis une 12aine de machines reliées au même
switch, en Gbit :
[ ~]$ time dd if=/dev/urandom bs=1k count4857600
of=/auto/filer1_fae/test_`uname -n`.dat
104857600+0 enregistrements lus.
104857600+0 enregistrements écrits.
real 293m34.745s
user 0m9.419s
sys 170m30.693s
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit une
moyenne de de 65KB/seconde... Pas terrible pour une machine qui devrait
plafonner à 4Gbps !!!
La bonne nouvelle, c'est que je dois avoir une bonne marge de
progression pour optimiser tout ca, la mauvaise, c'est que je ne vois
pas trop ce que je peux faire... Toute suggestion sera donc la bien venue !
Ma boule de cristal est en panne. Made in China, mauvaise
fabrication, toussa ;-)
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Ici, avec le serveur que tu as vu la dernière fois (une U60 avec
deux procs à 450 MHz), j'ai des opérations de lecture et d'écriture sur
du raid6 soft à 12 Mo/s (réseau à 100 Mbps). Donc, il n'y a aucune
raison que cela ne fonctionne pas.
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Cordialement,
JKB
quel type de switch
il en existe avec des firmwares bien pourri
pour les perf locales cela donne quoi le systeme de fichier
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
quel type de switch
il en existe avec des firmwares bien pourri
pour les perf locales cela donne quoi le systeme de fichier
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
quel type de switch
il en existe avec des firmwares bien pourri
pour les perf locales cela donne quoi le systeme de fichier
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Philippe Weill a écrit :quel type de switch
il en existe avec des firmwares bien pourri
C'est un Dell pc5448, configuré comme ceci :
interface range ethernet g41-44
no switchport mode
channel-group 2 mode auto
interface port-channel 2
switchport mode access
switchport access vlan 9
Je graphe avec snmp mon bond0 sur le serveur et le ch2 sur le switch, et
mes 2 courbes sont cohérentespour les perf locales cela donne quoi le systeme de fichier
hem... en fait j'ai pas testé :))On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Que veux-tu savoir exactement ?
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
Je n'ai pas précisé TCP dans l'automonteur... Il me semble que depuis
nfs v3 TCP est utilisé par défaut non ?
Pour ce qui est du V3, est-ce qu'il y a moyen de préciser à nfs de ne
faire que du V3 et rien d'autre ?
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
oups :
:~$ cat /etc/exports
/data/fae *(rw,sync,no_subtree_check)
coté automonteur, j'ai fais dans la simplicité :
[ ~]$ mount | grep filer1
filer1:/data/fae on /auto/filer1_fae type nfs (rw,addr=x.x.x.x)
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Cette machine est destinée à être lourdement sollicitée, et aura besoin
de ses 4gbps de bande passante, donc il _FAUT_ que nfs se dépatouille
avec le bonding !
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
je me suis contenté de ça :
options bonding mode=4 miimon0 downdelay 0 updelay 0
Quel est l'intéret du xmit_hash_policy ?Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Je suis en Lenny, donc avec le noyau 2.6.26-2-amd64 officiel de Debian.
On peut dire qu'il est relativement récent donc.
Qu'as-tu rencontré comme pb avec les 2.6.18 et 2.6.24 ?
Philippe Weill a écrit :
quel type de switch
il en existe avec des firmwares bien pourri
C'est un Dell pc5448, configuré comme ceci :
interface range ethernet g41-44
no switchport mode
channel-group 2 mode auto
interface port-channel 2
switchport mode access
switchport access vlan 9
Je graphe avec snmp mon bond0 sur le serveur et le ch2 sur le switch, et
mes 2 courbes sont cohérentes
pour les perf locales cela donne quoi le systeme de fichier
hem... en fait j'ai pas testé :))
On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Que veux-tu savoir exactement ?
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
Je n'ai pas précisé TCP dans l'automonteur... Il me semble que depuis
nfs v3 TCP est utilisé par défaut non ?
Pour ce qui est du V3, est-ce qu'il y a moyen de préciser à nfs de ne
faire que du V3 et rien d'autre ?
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
oups :
rico@filer1:~$ cat /etc/exports
/data/fae *(rw,sync,no_subtree_check)
coté automonteur, j'ai fais dans la simplicité :
[rico@kapa4 ~]$ mount | grep filer1
filer1:/data/fae on /auto/filer1_fae type nfs (rw,addr=x.x.x.x)
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Cette machine est destinée à être lourdement sollicitée, et aura besoin
de ses 4gbps de bande passante, donc il _FAUT_ que nfs se dépatouille
avec le bonding !
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
je me suis contenté de ça :
options bonding mode=4 miimon0 downdelay 0 updelay 0
Quel est l'intéret du xmit_hash_policy ?
Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Je suis en Lenny, donc avec le noyau 2.6.26-2-amd64 officiel de Debian.
On peut dire qu'il est relativement récent donc.
Qu'as-tu rencontré comme pb avec les 2.6.18 et 2.6.24 ?
Philippe Weill a écrit :quel type de switch
il en existe avec des firmwares bien pourri
C'est un Dell pc5448, configuré comme ceci :
interface range ethernet g41-44
no switchport mode
channel-group 2 mode auto
interface port-channel 2
switchport mode access
switchport access vlan 9
Je graphe avec snmp mon bond0 sur le serveur et le ch2 sur le switch, et
mes 2 courbes sont cohérentespour les perf locales cela donne quoi le systeme de fichier
hem... en fait j'ai pas testé :))On n'a _aucune_ information. La machine en question tourne avec
knfsd (c'est bien, c'est mieux que unfs ou userland-nfsd).
Que veux-tu savoir exactement ?
Je commencerais à mettre un NFSv3/TCP (pas de v4, parce que ce truc
est actuellement inutilisable sous Linux) avec des paquets de 32 Ko.
Je n'ai pas précisé TCP dans l'automonteur... Il me semble que depuis
nfs v3 TCP est utilisé par défaut non ?
Pour ce qui est du V3, est-ce qu'il y a moyen de préciser à nfs de ne
faire que du V3 et rien d'autre ?
J'espère que le mode async est activé (parce que sinon ça risque de
ramouiller très fort). Je ne suis vraiment pas sûr que le fait de passer
à 128 threads soit une excellente idée surtout dans le cas d'un daemon
UDP (ça pourrait se justifier en TCP, et encore). Bref :
- 8 threads pour commencer
- mode async pour tout le monde
- NFSv3
oups :
:~$ cat /etc/exports
/data/fae *(rw,sync,no_subtree_check)
coté automonteur, j'ai fais dans la simplicité :
[ ~]$ mount | grep filer1
filer1:/data/fae on /auto/filer1_fae type nfs (rw,addr=x.x.x.x)
Je virerais aussi l'agrégation (je ne sais pas comment un NFS va
utiliser ça, donc dans le doute...).
Cette machine est destinée à être lourdement sollicitée, et aura besoin
de ses 4gbps de bande passante, donc il _FAUT_ que nfs se dépatouille
avec le bonding !
en cas de doute on peut faire sans mais cela marche bien
options bonding miimon0 mode=4 xmit_hash_policy=layer3+4
je me suis contenté de ça :
options bonding mode=4 miimon0 downdelay 0 updelay 0
Quel est l'intéret du xmit_hash_policy ?Autre chose, j'espère que le noyau est récent, parce qu'entre les
2.6.18 et 2.6.24 inclus, le NFS était particulièrement déconnant.
Je suis en Lenny, donc avec le noyau 2.6.26-2-amd64 officiel de Debian.
On peut dire qu'il est relativement récent donc.
Qu'as-tu rencontré comme pb avec les 2.6.18 et 2.6.24 ?
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de
RAM, - controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit
une moyenne de de 65KB/seconde... Pas terrible pour une machine qui
devrait plafonner à 4Gbps !!!
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de
RAM, - controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit
une moyenne de de 65KB/seconde... Pas terrible pour une machine qui
devrait plafonner à 4Gbps !!!
Bonjour,
Je suis en train de monter un filer avec les éléments suivants :
- carte mère supermicro X7SBU, avec CPU Intel Xeon E3110 et 4GB de
RAM, - controlleur RAID 3Ware 9650SE-12 avec 12 disques 750GB en RAID6
- 4 interfaces ethernet Gbit Intel (2x 82571EB, 2x 82573)
- GNU/Linux Debian Lenny (amd64)
Le but est d'en faire un serveur de fichiers. J'ai donc installé et
configuré NFS (paquet nfs-kernel-server), et j'ai notamment modifié le
nombre de daemons nfsd de 8 à 128.
J'ai aussi aggrégé les 4 interfaces en une seule 802.11ad de façon à
avoir un max de bande passante vers mon serveur.
Il m'a fallu près de 5 heures pour générer 1,1TB sur le filer, soit
une moyenne de de 65KB/seconde... Pas terrible pour une machine qui
devrait plafonner à 4Gbps !!!