[NFS] Debit limite

Le
Romaric DEFAUX
Bonjour a tous !


J'ai un problème de limitation de debit sur un montage NFS.
J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.

Pour schématiser :


S1 - S2
gigabit


Quand je fais un rsync de S1 vers S2 mon débit est d'environ 50Mo/s et
quand j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de dépasser les 15Mo/s. C'est ce qui me fait penser que le
problème est vraiment lié au NFS.

J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768

S1 est une gentoo :
linux-2.6.26-gentoo-r3
net-fs/nfs-utils-1.1.3

S2 est une ubuntu :
ii libnfsidmap2 0.20-0build1
An nfs idmapping library
ii nfs-common 1:1.1.2-2ubuntu2.1
NFS support files common to client and serve
ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
support for NFS kernel server

Vous avez une idée sur la source du problème ?

Merci de votre aide

Romaric

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses Page 1 / 2
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Romaric DEFAUX
Le #18091011
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+>
+>
+> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+>
+> Pour schématiser :
+>
+>
+> S1 ------------- S2
+> gigabit
+>
+>
+> Quand je fais un rsync de S1 vers S2 mon débit est d'environ 50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi, impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème est vraiment
+> lié au NFS.
+>
+> J'ai essayé plein d'options de montage différentes, les meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+>
+> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+>
+> S2 est une ubuntu :
+> ii libnfsidmap2 0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common 1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+>
+> Vous avez une idée sur la source du problème ?
+>
+> Merci de votre aide
+>
+> Romaric
+>
+>



Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
rvenne
Le #18091161
tes cartes réseaux ( des 2 cotées) supportent elles le jumpo frame?

je suppose que le switch le supporte,
Romaric DEFAUX a écrit :
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+> +> +> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+> +> Pour schématiser :
+> +> +> S1 ------------- S2
+> gigabit
+> +> +> Quand je fais un rsync de S1 vers S2 mon débit est d'environ
50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème
est vraiment
+> lié au NFS.
+> +> J'ai essayé plein d'options de montage différentes, les
meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+> +> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+> +> S2 est une ubuntu :
+> ii libnfsidmap2
0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common
1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+> +> Vous avez une idée sur la source du problème ?
+> +> Merci de votre aide
+> +> Romaric
+> +>


Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)





--
Richard VENNE
IT Administrator

Administrateur réseaux système & sécurité
Afin de respecter l'environnement, merci de n'imprimer
cet email qu'en cas de nécessité absolue.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Romaric DEFAUX
Le #18091581
rvenne a écrit :
tes cartes réseaux ( des 2 cotées) supportent elles le jumpo frame?

je suppose que le switch le supporte,


Je ne passe pas par un switch, les deux serveurs sont reliés directement
par un câble croisé.

Concernant le jumpo (jumbo ?) frame, je suppose que oui (je ne sais pas
comment vérifier...).
Sur S1 j'ai :
06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet
Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet
Controller (rev 05)

et sur S2 :
05:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708
Gigabit Ethernet (rev 12)
09:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708
Gigabit Ethernet (rev 12)

J'arrive à atteindre du 50Mo/s sans passer par le NFS, c'est ce débit là
que je voudrais atteindre en utilisant le NFS.

Romaric DEFAUX a écrit :
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+> +> +> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+> +> Pour schématiser :
+> +> +> S1 ------------- S2
+> gigabit
+> +> +> Quand je fais un rsync de S1 vers S2 mon débit est
d'environ 50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème
est vraiment
+> lié au NFS.
+> +> J'ai essayé plein d'options de montage différentes, les
meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+> +> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+> +> S2 est une ubuntu :
+> ii libnfsidmap2
0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common
1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+> +> Vous avez une idée sur la source du problème ?
+> +> Merci de votre aide
+> +> Romaric
+> +>


Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)








--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Nicolas KOWALSKI
Le #18091761
2008/12/9 Romaric DEFAUX
Bonjour a tous !



Bonjour,

J'ai essayé plein d'options de montage différentes, les meilleurs per f.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?


Vous avez une idée sur la source du problème ?



Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Romaric DEFAUX
Le #18092871
Nicolas KOWALSKI a écrit :
2008/12/9 Romaric DEFAUX
Bonjour a tous !




Bonjour,


J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768




Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?




Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais
ce qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)

Vous avez une idée sur la source du problème ?




Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?




Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)

Et le système de fichier c'est de l'ext3 non journalisé. Mais si c'était
le système de fichier en cause ça ne changerai rien de passer ou pas par
NFS non ?

Merci de ton aide :)

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Nicolas KOWALSKI
Le #18093051
2008/12/9 Romaric DEFAUX

Nicolas KOWALSKI a écrit :

2008/12/9 Romaric DEFAUX
J'ai essayé plein d'options de montage différentes, les meilleurs p erf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?



Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais c e
qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)



Oui c'est ça.


Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?



Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)



L'option "sync", bien que recommandée, influe énormément sur les
perfs. Avec rsync tu ne spécifies pas cet aspect synchrone, il me
parait donc normal qu'avec NFS ce soit plus lent.


Et le système de fichier c'est de l'ext3 non journalisé. Mais si c' était le
système de fichier en cause ça ne changerai rien de passer ou pas par NFS
non ?



ext3 non journalisé ? C'est en writeback ?

ext3 n'est pas le SGF le plus performant pour un serveur NFS en mode
synchrone. Si de plus tu utilises le mode writeback, autant passer
directement à XFS ; la "sureté" des données sera la même...

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Daniel Caillibaud
Le #18094061
Nicolas KOWALSKI a écrit :
Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)



L'option "sync", bien que recommandée,



Pourquoi recommandée ? C'est recommandé pour la sécurité des données, mais déconseillé pour les perfs.

Je recommanderais plutôt de mettre du async partout pour des besoins "normaux". Il faut juste savoir que si le serveur nfs plante pendant une
écriture, le fichier sera probablement corrompu, mais vu la probabilité et mon usage du nfs (partage de fichiers qui existent toujours ailleurs), ça
me parait de loin la meilleure solution.

Je vois peu d'usage nfs où le sync serait impératif (j'imagine mal une bdd sur du nfs par ex), des fichiers vitaux constamment modifiés sur un partage
réseau, ça me parait bancal (mais y'a sûrement ce genre de besoin dans certains cas)...

--
Daniel

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Romaric DEFAUX
Le #18099361
Nicolas KOWALSKI a écrit :
2008/12/9 Romaric DEFAUX
Nicolas KOWALSKI a écrit :

2008/12/9 Romaric DEFAUX

J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?



Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais ce
qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)




Oui c'est ça.



Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?



Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)




L'option "sync", bien que recommandée, influe énormément sur les
perfs. Avec rsync tu ne spécifies pas cet aspect synchrone, il me
parait donc normal qu'avec NFS ce soit plus lent.



Et le système de fichier c'est de l'ext3 non journalisé. Mais si c'était le
système de fichier en cause ça ne changerai rien de passer ou pas par NFS
non ?




ext3 non journalisé ? C'est en writeback ?

ext3 n'est pas le SGF le plus performant pour un serveur NFS en mode
synchrone. Si de plus tu utilises le mode writeback, autant passer
directement à XFS ; la "sureté" des données sera la même...




J'ai essayé diverses combinaisons, j'arrive à avoir maintenant un débit
de 35Mo/s en moyenne :D !

Je suis passé en mode asynchrone, en tcp et j'ai retiré les rsize et wsize.

Voici ma conf :
Côté serveur mon /etc/exports :
/baiea 172.16.20.2(rw,no_root_squash,no_subtree_check)

Côté client :
mount -t nfs -o rw,hard,intr,tcp 172.16.20.1:/baiea /baiea

J'ai de plus modifié le txqueuelen sur les deux serveurs pour le passer
à 10000 (il est à 1000 par défaut).

Je ne sais pas ce que tu entends par être en mode writeback, c'est
activer le cache au niveau du disque ? Si c'est ça je pense qu'il l'est
par défaut.
Je n'ai pas le temps de reformater la baie pour changer de système de
fichier, et les perf sont maintenant suffisantes pour être en production.
Au niveau sûreté des données la baie est en raid5 matériel :)


Merci de votre aide à tous !

Romaric


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Nicolas KOWALSKI
Le #18101251
2008/12/9 Daniel Caillibaud
Je vois peu d'usage nfs où le sync serait impératif (j'imagine mal un e bdd
sur du nfs par ex), des fichiers vitaux constamment modifiés sur un par tage
réseau, ça me parait bancal (mais y'a sûrement ce genre de besoin d ans
certains cas)...



Exemple vécu : un serveur NFS en charge, utilisé par une centaine de
personnes, et une belle coupure de courant au plein milieu de la
journée.
Tu te retrouves avec un joli bazar, et tu ressors tes backups vite
fait après avoir reçu de multiples plaintes des utilisateurs
concernant des fichiers cassés, remis à zéro ou corrompus.

Après bascule du serveur NFS en mode synchrone, la même machine a subi
quelques temps après une autre coupure en pleine journée de boulot, et
rien n'a été perdu/corrompu, cf. les mêmes utilisateurs.

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Nicolas KOWALSKI
Le #18101241
2008/12/10 Romaric DEFAUX
Je ne sais pas ce que tu entends par être en mode writeback, c'est acti ver
le cache au niveau du disque ? Si c'est ça je pense qu'il l'est par d éfaut.



Non, je ne parle pas du cache disque.

Dans un de tes mails, tu indiquais "ext3 non-journalisé" (terme qui me
parait toujours aussi étrange). J'ai juste essayé de deviner à quoi ça
correspondait, et j'ai supposé que tu parlais du mode de
journalisation (ordered, data ou writeback).


Je n'ai pas le temps de reformater la baie pour changer de système de
fichier, et les perf sont maintenant suffisantes pour être en productio n.
Au niveau sûreté des données la baie est en raid5 matériel :)



Tant mieux.


Merci de votre aide à tous !



Au plaisir ;-)

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Publicité
Poster une réponse
Anonyme