Logo GNT
Actualités Tests & Guides Bons Plans
Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11
Entraide Linux Autres OS Linux Debian [NFS] Debit limite

[NFS] Debit limite

17 réponses
Avatar
Romaric DEFAUX
Bonjour a tous !


J'ai un problème de limitation de debit sur un montage NFS.
J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.

Pour schématiser :


S1 ------------- S2
gigabit


Quand je fais un rsync de S1 vers S2 mon débit est d'environ 50Mo/s et
quand j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de dépasser les 15Mo/s. C'est ce qui me fait penser que le
problème est vraiment lié au NFS.

J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize=32768,wsize=32768

S1 est une gentoo :
linux-2.6.26-gentoo-r3
net-fs/nfs-utils-1.1.3

S2 est une ubuntu :
ii libnfsidmap2 0.20-0build1
An nfs idmapping library
ii nfs-common 1:1.1.2-2ubuntu2.1
NFS support files common to client and serve
ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
support for NFS kernel server

Vous avez une idée sur la source du problème ?

Merci de votre aide

Romaric

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org
Signaler un problème avec ce contenu

10 réponses

Supprimer
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire

Veuillez sélectionner un problème

Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
1 2
Avatar
Romaric DEFAUX
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+>
+>
+> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+>
+> Pour schématiser :
+>
+>
+> S1 ------------- S2
+> gigabit
+>
+>
+> Quand je fais un rsync de S1 vers S2 mon débit est d'environ 50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi, impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème est vraiment
+> lié au NFS.
+>
+> J'ai essayé plein d'options de montage différentes, les meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+>
+> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+>
+> S2 est une ubuntu :
+> ii libnfsidmap2 0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common 1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+>
+> Vous avez une idée sur la source du problème ?
+>
+> Merci de votre aide
+>
+> Romaric
+>
+>



Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
rvenne
tes cartes réseaux ( des 2 cotées) supportent elles le jumpo frame?

je suppose que le switch le supporte,
Romaric DEFAUX a écrit :
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+> +> +> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+> +> Pour schématiser :
+> +> +> S1 ------------- S2
+> gigabit
+> +> +> Quand je fais un rsync de S1 vers S2 mon débit est d'environ
50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème
est vraiment
+> lié au NFS.
+> +> J'ai essayé plein d'options de montage différentes, les
meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+> +> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+> +> S2 est une ubuntu :
+> ii libnfsidmap2
0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common
1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+> +> Vous avez une idée sur la source du problème ?
+> +> Merci de votre aide
+> +> Romaric
+> +>


Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)





--
Richard VENNE
IT Administrator

Administrateur réseaux système & sécurité
Afin de respecter l'environnement, merci de n'imprimer
cet email qu'en cas de nécessité absolue.

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Romaric DEFAUX
rvenne a écrit :
tes cartes réseaux ( des 2 cotées) supportent elles le jumpo frame?

je suppose que le switch le supporte,


Je ne passe pas par un switch, les deux serveurs sont reliés directement
par un câble croisé.

Concernant le jumpo (jumbo ?) frame, je suppose que oui (je ne sais pas
comment vérifier...).
Sur S1 j'ai :
06:07.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet
Controller (rev 05)
07:08.0 Ethernet controller: Intel Corporation 82541GI Gigabit Ethernet
Controller (rev 05)

et sur S2 :
05:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708
Gigabit Ethernet (rev 12)
09:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5708
Gigabit Ethernet (rev 12)

J'arrive à atteindre du 50Mo/s sans passer par le NFS, c'est ce débit là
que je voudrais atteindre en utilisant le NFS.

Romaric DEFAUX a écrit :
Gilles MISSONNIER a écrit :
je ne comprends pas la logique :
une fois S2 monté NFS sur S1, vous faites un rsync d'un fichier
qui est sur S1 vers S2, et donc que depuis le serveur S1, on voit
le fichier local a S1 ET le la copie sur S2 par NFS.

il y a mise à jour en permanence lors de la copie de S1 vers S2,
simplement pour que le volume S2 soit correctement vu (par NFS) depuis
S1.


On Tue, 9 Dec 2008, Romaric DEFAUX wrote:

+> Bonjour a tous !
+> +> +> J'ai un problème de limitation de debit sur un montage NFS.
+> J'ai deux serveurs reliés en Gigabit par un câble croisé cat6.
+> +> Pour schématiser :
+> +> +> S1 ------------- S2
+> gigabit
+> +> +> Quand je fais un rsync de S1 vers S2 mon débit est
d'environ 50Mo/s et quand
+> j'utilise le montage NFS de S2 sur S1, avec un rsync aussi,
impossible de
+> dépasser les 15Mo/s. C'est ce qui me fait penser que le problème
est vraiment
+> lié au NFS.
+> +> J'ai essayé plein d'options de montage différentes, les
meilleurs perf.
+> obtenues jusqu'à présent sont avec les options suivantes :
+> -o sync,rw,hard,intr,rsize2768,wsize2768
+> +> S1 est une gentoo :
+> linux-2.6.26-gentoo-r3
+> net-fs/nfs-utils-1.1.3
+> +> S2 est une ubuntu :
+> ii libnfsidmap2
0.20-0build1 An nfs
+> idmapping library
+> ii nfs-common
1:1.1.2-2ubuntu2.1 NFS
+> support files common to client and serve
+> ii nfs-kernel-server 1:1.1.2-2ubuntu2.1
+> support for NFS kernel server
+> +> Vous avez une idée sur la source du problème ?
+> +> Merci de votre aide
+> +> Romaric
+> +>


Pour être plus concret :

Sur S1, j'ai
S2:/baiea on /baiea type nfs
(rw,sync,hard,intr,rsize2768,wsize2768,addr2.16.20.1)

Si je fais un rsync comme ça par exemple :
rsync -auv --stats --progress /root/grosfichier.zip /baiea/.
mon débit ne dépasse pas les 15Mo/s

Alors que si je fais, depuis S1 :
rsync -auv --stats --progress /root/grosfichier.zip
:/baiea/.
mon débit est aux alentours de 50Mo/s

Merci de votre aide :)








--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas KOWALSKI
2008/12/9 Romaric DEFAUX :
Bonjour a tous !



Bonjour,

J'ai essayé plein d'options de montage différentes, les meilleurs per f.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?


Vous avez une idée sur la source du problème ?



Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Romaric DEFAUX
Nicolas KOWALSKI a écrit :
2008/12/9 Romaric DEFAUX :

Bonjour a tous !




Bonjour,


J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768




Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?




Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais
ce qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)

Vous avez une idée sur la source du problème ?




Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?




Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)

Et le système de fichier c'est de l'ext3 non journalisé. Mais si c'était
le système de fichier en cause ça ne changerai rien de passer ou pas par
NFS non ?

Merci de ton aide :)

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas KOWALSKI
2008/12/9 Romaric DEFAUX :

Nicolas KOWALSKI a écrit :

2008/12/9 Romaric DEFAUX :

J'ai essayé plein d'options de montage différentes, les meilleurs p erf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?



Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais c e
qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)



Oui c'est ça.


Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?



Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)



L'option "sync", bien que recommandée, influe énormément sur les
perfs. Avec rsync tu ne spécifies pas cet aspect synchrone, il me
parait donc normal qu'avec NFS ce soit plus lent.


Et le système de fichier c'est de l'ext3 non journalisé. Mais si c' était le
système de fichier en cause ça ne changerai rien de passer ou pas par NFS
non ?



ext3 non journalisé ? C'est en writeback ?

ext3 n'est pas le SGF le plus performant pour un serveur NFS en mode
synchrone. Si de plus tu utilises le mode writeback, autant passer
directement à XFS ; la "sureté" des données sera la même...

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Daniel Caillibaud
Nicolas KOWALSKI a écrit :
Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)



L'option "sync", bien que recommandée,



Pourquoi recommandée ? C'est recommandé pour la sécurité des données, mais déconseillé pour les perfs.

Je recommanderais plutôt de mettre du async partout pour des besoins "normaux". Il faut juste savoir que si le serveur nfs plante pendant une
écriture, le fichier sera probablement corrompu, mais vu la probabilité et mon usage du nfs (partage de fichiers qui existent toujours ailleurs), ça
me parait de loin la meilleure solution.

Je vois peu d'usage nfs où le sync serait impératif (j'imagine mal une bdd sur du nfs par ex), des fichiers vitaux constamment modifiés sur un partage
réseau, ça me parait bancal (mais y'a sûrement ce genre de besoin dans certains cas)...

--
Daniel

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Romaric DEFAUX
Nicolas KOWALSKI a écrit :
2008/12/9 Romaric DEFAUX :

Nicolas KOWALSKI a écrit :

2008/12/9 Romaric DEFAUX :


J'ai essayé plein d'options de montage différentes, les meilleurs perf.
obtenues jusqu'à présent sont avec les options suivantes :
-o sync,rw,hard,intr,rsize2768,wsize2768



Tu es donc en udp. Utiliser tcp améliore-t-il les choses ?



Je ne peux pas tester ce soir, j'essaierai demain matin et je te dirais ce
qu'il en est (il suffit juste d'ajouter l'option 'tcp' n'est-ce pas ?)




Oui c'est ça.



Quelles sont les options d'export sur le serveur (/etc/exports) ?

Quel est le type de système de fichiers sous-jacent sur le serveur
(ext3/xfs/...) ?



Voici mon exports :
/baiea 172.16.20.2(rw,sync,no_root_squash,no_subtree_check)




L'option "sync", bien que recommandée, influe énormément sur les
perfs. Avec rsync tu ne spécifies pas cet aspect synchrone, il me
parait donc normal qu'avec NFS ce soit plus lent.



Et le système de fichier c'est de l'ext3 non journalisé. Mais si c'était le
système de fichier en cause ça ne changerai rien de passer ou pas par NFS
non ?




ext3 non journalisé ? C'est en writeback ?

ext3 n'est pas le SGF le plus performant pour un serveur NFS en mode
synchrone. Si de plus tu utilises le mode writeback, autant passer
directement à XFS ; la "sureté" des données sera la même...




J'ai essayé diverses combinaisons, j'arrive à avoir maintenant un débit
de 35Mo/s en moyenne :D !

Je suis passé en mode asynchrone, en tcp et j'ai retiré les rsize et wsize.

Voici ma conf :
Côté serveur mon /etc/exports :
/baiea 172.16.20.2(rw,no_root_squash,no_subtree_check)

Côté client :
mount -t nfs -o rw,hard,intr,tcp 172.16.20.1:/baiea /baiea

J'ai de plus modifié le txqueuelen sur les deux serveurs pour le passer
à 10000 (il est à 1000 par défaut).

Je ne sais pas ce que tu entends par être en mode writeback, c'est
activer le cache au niveau du disque ? Si c'est ça je pense qu'il l'est
par défaut.
Je n'ai pas le temps de reformater la baie pour changer de système de
fichier, et les perf sont maintenant suffisantes pour être en production.
Au niveau sûreté des données la baie est en raid5 matériel :)


Merci de votre aide à tous !

Romaric


--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas KOWALSKI
2008/12/9 Daniel Caillibaud :
Je vois peu d'usage nfs où le sync serait impératif (j'imagine mal un e bdd
sur du nfs par ex), des fichiers vitaux constamment modifiés sur un par tage
réseau, ça me parait bancal (mais y'a sûrement ce genre de besoin d ans
certains cas)...



Exemple vécu : un serveur NFS en charge, utilisé par une centaine de
personnes, et une belle coupure de courant au plein milieu de la
journée.
Tu te retrouves avec un joli bazar, et tu ressors tes backups vite
fait après avoir reçu de multiples plaintes des utilisateurs
concernant des fichiers cassés, remis à zéro ou corrompus.

Après bascule du serveur NFS en mode synchrone, la même machine a subi
quelques temps après une autre coupure en pleine journée de boulot, et
rien n'a été perdu/corrompu, cf. les mêmes utilisateurs.

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Nicolas KOWALSKI
2008/12/10 Romaric DEFAUX :
Je ne sais pas ce que tu entends par être en mode writeback, c'est acti ver
le cache au niveau du disque ? Si c'est ça je pense qu'il l'est par d éfaut.



Non, je ne parle pas du cache disque.

Dans un de tes mails, tu indiquais "ext3 non-journalisé" (terme qui me
parait toujours aussi étrange). J'ai juste essayé de deviner à quoi ça
correspondait, et j'ai supposé que tu parlais du mode de
journalisation (ordered, data ou writeback).


Je n'ai pas le temps de reformater la baie pour changer de système de
fichier, et les perf sont maintenant suffisantes pour être en productio n.
Au niveau sûreté des données la baie est en raid5 matériel :)



Tant mieux.


Merci de votre aide à tous !



Au plaisir ;-)

--
Nicolas

--
Lisez la FAQ de la liste avant de poser une question :
http://wiki.debian.org/DebFrFrenchLists
Vous pouvez aussi ajouter le mot ``spam'' dans vos champs "From" et
"Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
1 2