Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

Etherchannel sous AIX et NFS

6 réponses
Avatar
Etienne BRASSEUR
Bonjour,

Plus pour des besoins de tolérance à la panne que de performance, j'ai
configuré sur des AIX 4.3.3 un etherchannel composé de 2 cartes Ethernet
100MbFullDuplex. Derrière ces AIX j'ai des switchs CISCO en IOS 12.2
(récent, donc).

Sous AIX, via smit, j'ai configuré l'etherchannel ainsi : basic (j'ai fais
aussi des essais intéressants avec la configuration en mode backup),
alternate_mac-adress et j'ai créé une adresse MAC suffisamment fictive pour
qu'il y ait peu de chance qu'un constructeur puisse en générer une
identique. Sur la nouvelle unité créée, j'ai mis la configuration IP
classique dessus, toujours via smit. J'ai aussi un alias IP (ancien plan
d'adressage que j'ai repris dessus). Les duplex sont tous bons, par
d'erreur par la commande netstat ni par un 'show interface' sur les
switchs.
Sur ces machines pour info j'ai aussi une carte FDDI et FiberChannel (mais
bon, rien à voir avec l'etherchannel, j'en parle parce que j'ai du NFS sur
la partie FDDI qui ne pose pas de problème).

A ma grande surprise, l'Etherchannel AIX a fonctionné immédiatement, avant
même que j'ai le temps de configurer la partie Etherchannel sous CISCO.
Poussant le test un peu plus, j'ai brassé mes interfaces réseaux AIX entre 2
switchs du même VLAN. Ce continue à fonctionner sans configuration
particulière, avec des ports classiques sous CISCO.

Les deux interfaces semblent bien fonctionner en même temps, se secourant
mutuellement si on débranche une des deux interfaces ou si un des switchs
est éteint. D'après les switchs le traffic sort à 50-50 de chaque
interface.
D'après la rare documentation trouvé en raclant google et le site IBM, il ne
parle jamais de la configuration Etherchannel CISCO.

Tout semble bien, mais (car il y a un mais) j'ai depuis des messages dans
l'errpt d'un de mes AIX du style "NFS: bad send_reply" en pagaille.
J'ai effectivement des "décrochements" de temps en temps dans un système de
fichier NFS exporté depuis cette machine avec des temps très longs sur
différentes commandes (par exemple un tar récursif). Je ne sais si c'est
lié à la mise en place de l'Etherchannel mais les dates correspondent.
Un ftp gigantesque (1 DVD iso) ou une sauvegarde est très performant (à
priori pas beaucoup plus toutefois qu'une machine identique sans
Etherchannel mais bon) et ne bloque pas.

Quelqu'un a il une idée ? Faut-il faire une configuration sur le switch
CISCO ou pas ? Est-ce lié à autre chose (il y a une base Oracle qui met la
machine à genou de temps en temps, mais bon, le réseau est loin de la
saturation).

Merci de vos éclaircissements, la documentation IBM manque un peu de
volubilité sur ce sujet. J'ai fait le README du système 4.3.3 mais ce reste
succinct. Je ne sais toujours pas très bien comment fonctionne ce truc.

--
Etienne BRASSEUR

6 réponses

Avatar
mlz
Le Mon, 18 Apr 2005 22:30:38 +0200, Etienne BRASSEUR a écrit :



Quelqu'un a il une idée ? Faut-il faire une configuration sur le switch
CISCO ou pas ? Est-ce lié à autre chose (il y a une base Oracle qui met la
machine à genou de temps en temps, mais bon, le réseau est loin de la
saturation).

Merci de vos éclaircissements, la documentation IBM manque un peu de
volubilité sur ce sujet. J'ai fait le README du système 4.3.3 mais ce reste
succinct. Je ne sais toujours pas très bien comment fonctionne ce truc.


Je n'ai jamais fait d'etherchannel sur AIX, et mes trunk sous solaris
sont
trop lointain.
Cependant, j'utilise du bonding sur Linux, et j'ai effectivement eu les
memes problemes avec le NFS. De meme pour les vitesses. 20Mb/s en FTP ou
SCP, mais 7Mb/s non stable en NFS, et un peu les memes problemes que toi.
J'ai resolu le probleme en passant en NFS/tcp. Par contre je ne sais pas
ce qui existe sous AIX, et je n'en n'ai plus sous la main. Mais si le NFS
via TCP est possible, c'est peut-etre une piste a explorer. Quant a la
conf du switch, je n'ai rien fait de mon cote, car celui ci ne le
permetait pas. Mais c'est vrai que si une telle option existe, c'est que
ca doit ameliorer les choses, et peut-etre justement pour ces problemes
d'UDP.
Tiens nous au courant.


cdlt,
matthieu

Avatar
Alain Thivillon
mlz wrote:
Cependant, j'utilise du bonding sur Linux, et j'ai effectivement eu les
memes problemes avec le NFS. De meme pour les vitesses. 20Mb/s en FTP ou
SCP, mais 7Mb/s non stable en NFS, et un peu les memes problemes que toi.
J'ai resolu le probleme en passant en NFS/tcp. Par contre je ne sais pas
ce qui existe sous AIX, et je n'en n'ai plus sous la main. Mais si le NFS
via TCP est possible, c'est peut-etre une piste a explorer. Quant a la
conf du switch, je n'ai rien fait de mon cote, car celui ci ne le
permetait pas. Mais c'est vrai que si une telle option existe, c'est que
ca doit ameliorer les choses, et peut-etre justement pour ces problemes
d'UDP.


Une idée c'est de dire que les paquets NFS en UDP sont fragmentés, et
qu'il est des lors possible que les fragments n'arrivent pas dans le bon
ordre s'ils passent par deux interfaces différentes. Apres il est
possible que l'OS ne gère pas de façon optimale l'assemblage des paquets
quand ils ne sont pas traités en séquence.

Avatar
mlz
Le Tue, 19 Apr 2005 09:07:12 +0000, Alain Thivillon a écrit :


Une idée c'est de dire que les paquets NFS en UDP sont fragmentés, et
qu'il est des lors possible que les fragments n'arrivent pas dans le bon
ordre s'ils passent par deux interfaces différentes. Apres il est
possible que l'OS ne gère pas de façon optimale l'assemblage des paquets
quand ils ne sont pas traités en séquence.


J'ai recupere un switch 3com parametrable en dual-channel. Des que j'ai le
temps j'essaierai de le parametrer pour voir si je n'ai plus de probleme
en UDP.

Avatar
see
Etienne BRASSEUR wrote:

Faut-il faire une configuration sur le switch
CISCO ou pas ?


Il m'est déjà arrivé de configurer une interface en EtherChannel.

Je suis certain qu'il y a une configuration à effectuer sur le switch
CISCO pour mettre l'interface en EtherChannel. Je ne peux, hélas, pas
t'en dire plus vu que je ne m'occupai que de la partie système et je ne
sais pas précisément ce que l'équipe réseau modifiait sur le switch pour
passer les ports en EtherChannel.

Par ailleurs, je suis surpris que tu ais eu besoin de créer une adresse
MAC fictive. Le système me parait capable de gérer cela comme un grand.
Je ne vois pas l'intérêt de lui forcer la main. Ceci dit, je n'ai
personnellement effectuer la manip que sous AIX 5.1.

--
Bruno
http://errance.lirano.net

Avatar
see
Alain Thivillon wrote:

Une idée c'est de dire que les paquets NFS en UDP sont fragmentés, et
qu'il est des lors possible que les fragments n'arrivent pas dans le bon
ordre s'ils passent par deux interfaces différentes. Apres il est
possible que l'OS ne gère pas de façon optimale l'assemblage des paquets
quand ils ne sont pas traités en séquence.


Dans ce cas, vu que l'etherchannel est utilisé par Etienne surtout pour
des raisons de failover, il faut configurer l'etherchannel pour qu'il
utilise un seul lien à la fois (ne pas activer le mode round robin).
L'ordre d'arrivé des paquets sera alors respecté.
En tout cas, cela pourrait permettre de valider l'hypothèse.

--
Bruno
http://errance.lirano.net

Avatar
Etienne BRASSEUR
Bruno Jargot wrote:

Alain Thivillon wrote:

Une idée c'est de dire que les paquets NFS en UDP sont fragmentés, et
qu'il est des lors possible que les fragments n'arrivent pas dans le bon
ordre s'ils passent par deux interfaces différentes. Apres il est
possible que l'OS ne gère pas de façon optimale l'assemblage des paquets
quand ils ne sont pas traités en séquence.


Dans ce cas, vu que l'etherchannel est utilisé par Etienne surtout pour
des raisons de failover, il faut configurer l'etherchannel pour qu'il
utilise un seul lien à la fois (ne pas activer le mode round robin).
L'ordre d'arrivé des paquets sera alors respecté.
En tout cas, cela pourrait permettre de valider l'hypothèse.


Merci pour vos pistes.

Pour ajouter quelques éléments :
Si je monte le répertoire NFS via ma carte FDDI, aucun soucis de
performance (bon, à part que je passe par un routeur, mais plus de
décrochage)
Au niveau des communications TCP (FTP, Oracle, ...) aucun soucis de
performance. Très bon temps, même. En put comme en get et même avec
plusieurs concurrents pour ftp.
La configuration de l'EtherChannel n'est pas en 'round robin' (vivement
déconseillé par tout le monde d'après ce que j'ai trouvé dans les forums)
mais en basic. J'ai bien envie d'essayer 'backup_netif' pour voir mais je
n'ai pas envie de jouer l'apprenti-sorcier sur de la prod.

D'après ce que j'imagine concernant les paramètres de l'EtherChannel AIX
(c'est vraiment pas documenté) :
- netif_backup : utilisation d'une unique carte à un instant donné et
bascule automatique sur une autre si l'interface devient down. Possibilité
de bascule complémentaire suite à une absence de réponse sur un ping (par
exemple sur un routeur HSRP). On peut avoir les deux cartes sur 2 switchs
différents et éliminer du coup (avec HSRP et OSPF) tous les SPoF.
- basic : la machine expédie ces données sur tous les membres de
l'EtherChannel en même temps mais ne peut recevoir que sur une seule à un
instant donné. Tolérance à la panne comme netif_backup. Rien à configurer
sur le switch. C'est ce que j'utilise. ça a toujours bien marché. J'avais
exceptionnellement des messages NFS dans l'errpt mais maintenant que mes
serveurs sont plus stressés suite à une migration Oracle ces événements
semblent devenir franchement bloquant.
- round robin: la machine utilise toutes les cartes Ethernet en
même temps pour envoyer et recevoir. Nécessite une configuration
particulière sur le switch (EtherChannel CISCO) ? D'après ce que j'ai lu,
ne semble pas bien terminé en 4.3.3. J'ai donc évité de me lancer la
dedans. De plus je ne pense pas qu'il soit possible de créer un
EtherChannel CISCO entre deux switchs simplement trunkés mais seulement
s'ils étaient empilés.

Je me trompe certainement dans mes extrapolations. Si quelqu'un à plus
d'infos je suis preneur.

Je vais chercher à faire du NFS sur TCP plutôt qu'UDP. A priori, je fais
déjà du NFSv3 partout, donc ce semble éligible mais je n'ai pas encore
trouvé comment le configurer sur un AIX 4.3.3...
J'ai aussi quelques patchs à passer sur mes systèmes 4.3.3 car un AIX 5.2 ML
5 semble accéder via l'EtherChannel de ce serveur 4.3.3 sans reproduire le
phénomène... et en UDP d'après netstat ???

Bref, la piste UDP semble bonne à creuser. Je vais faire un tour au niveau
des options de la commande "no" aussi.

Etienne BRASSEUR