Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11

Probleme de charges sur des serveurs Linux

10 réponses
Avatar
Stephane TOUGARD
Bonjour,

J'ai un probleme bizarre sur des serveurs Linux en 2.4.30 ou en 2.6.x.

Cela se passe de la facon suivante :

- la charge se met a grimper tout a coup de facon exponentielle jusqu'a
atteindre des chiffres pas avouables (plusieurs centaines).
- impossible de charger quoi que ce soit qui necessite un acces aux
disques (ce qui me fait penser a un probleme de blockage a ce niveau,
mais je n'en suis pas sur).
- la charge redescend au bout d'un moment laissant le systeme dans un
etat plus ou moins fiable.

Les serveurs sur les quels ce probleme arrivent ne sont pas forcement
les plus charges, mais ce sont toujours les memes. Le probleme est
aleatoire et peut arriver n'importe quand, pas forcement au moment d'une
charge de production.

Les soft utilises sont standards et dans des versions stables, les
serveurs peuvent etre en IDE ou en SCSI, pas forcement les memes controleurs,
tous utilisent des processeurs hyper-threades, mais d'autres avec la
meme config n'ont pas ce probleme. Plus surprenant, certains serveurs
ont commence a poser des problemes suite a un upgrade du systeme (et du
noyau).

Avez-vous rencontre ce genre de problemes d'instabilites ? si oui, une
piste peut etre.

Cordial

Stephane



--
http://www.unices.org Les meilleurs modules de Perl
http://www.unices.org/photo/ 250 photos de Singapour, Sydney et Seoul
http://artlibre.org/ Free Art License

--
Pour contacter l'équipe de modération : moderateurs-fcolm@efrei.fr
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.

10 réponses

Avatar
Emmanuel Florac
Le Fri, 26 Aug 2005 08:17:31 +0000, Stephane TOUGARD a écrit :


Avez-vous rencontre ce genre de problemes d'instabilites ? si oui, une
piste peut etre.




Tu devrais commencer par mettre en place un cron par exemple toutes les
minutes, pour enregistrer la charge système, mémoire... et ensuite faire
le parallèle avec le syslog... Peut-être que ça donnerait des infos?

--
on passe la moitié de son temps à refaire ce que l'on n'a pas eu le
temps de faire correctement.
Loi de Myers.

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Stephane TOUGARD
Emmanuel Florac wrote:
Avez-vous rencontre ce genre de problemes d'instabilites ? si oui, une
piste peut etre.



Tu devrais commencer par mettre en place un cron par exemple toutes les
minutes, pour enregistrer la charge système, mémoire... et ensuite faire
le parallèle avec le syslog... Peut-être que ça donnerait des infos?



C'est deja fait, j'en ai meme un qui checke la charge et coupe le
process principal (qui est relance par le systeme de monitoring), mais
des que la charge se met a grimper, il n'y a vraiment plus rien qui
fonctionne et les cron ne sont pas executes.

J'en ai meme un qui n'est plus joignable en ssh apres ce type
d'incident, j'ai ouvert un telnetd dessus, je me loggue, je relance
sshd et ca repart comme en 40.

J'ai meme deja assiste a cet incident avec un top sous les yeux. Les
attentes systemes deviennent tres importantes, la charge monte et au
bout d'un moment, le top ne se met plus a jour.

Le load average etant une moyenne des process en attente, je pense que
des qu'on attend plus de 200 sur un serveur qui tourne environ 500
process simultane, cela veut dire que la totalite des process sont en
attente a un moment et que le systeme est totalement gele.






--
http://www.unices.org Les meilleurs modules de Perl
http://www.unices.org/photo/ 250 photos de Singapour, Sydney et Seoul
http://artlibre.org/ Free Art License

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
R12y
On Sat, 27 Aug 2005 17:46:55 +0000, Stephane TOUGARD wrote:
J'ai meme deja assiste a cet incident avec un top sous les yeux. Les
attentes systemes deviennent tres importantes, la charge monte et au
bout d'un moment, le top ne se met plus a jour.



Pareil pour moi, sur une Debian testing et des disques SCSI.
Au début j'avais cru que c'était un problème MySQL, parceque j'avais
deux ou 3 bases corrompues, mais une fois le problème de crruption
réglé, il arrive aléatoirment un problème de charge.

Je n'arrive pas à identifier le problème ni à le reproduire. D'ailleus
je n'ai pas la possibilité technique de mettre un serveur @home dans les
mêmes conditions, donc en attendant, je cherche et c'est tout :-(. Moi je
n'ai pas accès physique au serveur.

--
SPIP, phpNuke, Plone, opengroupware... c'est bien
CPS c'est mieux: http://www.cps-project.org/
Hébergement de sites CPS: http://www.objectis.org/

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
JKB
Le 29-08-2005, à propos de
Re: Probleme de charges sur des serveurs Linux,
R12y écrivait dans fr.comp.os.linux.moderated :
On Sat, 27 Aug 2005 17:46:55 +0000, Stephane TOUGARD wrote:
J'ai meme deja assiste a cet incident avec un top sous les yeux. Les
attentes systemes deviennent tres importantes, la charge monte et au
bout d'un moment, le top ne se met plus a jour.



Pareil pour moi, sur une Debian testing et des disques SCSI.
Au début j'avais cru que c'était un problème MySQL, parceque j'avais
deux ou 3 bases corrompues, mais une fois le problème de crruption
réglé, il arrive aléatoirment un problème de charge.

Je n'arrive pas à identifier le problème ni à le reproduire. D'ailleus
je n'ai pas la possibilité technique de mettre un serveur @home dans les
mêmes conditions, donc en attendant, je cherche et c'est tout :-(. Moi je
n'ai pas accès physique au serveur.



Peut-on avoir les caractéristiques des serveurs en question ? Cela
ressemble à un problème d'occupation mémoire.

Personnellement, j'ai des serveurs en Debian Testing avec des noyaux
patchés à la sauvage par moi-même (et par des patches maison pas
toujours très propres ;-) ) et je n'ai jamais observé ce genre de
dysfonctionnement (PC, Sparc et Alpha). Je pencherais plutôt pour
une machine un peu limite en mémoire ou un swap défectueux.

Cordialement,

JKB

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Kevin Denis
Le 26-08-2005, Stephane TOUGARD a écrit :

J'ai un probleme bizarre sur des serveurs Linux en 2.4.30 ou en 2.6.x.

Cela se passe de la facon suivante :

- la charge se met a grimper tout a coup de facon exponentielle jusqu'a
atteindre des chiffres pas avouables (plusieurs centaines).
- impossible de charger quoi que ce soit qui necessite un acces aux
disques (ce qui me fait penser a un probleme de blockage a ce niveau,
mais je n'en suis pas sur).
- la charge redescend au bout d'un moment laissant le systeme dans un
etat plus ou moins fiable.

Les serveurs sur les quels ce probleme arrivent ne sont pas forcement
les plus charges, mais ce sont toujours les memes. Le probleme est
aleatoire et peut arriver n'importe quand, pas forcement au moment d'une
charge de production.

Les soft utilises sont standards et dans des versions stables, les
serveurs peuvent etre en IDE ou en SCSI, pas forcement les memes controleurs,
tous utilisent des processeurs hyper-threades, mais d'autres avec la
meme config n'ont pas ce probleme. Plus surprenant, certains serveurs
ont commence a poser des problemes suite a un upgrade du systeme (et du
noyau).

Avez-vous rencontre ce genre de problemes d'instabilites ? si oui, une
piste peut etre.



J'avais lu un cas (a peu pres) identique. Deux machines, differents
hards, differents noyaux avec la charge qui grimpe de maniere
demesuree.
En fait, il y avait sur le LAN a cote des linux, des windows veroles
jusqu'au trognon. Ces machines envoyaient des millions de requetes
aux linux, ce qui provoquait des avalanches d'IRQ, de la charge, etc...

Si vraiment les machines sont differentes (noyaux, hard) que le programme
n'est pas en cause (a reverifier peut etre (?)), je regarderais du
cote reseau qui me parait etre le seul denominateur commun.
--
Kevin

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
R12y
On Wed, 31 Aug 2005 07:57:31 +0000, JKB wrote:

Peut-on avoir les caractéristiques des serveurs en question ?



http://ovh.com/fr/produits/xeon.xml
Sinon:
Le serveur fait tourner des sites php/MySQL où EasyTrade règne en maitre
Apache démarre avec initialement 1500 threds en attente, et un petit
moins de MySQL. C'est _expérimentalement_ ce qu'on a trouvé pour
optimiser le temps de réponse des sites servis. Maintenant, c'est vrai
qu'avant l'optimisation, j'avoue que ça plantait moins... je vais
peut-etre descendre le nombre de processes MySQL en attente.

--
SPIP, phpNuke, Plone, opengroupware... c'est bien
CPS c'est mieux: http://www.cps-project.org/
Hébergement de sites CPS: http://www.objectis.org/

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Stephane TOUGARD
JKB wrote:

Peut-on avoir les caractéristiques des serveurs en question ? Cela
ressemble à un problème d'occupation mémoire.

Personnellement, j'ai des serveurs en Debian Testing avec des noyaux
patchés à la sauvage par moi-même (et par des patches maison pas
toujours très propres ;-) ) et je n'ai jamais observé ce genre de
dysfonctionnement (PC, Sparc et Alpha). Je pencherais plutôt pour
une machine un peu limite en mémoire ou un swap défectueux.



Les machines ont 1 a 2GB de RAM, celle a la quelle je pense a 800MB de
cache en permanence et dont le SWAP n'a jamais meme decolle de 0 en
occupation.

J'ai deja cherche dans cette voie, soit top (et /proc) retournent des
informations fausses, soit ce n'est pas un probleme d'occupation
memoire.

Qui plus est, j'ai deja rencontre ces cas et on a quelque chose dans
dmesg, la rien de rien.



--
http://www.unices.org Les meilleurs modules de Perl
http://www.unices.org/photo/ 250 photos de Singapour, Sydney et Seoul
http://artlibre.org/ Free Art License

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Emmanuel Florac
Le Wed, 31 Aug 2005 20:47:55 +0000, Kevin Denis a écrit :


Si vraiment les machines sont differentes (noyaux, hard) que le programme
n'est pas en cause (a reverifier peut etre (?)), je regarderais du
cote reseau qui me parait etre le seul denominateur commun.



Oui c'est une piste intéressante. J'ai eu aussi des problèmes avec des
drivers réseaux pas terribles qui faisait ramer la machine à mort. Par
contre le dmesg s'allongeait comme un jour sans pain...

--
Si non confectus non reficiat.

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Yves
Stephane TOUGARD a écrit :
Bonjour,

J'ai un probleme bizarre sur des serveurs Linux en 2.4.30 ou en 2.6.x.

Cela se passe de la facon suivante :

- la charge se met a grimper tout a coup de facon exponentielle jusqu'a
atteindre des chiffres pas avouables (plusieurs centaines).
- impossible de charger quoi que ce soit qui necessite un acces aux
disques (ce qui me fait penser a un probleme de blockage a ce niveau,
mais je n'en suis pas sur).
- la charge redescend au bout d'un moment laissant le systeme dans un
etat plus ou moins fiable.



Il faudrait lancer un vmstat (style vmstat 15 ou vmstat 30) pendant
toute la durée du problème, ou une partie, et regarder le résultat. Avec
ça, on pourra avoir une idée d'où vient le problème: mémoire (apparement
c'est pas le cas d'après les autres posts, mais bon), I/O disque, pbs
d'I/O divers etc.

Yves

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.
Avatar
Bob qui Trolle
Stephane TOUGARD wrote:

J'ai deja cherche dans cette voie, soit top (et /proc) retournent des
informations fausses, soit ce n'est pas un probleme d'occupation
memoire.



Ceci dit, si des centaines de processus cherchent relativement
simultanément à accéder exclusivement à un seul et même fichier, un tel
comportement est tout à fait normal.

--
Pour contacter l'équipe de modération :
ATTENTION: Postez DIRECTEMENT vos articles dans le groupe, PAS dans
la liste de distribution des modérateurs.