Bande passante et nombre de hits EXPLOSER par moment !!!!
13 réponses
miaoumix
Bonjour. (soir)
Comment se fait-il que par moment,
genre environ 10 fois par an,
(3 fois ce mois ci et rien pendant 4 mois)
avec un nombre de visiteurs presque constant
que j'explose mon hits et ma bande passante ????
((5.6 GO par jours, alors que 99% de l'annee
je ne depasse pas le 200 MO !!!!))
C'est completemant DINGUE !!
Forcement, l'hebergeur est pas contant...
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
-- Patrick Mevzek . . . . . . Dot and Co (Paris, France) <http://www.dotandco.net/> <http://www.dotandco.com/> Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
Comment se fait-il que par moment,
genre environ 10 fois par an,
(3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs
presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
--
Patrick Mevzek . . . . . . Dot and Co (Paris, France)
<http://www.dotandco.net/> <http://www.dotandco.com/>
Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
-- Patrick Mevzek . . . . . . Dot and Co (Paris, France) <http://www.dotandco.net/> <http://www.dotandco.com/> Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
HelloMan
Patrick Mevzek wrote:
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
Il faut toujours analyser les logs 'à la main'...
Ceci étant, il est vrai que pour un gros site, ou pour plusieurs sites mutualisés sur un même serveur, quand gogol passe, des fois, ça fait mal. Ils ont des robots qui des fois travaillent en parallele.
De plus, la guerre que se livrent les moteurs de recherche peut avoir ce genre de victimes collatérales. Pour ma part, je ne me rapelle plus la date, j'ai vu passer le robot de msn search, indexation de toutes les pages, passage plusieurs fois, pour être bien sûr, etc etc.
Je n'ai rien contre, mais sur des sites qui sont déjà bien parcourus, plus les robots google, plus inktomi, plus overture, plus les syndications rss, des fois, ça fait des gros gros pics de fréquentation.
Cependant, il faut quand même bien s'assurer que vos pics de fréquentations correspondent bien à la visite des robots, et non pas à des attaques de type DDOS, mais ça, c'est seulement la lecture attentive des logs qui permettra de le dire (les robots des moteurs de recherche s'identifient très clairement).
@+
Patrick Mevzek wrote:
Comment se fait-il que par moment,
genre environ 10 fois par an,
(3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs
presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
Il faut toujours analyser les logs 'à la main'...
Ceci étant, il est vrai que pour un gros site, ou pour plusieurs sites
mutualisés sur un même serveur, quand gogol passe, des fois, ça fait mal.
Ils ont des robots qui des fois travaillent en parallele.
De plus, la guerre que se livrent les moteurs de recherche peut avoir ce
genre de victimes collatérales. Pour ma part, je ne me rapelle plus la
date, j'ai vu passer le robot de msn search, indexation de toutes les
pages, passage plusieurs fois, pour être bien sûr, etc etc.
Je n'ai rien contre, mais sur des sites qui sont déjà bien parcourus, plus
les robots google, plus inktomi, plus overture, plus les syndications rss,
des fois, ça fait des gros gros pics de fréquentation.
Cependant, il faut quand même bien s'assurer que vos pics de fréquentations
correspondent bien à la visite des robots, et non pas à des attaques de
type DDOS, mais ça, c'est seulement la lecture attentive des logs qui
permettra de le dire (les robots des moteurs de recherche s'identifient
très clairement).
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6
Passage de l'indexeur d'un moteur de recherche (ex: Google) ?
Vos logs vous donneraient des pistes....
Il faut toujours analyser les logs 'à la main'...
Ceci étant, il est vrai que pour un gros site, ou pour plusieurs sites mutualisés sur un même serveur, quand gogol passe, des fois, ça fait mal. Ils ont des robots qui des fois travaillent en parallele.
De plus, la guerre que se livrent les moteurs de recherche peut avoir ce genre de victimes collatérales. Pour ma part, je ne me rapelle plus la date, j'ai vu passer le robot de msn search, indexation de toutes les pages, passage plusieurs fois, pour être bien sûr, etc etc.
Je n'ai rien contre, mais sur des sites qui sont déjà bien parcourus, plus les robots google, plus inktomi, plus overture, plus les syndications rss, des fois, ça fait des gros gros pics de fréquentation.
Cependant, il faut quand même bien s'assurer que vos pics de fréquentations correspondent bien à la visite des robots, et non pas à des attaques de type DDOS, mais ça, c'est seulement la lecture attentive des logs qui permettra de le dire (les robots des moteurs de recherche s'identifient très clairement).
@+
Christophe Baegert
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement (MSN déjà un peu moins). Mais c'est surtout les aspirateurs des internautes lambda qui posent ce genre de problèmes.
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer
des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement (MSN déjà un peu moins). Mais c'est
surtout les aspirateurs des internautes lambda qui posent ce genre de
problèmes.
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement (MSN déjà un peu moins). Mais c'est surtout les aspirateurs des internautes lambda qui posent ce genre de problèmes.
mandraxar
On Fri, 14 Jan 2005 00:05:34 +0100, miaoumix wrote:
Bonjour. (soir)
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6 GO par jours, alors que 99% de l'annee je ne depasse pas le 200 MO !!!!)) C'est completemant DINGUE !! Forcement, l'hebergeur est pas contant...
Tiens, c'est bizarre, j'ai le meme problème. L'année dernière, rien de spécial, et en Janvier, 3 fois de suite, mon server s'est écroulé sous la visite parallèle de, semblerait t'il, tous les sites en meme temps.
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
C'est arrivé hier et avant-hier, et une autre fois début janvier.
K.
Salut,
Tient c'est marrant j'ai constaté la même chose avant hier également un gros pic de fréquentation. Pas trop compris non plus pourquoi.
A+
On Fri, 14 Jan 2005 00:05:34 +0100, miaoumix <pas@de.spam> wrote:
Bonjour. (soir)
Comment se fait-il que par moment,
genre environ 10 fois par an,
(3 fois ce mois ci et rien pendant 4 mois)
avec un nombre de visiteurs presque constant
que j'explose mon hits et ma bande passante ????
((5.6 GO par jours, alors que 99% de l'annee
je ne depasse pas le 200 MO !!!!))
C'est completemant DINGUE !!
Forcement, l'hebergeur est pas contant...
Tiens, c'est bizarre, j'ai le meme problème. L'année dernière, rien de
spécial, et en Janvier, 3 fois de suite, mon server s'est écroulé sous
la visite parallèle de, semblerait t'il, tous les sites en meme temps.
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer
des requêtes en parallèle sur tous les liens qu'il trouve.
C'est arrivé hier et avant-hier, et une autre fois début janvier.
K.
Salut,
Tient c'est marrant j'ai constaté la même chose avant hier également un
gros pic de fréquentation. Pas trop compris non plus pourquoi.
On Fri, 14 Jan 2005 00:05:34 +0100, miaoumix wrote:
Bonjour. (soir)
Comment se fait-il que par moment, genre environ 10 fois par an, (3 fois ce mois ci et rien pendant 4 mois) avec un nombre de visiteurs presque constant que j'explose mon hits et ma bande passante ???? ((5.6 GO par jours, alors que 99% de l'annee je ne depasse pas le 200 MO !!!!)) C'est completemant DINGUE !! Forcement, l'hebergeur est pas contant...
Tiens, c'est bizarre, j'ai le meme problème. L'année dernière, rien de spécial, et en Janvier, 3 fois de suite, mon server s'est écroulé sous la visite parallèle de, semblerait t'il, tous les sites en meme temps.
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
C'est arrivé hier et avant-hier, et une autre fois début janvier.
K.
Salut,
Tient c'est marrant j'ai constaté la même chose avant hier également un gros pic de fréquentation. Pas trop compris non plus pourquoi.
A+
F. Senault
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement (MSN déjà un peu moins).
J'ai déjà constaté des problèmes avec gigablast, par contre.
1 31840 58.62% GigabotSiteSearch/2.0 2 16884 31.09% Microsoft Internet Explorer
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre en place un robots.txt ; mon interface web-news (qui contient tous les forums fr.*) s'est fait archiver un soir dans mon dos avant que je n'y pense.
Fred -- Tt takes 9 months for a woman to gestate a child. Like it or not, you cannot produce a child in a month by assigning 9 women to the project, nor can I arrange the production of a child if all you offer me as resources is 500 chickens. (Tanuki the Raccoon-dog, SDM)
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer
des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement (MSN déjà un peu moins).
J'ai déjà constaté des problèmes avec gigablast, par contre.
1 31840 58.62% GigabotSiteSearch/2.0
2 16884 31.09% Microsoft Internet Explorer
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre
en place un robots.txt ; mon interface web-news (qui contient tous les
forums fr.*) s'est fait archiver un soir dans mon dos avant que je n'y
pense.
Fred
--
Tt takes 9 months for a woman to gestate a child. Like it or not, you
cannot produce a child in a month by assigning 9 women to the project,
nor can I arrange the production of a child if all you offer me as
resources is 500 chickens. (Tanuki the Raccoon-dog, SDM)
1 31840 58.62% GigabotSiteSearch/2.0 2 16884 31.09% Microsoft Internet Explorer
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre en place un robots.txt ; mon interface web-news (qui contient tous les forums fr.*) s'est fait archiver un soir dans mon dos avant que je n'y pense.
Fred -- Tt takes 9 months for a woman to gestate a child. Like it or not, you cannot produce a child in a month by assigning 9 women to the project, nor can I arrange the production of a child if all you offer me as resources is 500 chickens. (Tanuki the Raccoon-dog, SDM)
Jérôme
Christophe Baegert wrote:
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement
D'une manière générale oui, mais quand il a fait doubler son index en novembre dernier, il n'étais pas aussi propre que ça :-)
-- Jérôme
Christophe Baegert wrote:
Philippe Chevalier wrote:
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer
des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement
D'une manière générale oui, mais quand il a fait doubler son index en
novembre dernier, il n'étais pas aussi propre que ça :-)
Je soupconne un moteur d'indexation, Google, MSNBot ou Voila, de lancer des requêtes en parallèle sur tous les liens qu'il trouve.
Mais non Google fait ça proprement
D'une manière générale oui, mais quand il a fait doubler son index en novembre dernier, il n'étais pas aussi propre que ça :-)
-- Jérôme
Patrick Mevzek
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre en place un robots.txt ;
Les méchants robots n'en tiennent pas compte....
Si on veut vraiment se ``protéger'', il faut mettre un mécanisme actif de défense sur le serveur, par exemple mod_bandwidth pour Apache.
-- Patrick Mevzek . . . . . . Dot and Co (Paris, France) <http://www.dotandco.net/> <http://www.dotandco.com/> Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre
en place un robots.txt ;
Les méchants robots n'en tiennent pas compte....
Si on veut vraiment se ``protéger'', il faut mettre un mécanisme actif de
défense sur le serveur, par exemple mod_bandwidth pour Apache.
--
Patrick Mevzek . . . . . . Dot and Co (Paris, France)
<http://www.dotandco.net/> <http://www.dotandco.com/>
Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
Ah, aussi, au cas où certaines pages sont générées, etc, penser à mettre en place un robots.txt ;
Les méchants robots n'en tiennent pas compte....
Si on veut vraiment se ``protéger'', il faut mettre un mécanisme actif de défense sur le serveur, par exemple mod_bandwidth pour Apache.
-- Patrick Mevzek . . . . . . Dot and Co (Paris, France) <http://www.dotandco.net/> <http://www.dotandco.com/> Dépêches sur le nommage <news://news.dotandco.net/dotandco.info.news>
Thomas Pedoussaut
Jérôme wrote:
D'une manière générale oui, mais quand il a fait doubler son index en novembre dernier, il n'étais pas aussi propre que ça :-)
L'index n'a pas doublé de taille en une nuit, c'est le chiffre marketing sur la page d'accueil qui avait été oublié d'être mis a jour.
Faites un tour la: http://www.google.com/intl/en/webmasters/3.html#B9
Certains robots (mais pas Googlebot) supportent un parametre supplementaire: Crawl-Delay: XX (en secondes, entre 2 pages)
-- Thomas, bien informé
Jérôme wrote:
D'une manière générale oui, mais quand il a fait doubler son index en
novembre dernier, il n'étais pas aussi propre que ça :-)
L'index n'a pas doublé de taille en une nuit, c'est le chiffre
marketing sur la page d'accueil qui avait été oublié d'être mis a jour.
Faites un tour la:
http://www.google.com/intl/en/webmasters/3.html#B9
Certains robots (mais pas Googlebot) supportent un parametre supplementaire:
Crawl-Delay: XX (en secondes, entre 2 pages)
D'une manière générale oui, mais quand il a fait doubler son index en novembre dernier, il n'étais pas aussi propre que ça :-)
L'index n'a pas doublé de taille en une nuit, c'est le chiffre marketing sur la page d'accueil qui avait été oublié d'être mis a jour.
Oui, je sais bien, mais il n'empeche que le crawler de google à cette époque à fait un peu de "forcing" sur certains sites.
-- Jérôme
Olivier Tharan
* Thomas Pedoussaut (Fri, 14 Jan 2005 12:05:08 +0000):
Certains robots (mais pas Googlebot) supportent un parametre supplementaire: Crawl-Delay: XX (en secondes, entre 2 pages)
Ce qui serait inutile si les webmasters utilisaient de manière intelligente la gestion de la durée de vie de leurs pages avec les en-têtes HTTP, par exemple. [ ça tent vers fciws ça ]
-- olive
* Thomas Pedoussaut <thomas@parinux.org> (Fri, 14 Jan 2005 12:05:08 +0000):
Certains robots (mais pas Googlebot) supportent un parametre supplementaire:
Crawl-Delay: XX (en secondes, entre 2 pages)
Ce qui serait inutile si les webmasters utilisaient de manière
intelligente la gestion de la durée de vie de leurs pages avec les
en-têtes HTTP, par exemple.
[ ça tent vers fciws ça ]
* Thomas Pedoussaut (Fri, 14 Jan 2005 12:05:08 +0000):
Certains robots (mais pas Googlebot) supportent un parametre supplementaire: Crawl-Delay: XX (en secondes, entre 2 pages)
Ce qui serait inutile si les webmasters utilisaient de manière intelligente la gestion de la durée de vie de leurs pages avec les en-têtes HTTP, par exemple. [ ça tent vers fciws ça ]
