J'ai fait une interface web en php/mysql qui permet de chercher des titres
de revues et d'afficher les liens pour accéder au site de ces revues.
J'ai environ 5000 entrées dans la base MySql et le moteur de recherche
n'affiche les résultat que 10 par 10.
Pour faire des stats tous les liens sont du style
www.stats.php?url=www.sitedelarevue.com comme ça je peux compter les clics
sur les liens et en avoir le détail avant de rediriger le visiteur sur le
site de la revue.
Le script stats.php enregsitre au passage la date l'heure, la revue
consultée et le navigateur. (Pas l'ip car le serveur est derrière un proxy
donc je ne peut pas) tout ça stocké dans une table Mysql.
Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur
"vspider".
Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment
d'infos sur celui-ci. Le connaissez vous?
Je me demande bien comment il a fait pour générer les pages avec les liens?
Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous
comment faire pour celui-ci.?..
Bref je suis preneur de toute info et vous prie de m'excuser si je me trompe
de newsgroup.
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Gg
On Wed, 10 Sep 2003 23:01:19 +0200, Eric wrote:
Le script stats.php enregsitre au passage la date l'heure, la revue consultée et le navigateur. (Pas l'ip car le serveur est derrière un proxy donc je ne peut pas) tout ça stocké dans une table Mysql. Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur "vspider". Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment d'infos sur celui-ci. Le connaissez vous?
Un robot d'un moteur de recherche peut être. Mais je ne connais pas.
Je me demande bien comment il a fait pour générer les pages avec les liens?
Beh comme un utilisateur le ferait, il clique bien sur un lien, parce que le lien est affiché dans ta page, donc le robot fait pareil, il suit les liens de ta page.
Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous comment faire pour celui-ci.?..
Pourquoi veux tu le bloquer? Si c'est un moteur de recherche, tu vas t'en exclure. Sinon si tu détectes que c'est vspider, vu que tu fais du PHP, tu lui renvoies une page bidon par exemple.
-- GéraLd : http://gerald.fauvelle.free.fr | Photos : http://www.gg.free.fr | myStats : Système de statistiques | Version 1.0.8 - http://my.stats.free.fr
On Wed, 10 Sep 2003 23:01:19 +0200, Eric wrote:
Le script stats.php enregsitre au passage la date l'heure, la revue
consultée et le navigateur. (Pas l'ip car le serveur est derrière un proxy
donc je ne peut pas) tout ça stocké dans une table Mysql.
Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur
"vspider".
Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment
d'infos sur celui-ci. Le connaissez vous?
Un robot d'un moteur de recherche peut être. Mais je ne connais pas.
Je me demande bien comment il a fait pour générer les pages avec les liens?
Beh comme un utilisateur le ferait, il clique bien sur un lien, parce que
le lien est affiché dans ta page, donc le robot fait pareil, il suit les
liens de ta page.
Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous
comment faire pour celui-ci.?..
Pourquoi veux tu le bloquer? Si c'est un moteur de recherche, tu vas t'en
exclure.
Sinon si tu détectes que c'est vspider, vu que tu fais du PHP, tu lui
renvoies une page bidon par exemple.
--
GéraLd : http://gerald.fauvelle.free.fr
| Photos : http://www.gg.free.fr
| myStats : Système de statistiques
| Version 1.0.8 - http://my.stats.free.fr
Le script stats.php enregsitre au passage la date l'heure, la revue consultée et le navigateur. (Pas l'ip car le serveur est derrière un proxy donc je ne peut pas) tout ça stocké dans une table Mysql. Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur "vspider". Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment d'infos sur celui-ci. Le connaissez vous?
Un robot d'un moteur de recherche peut être. Mais je ne connais pas.
Je me demande bien comment il a fait pour générer les pages avec les liens?
Beh comme un utilisateur le ferait, il clique bien sur un lien, parce que le lien est affiché dans ta page, donc le robot fait pareil, il suit les liens de ta page.
Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous comment faire pour celui-ci.?..
Pourquoi veux tu le bloquer? Si c'est un moteur de recherche, tu vas t'en exclure. Sinon si tu détectes que c'est vspider, vu que tu fais du PHP, tu lui renvoies une page bidon par exemple.
-- GéraLd : http://gerald.fauvelle.free.fr | Photos : http://www.gg.free.fr | myStats : Système de statistiques | Version 1.0.8 - http://my.stats.free.fr
Monique Brunel
Eric wrote:
Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur "vspider". Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment d'infos sur celui-ci. Le connaissez vous? Je me demande bien comment il a fait pour générer les pages avec les liens? Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous comment faire pour celui-ci.?..
Bref je suis preneur de toute info et vous prie de m'excuser si je me trompe de newsgroup.
Bonsoir,
Il s'agit du robot de ce moteur http://www.verity.com/fr/index.html J'ai trouvé l'info sur ce site http://www.henri-ruch.ch/sites-robot-moteurs/info_reconnaissance/liste_robot.asp?lettre=V
-- Amicalement, Monique (la Wallonne) http://users.skynet.be/osga/ , pour les amateurs d'athlétisme
Eric wrote:
Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme
navigateur "vspider".
Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas
vraiment d'infos sur celui-ci. Le connaissez vous?
Je me demande bien comment il a fait pour générer les pages avec les
liens? Je pense que je vais essayer de le bloquer avec un robots.txt
, savez-vous comment faire pour celui-ci.?..
Bref je suis preneur de toute info et vous prie de m'excuser si je me
trompe de newsgroup.
Bonsoir,
Il s'agit du robot de ce moteur
http://www.verity.com/fr/index.html
J'ai trouvé l'info sur ce site
http://www.henri-ruch.ch/sites-robot-moteurs/info_reconnaissance/liste_robot.asp?lettre=V
--
Amicalement,
Monique (la Wallonne)
http://users.skynet.be/osga/ , pour les amateurs d'athlétisme
Ce soir j'ai eu 3961 clics en 25 minutes !! Tout ça avec comme navigateur "vspider". Je me doute bien qu'il s'agit d'un robot mais je ne trouve pas vraiment d'infos sur celui-ci. Le connaissez vous? Je me demande bien comment il a fait pour générer les pages avec les liens? Je pense que je vais essayer de le bloquer avec un robots.txt , savez-vous comment faire pour celui-ci.?..
Bref je suis preneur de toute info et vous prie de m'excuser si je me trompe de newsgroup.
Bonsoir,
Il s'agit du robot de ce moteur http://www.verity.com/fr/index.html J'ai trouvé l'info sur ce site http://www.henri-ruch.ch/sites-robot-moteurs/info_reconnaissance/liste_robot.asp?lettre=V
-- Amicalement, Monique (la Wallonne) http://users.skynet.be/osga/ , pour les amateurs d'athlétisme
Eric
"Monique Brunel" a écrit dans le message de news:3f5fcb8a$0$9537$
Il s'agit du robot de ce moteur http://www.verity.com/fr/index.html J'ai trouvé l'info sur ce site
Merci. J'avais effectivement vu ces deux pages mais elles ne sont pas très riches en informations ;-) Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein d'une administration et que son référencement dans les moteurs de recherche m'inporte peu.
@+
Eric
"Monique Brunel" <monique.brunel@skynet.be> a écrit dans le message de
news:3f5fcb8a$0$9537$ba620e4c@reader1.news.skynet.be...
Il s'agit du robot de ce moteur
http://www.verity.com/fr/index.html
J'ai trouvé l'info sur ce site
Merci.
J'avais effectivement vu ces deux pages mais elles ne sont pas très riches
en informations ;-)
Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein
d'une administration et que son référencement dans les moteurs de recherche
m'inporte peu.
Merci. J'avais effectivement vu ces deux pages mais elles ne sont pas très riches en informations ;-) Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein d'une administration et que son référencement dans les moteurs de recherche m'inporte peu.
@+
Eric
Denis Beauregard
Le Thu, 11 Sep 2003 08:40:31 +0200, "Eric" (enlever nospam-)> écrivait dans fr.comp.infosystemes.www.auteurs:
"Monique Brunel" a écrit dans le message de news:3f5fcb8a$0$9537$
Il s'agit du robot de ce moteur http://www.verity.com/fr/index.html J'ai trouvé l'info sur ce site
Site lisible seulement avec IE, ce qui est dommage car il semble intéressant. Avec NN 4, un menu superposé cache une partie du contenu de la page.
Merci. J'avais effectivement vu ces deux pages mais elles ne sont pas très riches en informations ;-) Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein d'une administration et que son référencement dans les moteurs de recherche m'inporte peu.
pourquoi ne pas utiliser le fichier robots.txt pour bloquer le référencement de cette partie du site ?
Denis
Le Thu, 11 Sep 2003 08:40:31 +0200, "Eric" <eric@nospam-gobages.com
(enlever nospam-)> écrivait dans fr.comp.infosystemes.www.auteurs:
"Monique Brunel" <monique.brunel@skynet.be> a écrit dans le message de
news:3f5fcb8a$0$9537$ba620e4c@reader1.news.skynet.be...
Il s'agit du robot de ce moteur
http://www.verity.com/fr/index.html
J'ai trouvé l'info sur ce site
Site lisible seulement avec IE, ce qui est dommage car il semble
intéressant. Avec NN 4, un menu superposé cache une partie du
contenu de la page.
Merci.
J'avais effectivement vu ces deux pages mais elles ne sont pas très riches
en informations ;-)
Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein
d'une administration et que son référencement dans les moteurs de recherche
m'inporte peu.
pourquoi ne pas utiliser le fichier robots.txt pour bloquer le
référencement de cette partie du site ?
Site lisible seulement avec IE, ce qui est dommage car il semble intéressant. Avec NN 4, un menu superposé cache une partie du contenu de la page.
Merci. J'avais effectivement vu ces deux pages mais elles ne sont pas très riches en informations ;-) Bon je contacte la société Verity et vous rcaonterai.
Je précise au passage que mon application est a objet professionel au sein d'une administration et que son référencement dans les moteurs de recherche m'inporte peu.
pourquoi ne pas utiliser le fichier robots.txt pour bloquer le référencement de cette partie du site ?
