Logo GNT
Actualités Tests & Guides Bons Plans
Twitter iPhone pliant OnePlus 11 PS5 Disney+ Orange Livebox Windows 11
Entraide Linux Autres OS Linux Debian Récupérer les données d'un site avec un script

Récupérer les données d'un site avec un script

7 réponses
Avatar
Tony GALMICHE
Bonsoir à tous,

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une fois
connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)

Donc si vous avez l'habitude de faire cette manip merci d'avance pour
vos lumières.

Tony


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to debian-user-french-REQUEST@lists.debian.org
with a subject of "unsubscribe". Trouble? Contact listmaster@lists.debian.org
Signaler un problème avec ce contenu

7 réponses

Supprimer
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire

Veuillez sélectionner un problème

Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Avatar
Jean-Michel OLTRA
bonjour,


Le mercredi 14 septembre 2005, Tony GALMICHE a écrit...


Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une fois
connecté)
- Récupérer les donnnées de la page



J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)



curl, peut-être.

Donc si vous avez l'habitude de faire cette manip merci d'avance pour
vos lumières.



non, je n'ai jamais pratiqué.

--
jm



--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Jean-Pierre Pourrez
Le Wed, 14 Sep 2005 18:02:03 +0200, Tony GALMICHE a écrit :

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une fois
connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)



Un outil qui aide bien aussi est firefox avec le plugin livehttp pour
tracer tous les échanges entre le navigateur et le serveur distant http,
plus quelques notions de formulaire html ( metho in (get, post) ?)

http://livehttpheaders.mozdev.org/

Donc si vous avez l'habitude de faire cette manip merci d'avance pour
vos lumières.



J'adore ce jeu.
Fais passer l'URL de la page d'accueil pour voir la tête du formulaire.

A+++
Jean-Pierre



--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Jacques L'helgoualc'h
Tony GALMICHE a écrit, mercredi 14 septembre 2005, à 18:02 :
Bonsoir à tous,



Bonsoir,

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une fois
connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)



Une solution est expect :

$ /usr/share/doc/expect/examples/autoexpect
autoexpect started, file is script.exp
$ lynx http://le.site
[ manips au *clavier* ... Q ]
$ exit
exit
autoexpect done, file is script.exp

Et hop, on récupère un script (à simplifier éventuellement).


Si c'est un site plein de flash et de javascript ... :/
--
Jacques L'helgoualc'h


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
pyfux
Salut le chanceux,

et bien si tu souhaites aprendre la programmation en perl, c'est le
moment. Un article dans Linux Magazine France Tuning de Code du mois de
septembre 2005 propose justement des bouts de code en perl pour
construire des robots pour le web.

Désolé pour la pub!

PyFux


Tony GALMICHE wrote:
Bonsoir à tous,

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une fois
connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)

Donc si vous avez l'habitude de faire cette manip merci d'avance pour
vos lumières.

Tony






--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Jean-Pierre Pourrez
Le Thu, 15 Sep 2005 00:29:39 +0200, pyfux a écrit :

et bien si tu souhaites aprendre la programmation en perl, c'est le
moment. Un article dans Linux Magazine France Tuning de Code du mois de
septembre 2005 propose justement des bouts de code en perl pour construire
des robots pour le web.



Peut aussi se faire avec bash, python, ruby, php, ...
pour se limiter aux langages de script ;-)

Désolé pour la pub!


Mauvais troll

Merci de faire "man ntpdate" pour synchroniser l'horloge de son PC avec un
serveur de temps :-(

A+++
Jean-Pierre



--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
François Boisson
Le Wed, 14 Sep 2005 18:02:03 +0200
Tony GALMICHE a écrit:

Bonsoir à tous,

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une
fois connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)




Phase 1:

lynx -cmd_log /tmp/cmd.log http://ton.site

tu fais la séquence que tu veux automatiser

Phase 2:

lynx http://ton.site -cmd_script cmd.log | filtre_a_toi > resultat

en ayant évantuellement adapté le fichier cmd.log (très clair).

Je récupère les caractéristiques journalières de ma ligne free chaque
jour comme ça.


François Boisson


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact
Avatar
Tony GALMICHE
Bonjour,

François Boisson a écrit :

Tony GALMICHE a écrit:


Bonsoir à tous,

Je cherche avec un script à :
- Me connecter à un site internet
- Saisir le login et le mot de passe
- Cliquer sur un lien particulier pour afficher une autre page (une
fois connecté)
- Récupérer les donnnées de la page

J'ai essayé avec lynx et wget, mais je ne maitrise pas du tout et je
patauge un peu (beaucoup)



Phase 1:

lynx -cmd_log /tmp/cmd.log http://ton.site

tu fais la séquence que tu veux automatiser

Phase 2:

lynx http://ton.site -cmd_script cmd.log | filtre_a_toi > resultat

en ayant évantuellement adapté le fichier cmd.log (très clair).




Merci beaucoup, je pense que je devrais m'en sortir avec cette astuce.

Cependant j'étais parti sur quelque chose de plus prévisible, mais je
n'ai pas réussi à le faire marcher :
-> Utilisation des paramètres -get_data et -post_data de lynx

Merci à tous pour vos réponses.

Tony


--
Pensez à lire la FAQ de la liste avant de poser une question :
http://wiki.debian.net/?DebianFrench

Pensez à rajouter le mot ``spam'' dans vos champs "From" et "Reply-To:"

To UNSUBSCRIBE, email to
with a subject of "unsubscribe". Trouble? Contact