[HS] HTML, javascript, expression régulière ?

Le
ptilou
Bonjour la liste,

J'ai besoin de récupérer des adresses mail, j'utilise wget -m htt=
p://mon_site_que_j'aime.fr
Je me retrouve avec 5 go de donnée, quand j'ouvre les pages à la =
mano sous LibreOffice, çà revoie à un javascript:void(0); co=
mme balise pour l'adresse mail.
J'ai donc en ligne de commande taper
$ find . -type f -print | xargs egrep -o '[a-zA-Z0-9._-]+@[a-zA-Z0-9._-]{2=
,}.[a-z]{2,4}'
Voila les erreurs qui apparaissent :
[]
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www.____.com/pics/contents/webzine/vs: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory

[]
Je ne récupère que les adresses du Webmestre, donc comment r=
cupérer l'annuaire complet ?
( çà a mouliner toute la nuit et j'ai fait un Control C pour arr=
êter ce matin )

Donc je sais pas si je n'ai pas télécharger les adresses, ou si c=
'est l'expression régulière qui est erroné ?

Merci de m’orienter vers un forum plus approprié si vous n'avi=
ez pas la solution !

Ptilou
Vos réponses
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
ptilou
Le #26449004
Bonjour,
Le lundi 23 octobre 2017 12:00:02 UTC+2, Thomas Savary a écrit :
Enfin une question à laquelle je peux essayer de répondre :-)
Je suis nul en informatique, mais j’ai une relative maîtrise des expressions
rationnelles.
Dans ton expression, tu as oublié de protéger le point et le tr ait d’union.
Par ailleurs, on peut faire plus simple en utilsant w.
Essaie :
[w.-]+@[w.-]{2,}.[a-z]{2,4}
Cela dit, il faut aussi parfois protéger les contre-obliques, en tou t cas dans
sed. Le plus « drôle », c’est que cela dépend aussi du shell utilisé.


Marche pas !
$ find . -type f -print | xargs egrep -o '[w.-]+@[w.-]{2,}.[a-z]{2 ,4}'
xargs: guillemets simple non appairés ; par défaut les guill emets sont particuliers à xargs à moins d'utiliser l'option -0
grep: ./www._____.com/pics/contents/webzine/communique: No such file or dir ectory
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www._____.com/pics/contents/webzine/vs: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory
grep: house.jpg: No such file or directory
grep: ./www._____.com/pics/webzine/29: No such file or directory
grep: citations: No such file or directory
grep: pour: No such file or directory
Je n'ai même plus les adresses du webmestre !
J'ai pas comprie le truc des obliques, moi il faut me donner la bécqu ée comme un oisillion mais en code source, je ne suis pas capable de r éfléchire ....
Il faut ce mettre à python, Lxml et BeautifulSoup ?
Je cherche un truc plus simple, sous windows quand je lance une recherche i l me sort 300 pages avec dans le nom, il y a l’arobase dans le noms , en plus une dizaines d’exécutables en DOS, je crois que c'es t dans ces fichiers si j'ai télécharger les adresses ?
Je suis le seul à faire du scraping ?
Ptilou
Christian Quentin
Le #26449010
--=_56a2ab5d3f45d90a4aef2f9427d43bc2
Content-Transfer-Encoding: 8bit
Content-Type: text/plain; charset=UTF-8
Le 25.10.2017 10:53, ptilou a écrit :
Bonjour,
Le lundi 23 octobre 2017 12:00:02 UTC+2, Thomas Savary a écrit :
Enfin une question à laquelle je peux essayer de répondre :-)
Je suis nul en informatique, mais j'ai une relative maîtrise des expressions
rationnelles.
Dans ton expression, tu as oublié de protéger le point et le trait d'union.
Par ailleurs, on peut faire plus simple en utilsant w.
Essaie :
[w.-]+@[w.-]{2,}.[a-z]{2,4}
Cela dit, il faut aussi parfois protéger les contre-obliques, en tout cas dans
sed. Le plus « drôle », c'est que cela dépend aussi du shell utilisé.

Marche pas !
$ find . -type f -print | xargs egrep -o '[w.-]+@[w.-]{2,}.[a-z]{2,4}'
xargs: guillemets simple non appairés ; par défaut les guillemets sont particuliers à xargs à moins d'utiliser l'option -0
grep: ./www._____.com/pics/contents/webzine/communique [1]: No such file or directory
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www._____.com/pics/contents/webzine/vs [2]: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory
grep: house.jpg: No such file or directory
grep: ./www._____.com/pics/webzine/29 [3]: No such file or directory
grep: citations: No such file or directory
grep: pour: No such file or directory
Je n'ai même plus les adresses du webmestre !
J'ai pas comprie le truc des obliques, moi il faut me donner la bécquée comme un oisillion mais en code source, je ne suis pas capable de réfléchire ....
Il faut ce mettre à python, Lxml et BeautifulSoup ?
Je cherche un truc plus simple, sous windows quand je lance une recherche il me sort 300 pages avec dans le nom, il y a l'arobase dans le noms, en plus une dizaines d'exécutables en DOS, je crois que c'est dans ces fichiers si j'ai télécharger les adresses ?
Je suis le seul à faire du scraping ?
Ptilou

Les raccourcis pour les caractères alphanumériques varient selon le
contexte dans lequel les regexp sont utilisées, essaie ça en ligne de
commande :
egrep -R '[[:alnum:].-]+@[[:alnum:]]+.[[:alpha:]]{2,}'
Christian
Links:
------
[1] http://www._____.com/pics/contents/webzine/communique
[2] http://www._____.com/pics/contents/webzine/vs
[3] http://www._____.com/pics/webzine/29
--=_56a2ab5d3f45d90a4aef2f9427d43bc2
Content-Transfer-Encoding: quoted-printable
Content-Type: text/html; charset=UTF-8
<html><head><meta http-equiv="Content-Type" content="text/html; charset =UTF-8" /></head><body style='font-size: 10pt'>
<p>
</p>
<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> Bonjour,

Le lundi 23 octobre 2017 12:00:02 UTC+2, Thomas Savar y a &eacute;crit&nbsp;:
Marche pas !

$ &nbsp;find . -type f -print | xargs &nbs p;egrep -o '[w.-]+@[w.-]{2,}.[a-z]{2,4}'
xargs: guillemets sim ple non appair&eacute;s&nbsp;; par d&eacute;faut les guillemets sont partic uliers &agrave; xargs &agrave; moins d'utiliser l'option -0
grep: ./
<p>Les raccourcis pour les caract&egrave;res alphanum&eacute;riques varient selon le contexte dans lequel les regexp sont utilis&eacute;es, essaie &cc edil;a en ligne de commande :</p>
<div>Christian</div>
</body></html>
--=_56a2ab5d3f45d90a4aef2f9427d43bc2--
Dominique Dumont
Le #26449022
On Monday, 23 October 2017 01:19:46 CEST ptilou wrote:
Voila les erreurs qui apparaissent :
[...]
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www.____.com/pics/contents/webzine/vs: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory

Semblerait que certain fichiers contiennent des espaces dans leur nom.
cf option -print0 pour find et -0 (aka --null) pour xargs
e.g find . -name xx -print0 | xargs --null grep etc...
HTH
--
https://github.com/dod38fr/ -o- http://search.cpan.org/~ddumont/
http://ddumont.wordpress.com/ -o- irc: dod at irc.debian.org
Randy11
Le #26449046
Bonjour !
Comme c'est "[HS]", je me permets un "hors sujet" que j'aime quand il
est question de HTML et RegExp :
https://stackoverflow.com/questions/1732348/regex-match-open-tags-except-xhtml-self-contained-tags
;-)
Randy11
On 23/10/2017 10:19, ptilou wrote:
Bonjour la liste,
J'ai besoin de récupérer des adresses mail, j'utilise wget -m http://mon_site_que_j'aime.fr
Je me retrouve avec 5 go de donnée, quand j'ouvre les pages à la mano sous LibreOffice, çà revoie à un javascript:void(0); comme balise pour l'adresse mail.
J'ai donc en ligne de commande taper
$ find . -type f -print | xargs egrep -o '[a-zA-Z0-9._-]+@[a-zA-Z0-9._-]{2,}.[a-z]{2,4}'
Voila les erreurs qui apparaissent :
[...]
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www.____.com/pics/contents/webzine/vs: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory
[...]
Je ne récupère que les adresses du Webmestre, donc comment récupérer l'annuaire complet ?
( çà a mouliner toute la nuit et j'ai fait un Control C pour arrêter ce matin )
Donc je sais pas si je n'ai pas télécharger les adresses, ou si c'est l'expression régulière qui est erroné ?
Merci de m’orienter vers un forum plus approprié si vous n'aviez pas la solution !
Ptilou
err404
Le #26450130
-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA512
Bonjour Pilou
il existe des sites web qui peuvent faire ça, de façon interactive.
mais il existe aussi des paquets qui font ça de façon interactive, par exemple:
txt2regex - A Regular Expression "wizard", all written with bash2 builtins
visual-regexp - Interactively debug regular expressions
et sûrement plein d'autres
-----BEGIN PGP SIGNATURE-----
iQIzBAEBCgAdFiEEJO//ePEJChGbGaZQrjHmR0GD/5kFAln62VoACgkQrjHmR0GD
/5nyIw/+Pd8FWlXScxJQdGprfKsYGzN37eup7OWzu4vKErADquGnn1TeRtZPJk7U
dQqUvUll2uUwvTXDWNpf9ZQCEEAbPc6d9MWoqtjrIXaDjSHattlE/yEJ/NBMDIa8
AiFIn5rzdC0M+6/rVSdCLs3618HzTfi8RYvEe0wJcg8O547NTwl4UAizsnaZoDAq
D2A751DHEjREIygtjwwiAouZPywiI8jIiOnu8r1Z36CBnSBB4zqHsdX7D9jBbImM
OEvjQRbIQ80tDircP+VwWAFRdgZk0NzAcLQzODW7hs+LQndpcoYWW4lyyVFpv5g6
P9lQs0ZI9lSUkU25ST5QfjR+i3szeRJOQv5BVf+mSDJqx8OWnESUctwIHSW7hwME
tSUT5DvmXGYAa0Jjss0TrC50mjgenKP2oZw/hOcRs0kP0PhmJ8RCoDvdL0eVPM1v
cM3ytXZREVjOxtT/XvaQiurMmM2HafdqzmyKqEorLLMneO0o0zB8RdGpryYnPcYs
34w5riOA0m7rfLd34q6fGRmSm7SXpmvPfXLHnbOpAdaS3gNgWzH7C1P+BMzz69uZ
v6ABjERdvz5DZBrwLQIHMiT2RnFSrg3wtL6hyUlftl8Yx/Tt8zl0LpdIGsLugShD
zYeSM2ZP8Soi5d3Ygm4QVsrOFAC2qexlYi5/sT1Si3/SafDGJts =Whwf
-----END PGP SIGNATURE-----
Christian Quentin
Le #26450165
--=_f5369c0239c7c491b78910d767fbd24c
Content-Transfer-Encoding: 8bit
Content-Type: text/plain; charset=UTF-8
Le 02.11.2017 07:59, ptilou a écrit :
Bonjour,
Le mercredi 25 octobre 2017 13:10:02 UTC+2, Christian Quentin a écrit :
Le 25.10.2017 10:53, ptilou a écrit :
Bonjour,
Le lundi 23 octobre 2017 12:00:02 UTC+2, Thomas Savary a écrit :
Enfin une question à laquelle je peux essayer de répondre :-)
Je suis nul en informatique, mais j'ai une relative maîtrise des expressions
rationnelles.
Dans ton expression, tu as oublié de protéger le point et le trait d'union.
Par ailleurs, on peut faire plus simple en utilsant w.
Essaie :
[w.-]+@[w.-]{2,}.[a-z]{2,4}
Cela dit, il faut aussi parfois protéger les contre-obliques, en tout cas dans
sed. Le plus « drôle », c'est que cela dépend aussi du shell utilisé.
Marche pas !
$ find . -type f -print | xargs egrep -o '[w.-]+@[w.-]{2,}.[a-z]{2,4}'
xargs: guillemets simple non appairés ; par défaut les guillemets sont particuliers à xargs à moins d'utiliser l'option -0
grep: ./www._____.com/pics/contents/webzine/communique [1]: No such file or directory
grep: paris: No such file or directory
grep: design: No such file or directory
grep: week.pdf: No such file or directory
grep: ./www._____.com/pics/contents/webzine/vs [2]: No such file or directory
grep: a: No such file or directory
grep: glass: No such file or directory
grep: house.jpg: No such file or directory
grep: ./www._____.com/pics/webzine/29 [3]: No such file or directory
grep: citations: No such file or directory
grep: pour: No such file or directory
Je n'ai même plus les adresses du webmestre !
J'ai pas comprie le truc des obliques, moi il faut me donner la bécquée comme un oisillion mais en code source, je ne suis pas capable de réfléchire ....
Il faut ce mettre à python, Lxml et BeautifulSoup ?
Je cherche un truc plus simple, sous windows quand je lance une recherche il me sort 300 pages avec dans le nom, il y a l'arobase dans le noms, en plus une dizaines d'exécutables en DOS, je crois que c'est dans ces fichiers si j'ai télécharger les adresses ?
Je suis le seul à faire du scraping ?
Ptilou
Les raccourcis pour les caractères alphanumériques varient selon le contexte dans lequel les regexp sont utilisées, essaie ça en ligne de commande :
egrep -R '[[:alnum:].-]+@[[:alnum:]]+.[[:alpha:]]{2,}'

çà ne marche pas ! j'ai essayé man c la : http://manpagesfr.free.fr/man/man1/Index.1.html
j'ai besoin d'aide pour mettre tous çà en corollaire ...
Y a des rhume de binaire en ce moment c'est une épidémie !
Ptilou


Curieux... J'ai essayé ça sous bash et ça donne bien le résultat attendu
: egrep -R '[[:alnum:].-]+@[[:alnum:]]+.[[:alpha:]]{2,}'
egrep -R '[[:alnum:]._-]+@([[:alnum:]]+.)+[[:alpha:]]{2,}' est un peu
plus complète et repère les emails du type (avec un
domaine composé de 2 parties ou plus)
Tu lances bien la commande dans un terminal pour faire tes tests ?
Christian
Links:
------
[1] http://www._____.com/pics/contents/webzine/communique
[2] http://www._____.com/pics/contents/webzine/vs
[3] http://www._____.com/pics/webzine/29
--=_f5369c0239c7c491b78910d767fbd24c
Content-Transfer-Encoding: quoted-printable
Content-Type: text/html; charset=UTF-8
<html><head><meta http-equiv="Content-Type" content="text/html; charset =UTF-8" /></head><body style='font-size: 10pt'>
<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> Bonjour,

Le mercredi 25 octobre 2017 13:10:02 UTC+2, Christian Quentin a &eacute;crit&nbsp;:
Les raccourcis pour les caract&egrave;res alpha num&eacute;riques varient selon le contexte dans lequel les regexp sont uti lis&eacute;es, essaie &ccedil;a en ligne de commande :

egrep - R '[[:alnum:].-]+@[[:alnum:]]+.[[:alpha:]]{2,}'

&ccedil;&agrave; ne marche pas ! j'ai essay&eacute; man c la :
<div class="pre" style="margin: 0; padding: 0; font-family: monospace"> &nbsp;</div>

<div>Tu lances bien la commande dans un terminal pour faire tes tests ?</di v>
<div>&nbsp;</div>
<div>Christian</div>
</body></html>
--=_f5369c0239c7c491b78910d767fbd24c--
Architecte du web
Le #26451250
AUjourd'hui j'ai re-tester le premier qui a marché mais maintenant j'ai les même e-mailS qui sorte, bon je passer pour un spammer ...
La je veux récupérer les adresseS de site web donc je tape :
$ find . -type f -print | xargs egrep -o '0www.[a-zA-Z0-9._-]{2,}.[a-z]{2,4}' >www-______.txt
Et j'ai les erreurS :
grep: le fichier d'entrée « ./www-_______.txt » est aussi en sortie
xargs: guillemets simple non appairés ; par défaut les guillemets sont particuliers à xargs à moins d'utiliser l'option -0
grep: ./www._____.com/pics/contents/webzine/c+: No such file or directory
grep: horreur.jpg: No such file or directory
grep: ./www.______.com/pics/contents/webzine/campagne: No such file or directory
grep: mars.jpg: No such file or directory
grep: ./www.______.com/pics/contents/webzine/campagne: No such file or directory
grep: ▒co: No such file or directory
grep: emballages.jpg: No such file or directory
[...]
Mais j'ai plus rien dans le fichier ...
On n'est pas vendredi, mais je suis obliger de faire fonctionner mes doigts, sinon je vais attraper une entorse falangique ;-)
Y a une gréve dans la presse les numéro de https://www.closermag.fr/ ; www.voici.fr/ ; https://www.public.fr/ ; people.com/ ; www.purepeople.com/ ; www.gala.fr/ , etc ...
non pas été imprimer ? Y a un beug majeure dans le logiciel libre qui fait que les serveurs ne servent plus la bonne soupe ?
Ptilou


Tente ça :
egrep -R 'www.[a-zA-Z0-9._-]+.[[:alpha:]]{2,4}' .
Christian
Publicité
Poster une réponse
Anonyme