url

Real Gagnon

12/01/2007 à 13:41

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un navigateur
legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

--
Real Gagnon from Quebec, Canada
* Looking for Java or PB code examples ? Visit Real's How-to
* http://www.rgagnon.com/howto.html

remy

12/01/2007 à 14:33

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un navigateur
legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

TestMan

12/01/2007 à 14:50

bonjour

cela fct bien avec voila mais pas vraiment avec google
Server returned HTTP response code: 403 for URL:
http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta >
vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

le simple copier-coller ne fct pas etonnant

dans tous les cas merci

public void test()
{
try
{
// URL url=new
URL("http://search.ke.voila.fr/S/voila?dt=*&image.x=0&image.y=0&kw=coucou");
URL url=new
URL("http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta=");
System.out.println(url);
URLConnection connection=url.openConnection();
affiche(connection);
}
catch (MalformedURLException e)
{
System.out.println (e);
}
catch(IOException exp)
{
System.out.println (exp);
}
}
public void affiche(URLConnection u)
{
try {
String txtHtml=new String();
Reader r=new InputStreamReader(u.getInputStream());
BufferedReader br=new BufferedReader (r);
//System.out.println("debut ");
String html=br.readLine();
while (html!=null)
{
txtHtml=txtHtml+html;
html=br.readLine();
}
System.out.println(" fin");
System.out.println(txtHtml);
getJLabel().setText(txtHtml);
br.close();
try {
FileWriter writer = new FileWriter("sortie.html");
writer.write(txtHtml);
}
catch (FileNotFoundException e)
{
System.out.println(e);
}
}
catch (IOException e)
{
System.out.println(e.getMessage());
}
}

Bonjour,

Voici un morceau de code fournit à titre d'expemple de test qui permet
de récuperer du contenu :

URL url = new URL("http://www.google.fr/xhtml?q=google");
URLConnection connection = url.openConnection();
connection.setRequestProperty("User-Agent","Mozilla/5.0
(Windows; U; Windows NT 5.1; fr; rv:1.8.1.1; Google-TR-3) Gecko/20061204
Firefox/2.0.0.1"); // par exemple !
connection.setRequestProperty("Host","www.google.fr");

connection.setRequestProperty("Accept","text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5");

connection.setRequestProperty("Accept-Language","fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3");

connection.setRequestProperty("Accept-Charset","utf-8");

BufferedReader reader = new BufferedReader(new
InputStreamReader(connection.getInputStream(),"UTF-8"));
String line;
while( (line=reader.readLine())!=null){
System.out.println(line);
}

ATTENTION : http://www.google.com/intl/fr/mobile/xhtml/terms_of_service.html
« Les requêtes automatisées sont interdites » ;-)

A+
TM

bonjour

cela fct bien avec voila mais pas vraiment avec google
Server returned HTTP response code: 403 for URL:
http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta >
vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

le simple copier-coller ne fct pas etonnant

dans tous les cas merci

public void test()
{
try
{
// URL url=new
URL("http://search.ke.voila.fr/S/voila?dt=*&image.x=0&image.y=0&kw=coucou");
URL url=new
URL("http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta=");
System.out.println(url);
URLConnection connection=url.openConnection();
affiche(connection);
}
catch (MalformedURLException e)
{
System.out.println (e);
}
catch(IOException exp)
{
System.out.println (exp);
}
}
public void affiche(URLConnection u)
{
try {
String txtHtml=new String();
Reader r=new InputStreamReader(u.getInputStream());
BufferedReader br=new BufferedReader (r);
//System.out.println("debut ");
String html=br.readLine();
while (html!=null)
{
txtHtml=txtHtml+html;
html=br.readLine();
}
System.out.println(" fin");
System.out.println(txtHtml);
getJLabel().setText(txtHtml);
br.close();
try {
FileWriter writer = new FileWriter("sortie.html");
writer.write(txtHtml);
}
catch (FileNotFoundException e)
{
System.out.println(e);
}
}
catch (IOException e)
{
System.out.println(e.getMessage());
}
}

Bonjour,

Voici un morceau de code fournit à titre d'expemple de test qui permet
de récuperer du contenu :

URL url = new URL("http://www.google.fr/xhtml?q=google");
URLConnection connection = url.openConnection();
connection.setRequestProperty("User-Agent","Mozilla/5.0
(Windows; U; Windows NT 5.1; fr; rv:1.8.1.1; Google-TR-3) Gecko/20061204
Firefox/2.0.0.1"); // par exemple !
connection.setRequestProperty("Host","www.google.fr");

connection.setRequestProperty("Accept","text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5");

connection.setRequestProperty("Accept-Language","fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3");

connection.setRequestProperty("Accept-Charset","utf-8");

BufferedReader reader = new BufferedReader(new
InputStreamReader(connection.getInputStream(),"UTF-8"));
String line;
while( (line=reader.readLine())!=null){
System.out.println(line);
}

ATTENTION : http://www.google.com/intl/fr/mobile/xhtml/terms_of_service.html
« Les requêtes automatisées sont interdites » ;-)

A+
TM

Vous avez filtré cet utilisateur ! Consultez son message

bonjour

cela fct bien avec voila mais pas vraiment avec google
Server returned HTTP response code: 403 for URL:
http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta >
vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

le simple copier-coller ne fct pas etonnant

dans tous les cas merci

public void test()
{
try
{
// URL url=new
URL("http://search.ke.voila.fr/S/voila?dt=*&image.x=0&image.y=0&kw=coucou");
URL url=new
URL("http://www.google.fr/search?hl=fr&q=coucou&btnG=Recherche+Google&meta=");
System.out.println(url);
URLConnection connection=url.openConnection();
affiche(connection);
}
catch (MalformedURLException e)
{
System.out.println (e);
}
catch(IOException exp)
{
System.out.println (exp);
}
}
public void affiche(URLConnection u)
{
try {
String txtHtml=new String();
Reader r=new InputStreamReader(u.getInputStream());
BufferedReader br=new BufferedReader (r);
//System.out.println("debut ");
String html=br.readLine();
while (html!=null)
{
txtHtml=txtHtml+html;
html=br.readLine();
}
System.out.println(" fin");
System.out.println(txtHtml);
getJLabel().setText(txtHtml);
br.close();
try {
FileWriter writer = new FileWriter("sortie.html");
writer.write(txtHtml);
}
catch (FileNotFoundException e)
{
System.out.println(e);
}
}
catch (IOException e)
{
System.out.println(e.getMessage());
}
}

Bonjour,

Voici un morceau de code fournit à titre d'expemple de test qui permet
de récuperer du contenu :

URL url = new URL("http://www.google.fr/xhtml?q=google");
URLConnection connection = url.openConnection();
connection.setRequestProperty("User-Agent","Mozilla/5.0
(Windows; U; Windows NT 5.1; fr; rv:1.8.1.1; Google-TR-3) Gecko/20061204
Firefox/2.0.0.1"); // par exemple !
connection.setRequestProperty("Host","www.google.fr");

connection.setRequestProperty("Accept","text/xml,application/xml,application/xhtml+xml,text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5");

connection.setRequestProperty("Accept-Language","fr,fr-fr;q=0.8,en-us;q=0.5,en;q=0.3");

connection.setRequestProperty("Accept-Charset","utf-8");

BufferedReader reader = new BufferedReader(new
InputStreamReader(connection.getInputStream(),"UTF-8"));
String line;
while( (line=reader.readLine())!=null){
System.out.println(line);
}

ATTENTION : http://www.google.com/intl/fr/mobile/xhtml/terms_of_service.html
« Les requêtes automatisées sont interdites » ;-)

A+
TM

TestMan

12/01/2007 à 14:55

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un navigateur

legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

Grillé par un lynx ... ça m'aprendra à pas avoir de "google" pour
indexer mes codes sources ;-)

J'insiste sur un point, ne néglige pas la remarque sur la license
d'utilisation... ou tu pourrais avoir des "surprises" (genre IP sur
liste noire) :(

A+
TM

remy

12/01/2007 à 15:23

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un

navigateur legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

Grillé par un lynx ... ça m'aprendra à pas avoir de "google" pour
indexer mes codes sources ;-)

J'insiste sur un point, ne néglige pas la remarque sur la license
d'utilisation... ou tu pourrais avoir des "surprises" (genre IP sur
liste noire) :(

j'ai bien noté
vu que l'idée consiste à voir se que pourrait donner un correcteur
orthographique basé sur le nombre d'occurrences d'un mot référencé par
un moteur de recherche

je ne considère pas qu'il s' agit de requête automatisée puisque
je ne sais pas à l'avance se qui va être le texte à corriger

le correcteur peut être considéré comme un navigateur à mon avis

pour ce qui concerne l'utilisation professionnelle du code perso je n'y
crois pas une seule minute

qt au résultat j'ai comme un doute sur l'efficacité d'une telle approche
mais comme cela m'amuse je ne vois pas pourquoi je ne testerais pas l'idée

maintenant je suis conscient que si ce procédé fct et qu'il se
généralise cela va mettre un peu de bazar dans leurs index

j'aime bien le concept du bordel organisé :-)
mais je n'y crois pas vraiment

remy

A+
TM

TestMan

15/01/2007 à 16:26

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un

navigateur legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

Grillé par un lynx ... ça m'aprendra à pas avoir de "google" pour

indexer mes codes sources ;-)

J'insiste sur un point, ne néglige pas la remarque sur la license
d'utilisation... ou tu pourrais avoir des "surprises" (genre IP sur
liste noire) :(

j'ai bien noté
vu que l'idée consiste à voir se que pourrait donner un correcteur
orthographique basé sur le nombre d'occurrences d'un mot référencé par
un moteur de recherche

je ne considère pas qu'il s' agit de requête automatisée puisque
je ne sais pas à l'avance se qui va être le texte à corriger

le correcteur peut être considéré comme un navigateur à mon avis

pour ce qui concerne l'utilisation professionnelle du code perso je n'y
crois pas une seule minute

qt au résultat j'ai comme un doute sur l'efficacité d'une telle approche
mais comme cela m'amuse je ne vois pas pourquoi je ne testerais pas l'idée

maintenant je suis conscient que si ce procédé fct et qu'il se
généralise cela va mettre un peu de bazar dans leurs index

j'aime bien le concept du bordel organisé :-)
mais je n'y crois pas vraiment

remy

Note bien, que si "par exemple", ton code était exécuté dans des applets
(ou appli clien webstart, bref sur le poste des clients) qui feraient
fonctionner le "moteur" du correcteur et remonteraient les stats au
serveur central, tu éviterais ainsi de faire apparaitre ton serveur trop
haut dans stats ;-)

Bon code,
TM

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un

navigateur legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

Grillé par un lynx ... ça m'aprendra à pas avoir de "google" pour

indexer mes codes sources ;-)

J'insiste sur un point, ne néglige pas la remarque sur la license
d'utilisation... ou tu pourrais avoir des "surprises" (genre IP sur
liste noire) :(

j'ai bien noté
vu que l'idée consiste à voir se que pourrait donner un correcteur
orthographique basé sur le nombre d'occurrences d'un mot référencé par
un moteur de recherche

je ne considère pas qu'il s' agit de requête automatisée puisque
je ne sais pas à l'avance se qui va être le texte à corriger

le correcteur peut être considéré comme un navigateur à mon avis

pour ce qui concerne l'utilisation professionnelle du code perso je n'y
crois pas une seule minute

qt au résultat j'ai comme un doute sur l'efficacité d'une telle approche
mais comme cela m'amuse je ne vois pas pourquoi je ne testerais pas l'idée

maintenant je suis conscient que si ce procédé fct et qu'il se
généralise cela va mettre un peu de bazar dans leurs index

j'aime bien le concept du bordel organisé :-)
mais je n'y crois pas vraiment

remy

Note bien, que si "par exemple", ton code était exécuté dans des applets
(ou appli clien webstart, bref sur le poste des clients) qui feraient
fonctionner le "moteur" du correcteur et remonteraient les stats au
serveur central, tu éviterais ainsi de faire apparaitre ton serveur trop
haut dans stats ;-)

Bon code,
TM

Vous avez filtré cet utilisateur ! Consultez son message

vous n'auriez pas par hasard sous la main
la méthode pour fabriquer une requête pour google
je ne parle pas bien sur du sopa

C'est parce que Google ne repond que si la requete provient d'un

navigateur legitime.

Vous pouvez faire semblant en modifiant la propriete http.agent et
pretendre etre un navigateur et non un programme Java.

Exemple sur http://www.rgagnon.com/javadetails/java-0399.html

Bye.

alors là tu m' en apprends une bien bonne

du coup je vais augmenter les stat pour lynx

public static void main(String[] args) {
System.setProperty ("http.agent","lynx (compatible; MSIE 6.0; linux)");

...

et ça marche merci

Grillé par un lynx ... ça m'aprendra à pas avoir de "google" pour

indexer mes codes sources ;-)

J'insiste sur un point, ne néglige pas la remarque sur la license
d'utilisation... ou tu pourrais avoir des "surprises" (genre IP sur
liste noire) :(

j'ai bien noté
vu que l'idée consiste à voir se que pourrait donner un correcteur
orthographique basé sur le nombre d'occurrences d'un mot référencé par
un moteur de recherche

je ne considère pas qu'il s' agit de requête automatisée puisque
je ne sais pas à l'avance se qui va être le texte à corriger

le correcteur peut être considéré comme un navigateur à mon avis

pour ce qui concerne l'utilisation professionnelle du code perso je n'y
crois pas une seule minute

qt au résultat j'ai comme un doute sur l'efficacité d'une telle approche
mais comme cela m'amuse je ne vois pas pourquoi je ne testerais pas l'idée

maintenant je suis conscient que si ce procédé fct et qu'il se
généralise cela va mettre un peu de bazar dans leurs index

j'aime bien le concept du bordel organisé :-)
mais je n'y crois pas vraiment

remy

Note bien, que si "par exemple", ton code était exécuté dans des applets
(ou appli clien webstart, bref sur le poste des clients) qui feraient
fonctionner le "moteur" du correcteur et remonteraient les stats au
serveur central, tu éviterais ainsi de faire apparaitre ton serveur trop
haut dans stats ;-)

Bon code,
TM

url

6 réponses

Veuillez sélectionner un problème