Il y a un certain temps, j'avais regardé ce que faisait un bot qui
visitait mon site et selon certains observateurs, il récoltait des
adresses pour spammer.
Mais comment s'y retrouver ?
Je reconnais des bots comme Google ou Bing dont le site est connu.
Je sais qu'il faut bloquer des pirates comme Yasni (qui a son bot)
ou 123people (qui semble utiliser le bot de Yahoo) parce qu'ils ne
font que recopier mon site pour le faire indexer à leur avantage,
ce qui fait que mon site sort après le leur dans les recherches sur
Google.
Que faire avec ahrefs, netseer, hostnoc, etc. ?
Je viens d'apprendre que exalead est un bot de Netscape (oui, cela
exiate encore). Ahrefs servirait à trouver des liens entrants
depuis mon site, donc inutile pour une section de 84000 pages chez
moi, mais utile (pour d'autres) dans d'autres sections où j'ai des
liens sortants. Netseer enverrait des annonces contextuelles alors
que je n'utilise pas ce service, mais si je le bannis et que Google
l'achète, ce sont mes annonces Google qui seraient menacées.
En bref, c'est la jungle. Je ne veux pas me fier aux sites de
blogues à la wikipedia où n'importe qui écrit n'importe quoi et on
tombe trop souvent sur des sites qui ne sont que des whois avec de
la pub.