anonymiser des logs

Le
patpro ~ Patrick Proniewski
Bonjour,

Je cherche un outil qui pourrait me permettre d'anonymiser des logs
facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash
je pourrai y passer 15 jours).

Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails
et logins dans des fichiers de logs variés (postfix, apache, pop/imap)
par un hash de sorte qu'une analyse des logs soit encore possible.
Je verrai bien un truc qui replace une IP donnée par un prefix "IP_"
suivi du résultat de md5(IP+salt).

C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer
les comportements des utilisateurs, et les flux d'emails.

Des pistes ?

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
Vidéos High-Tech et Jeu Vidéo
Téléchargements
Vos réponses
Gagnez chaque mois un abonnement Premium avec GNT : Inscrivez-vous !
Trier par : date / pertinence
Loki Harfagr
Le #23391921
Wed, 25 May 2011 16:44:14 +0200, patpro ~ Patrick Proniewski did cat :

Bonjour,

Je cherche un outil qui pourrait me permettre d'anonymiser des logs
facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash
je pourrai y passer 15 jours).

Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails
et logins dans des fichiers de logs variés (postfix, apache, pop/imap)
par un hash de sorte qu'une analyse des logs soit encore possible. Je
verrai bien un truc qui replace une IP donnée par un prefix "IP_" suivi
du résultat de md5(IP+salt).

C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer
les comportements des utilisateurs, et les flux d'emails.

Des pistes ?

patpro



tu veux *exactement* "un truc qui replace une IP donnée par *"
ou c'est juste une proposition d'un des possibles ?
Dit autrement, tu veux juste anonymiser dans des logs
une ou plusieurs IP choisies (fournies en paramètre)
ou tu veux dans des logs masssives anonymiser toutes les IP
(connues par leur emplacement ou une regexp ?)

si c'est le dernier cas une incatation en awk ou en sed
sera probablement le plus simple, rapide et maintenable.
Si c'est le premier cas il te faudra d'abord doner plus de précisions sur
la structure des données à traiter et celle des données paramètres :-)

Dans tous les cas, si tu peux fournir un jeu d'essai simplifié
(quelques lignes de log anonymisées à la main plus un exemple de
paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre)
ça augmentera certainement le nombre de réponses que tu recevras :-)
patpro ~ patrick proniewski
Le #23392021
In article Loki Harfagr
tu veux *exactement* "un truc qui replace une IP donnée par *"
ou c'est juste une proposition d'un des possibles ?



C'est un des possibles, parce qu'il faut gérer les logins, les noms de
domaine, les adresses emails.

si c'est le dernier cas une incatation en awk ou en sed
sera probablement le plus simple, rapide et maintenable.



Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui
l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses
email ni les noms de domaines. Mais en bossant un peu mon Perl, je
pourrai sans doute avancer sur d'autres points.

Si c'est le premier cas il te faudra d'abord doner plus de précisions sur
la structure des données à traiter et celle des données paramètres :-)



Elle est variable. Côté mails c'est du postfix, donc c'est fixe, par
contre j'ai une appli de bureau virtuel qui log différemment le login au
webmail, la connexion pop, la connexion imap, etc.

Dans tous les cas, si tu peux fournir un jeu d'essai simplifié
(quelques lignes de log anonymisées à la main plus un exemple de
paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre)
ça augmentera certainement le nombre de réponses que tu recevras :-)



Ben j'espérais tomber sur des scripts déjà faits (pour postfix
notamment), que j'aurai pu modifier à ma sauce pour les autres log.
Avant de donner des exemples, je vais valider la liste des services pour
les quels les chercheurs veulent des logs. Ça sert à rien de partir dans
toutes les directions si j'ai pas déjà ça.

Merci en tout cas de t'y intéresser :)

patpro

--
A vendre : KVM IP 16 ports APC
http://patpro.net/blog/index.php/2008/01/12/133
patpro ~ Patrick Proniewski
Le #23393801
In article patpro ~ patrick proniewski
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui
l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses
email ni les noms de domaines. Mais en bossant un peu mon Perl, je
pourrai sans doute avancer sur d'autres points.




Au cas où ça en intéresserait quelques uns, j'ai bouclé un petit script
Perl qui prend en charge les logs postfix (attention, c'est le second
script Perl que j'écris en 12 ans) :

http://patpro.net/~patpro/logs_anonymes.pl

patpro

--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
Publicité
Poster une réponse
Anonyme