Je cherche un outil qui pourrait me permettre d'anonymiser des logs
facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash
je pourrai y passer 15 jours).
Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails
et logins dans des fichiers de logs variés (postfix, apache, pop/imap)
par un hash de sorte qu'une analyse des logs soit encore possible.
Je verrai bien un truc qui replace une IP donnée par un prefix "IP_"
suivi du résultat de md5(IP+salt).
C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer
les comportements des utilisateurs, et les flux d'emails.
Des pistes ?
patpro
--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
Cette action est irreversible, confirmez la suppression du commentaire ?
Signaler le commentaire
Veuillez sélectionner un problème
Nudité
Violence
Harcèlement
Fraude
Vente illégale
Discours haineux
Terrorisme
Autre
Loki Harfagr
Wed, 25 May 2011 16:44:14 +0200, patpro ~ Patrick Proniewski did cat :
Bonjour,
Je cherche un outil qui pourrait me permettre d'anonymiser des logs facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash je pourrai y passer 15 jours).
Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails et logins dans des fichiers de logs variés (postfix, apache, pop/imap) par un hash de sorte qu'une analyse des logs soit encore possible. Je verrai bien un truc qui replace une IP donnée par un prefix "IP_" suivi du résultat de md5(IP+salt).
C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer les comportements des utilisateurs, et les flux d'emails.
Des pistes ?
patpro
tu veux *exactement* "un truc qui replace une IP donnée par *" ou c'est juste une proposition d'un des possibles ? Dit autrement, tu veux juste anonymiser dans des logs une ou plusieurs IP choisies (fournies en paramètre) ou tu veux dans des logs masssives anonymiser toutes les IP (connues par leur emplacement ou une regexp ?)
si c'est le dernier cas une incatation en awk ou en sed sera probablement le plus simple, rapide et maintenable. Si c'est le premier cas il te faudra d'abord doner plus de précisions sur la structure des données à traiter et celle des données paramètres :-)
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié (quelques lignes de log anonymisées à la main plus un exemple de paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre) ça augmentera certainement le nombre de réponses que tu recevras :-)
Wed, 25 May 2011 16:44:14 +0200, patpro ~ Patrick Proniewski did cat :
Bonjour,
Je cherche un outil qui pourrait me permettre d'anonymiser des logs
facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash
je pourrai y passer 15 jours).
Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails
et logins dans des fichiers de logs variés (postfix, apache, pop/imap)
par un hash de sorte qu'une analyse des logs soit encore possible. Je
verrai bien un truc qui replace une IP donnée par un prefix "IP_" suivi
du résultat de md5(IP+salt).
C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer
les comportements des utilisateurs, et les flux d'emails.
Des pistes ?
patpro
tu veux *exactement* "un truc qui replace une IP donnée par *"
ou c'est juste une proposition d'un des possibles ?
Dit autrement, tu veux juste anonymiser dans des logs
une ou plusieurs IP choisies (fournies en paramètre)
ou tu veux dans des logs masssives anonymiser toutes les IP
(connues par leur emplacement ou une regexp ?)
si c'est le dernier cas une incatation en awk ou en sed
sera probablement le plus simple, rapide et maintenable.
Si c'est le premier cas il te faudra d'abord doner plus de précisions sur
la structure des données à traiter et celle des données paramètres :-)
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié
(quelques lignes de log anonymisées à la main plus un exemple de
paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre)
ça augmentera certainement le nombre de réponses que tu recevras :-)
Wed, 25 May 2011 16:44:14 +0200, patpro ~ Patrick Proniewski did cat :
Bonjour,
Je cherche un outil qui pourrait me permettre d'anonymiser des logs facilement (je ne développe pas en PERL, et j'ai le sentiment qu'en bash je pourrai y passer 15 jours).
Il s'agirait de remplacer entre autres les hostname/IPs, adresses emails et logins dans des fichiers de logs variés (postfix, apache, pop/imap) par un hash de sorte qu'une analyse des logs soit encore possible. Je verrai bien un truc qui replace une IP donnée par un prefix "IP_" suivi du résultat de md5(IP+salt).
C'est pour fournir à des chercheurs, ils ont besoin de pouvoir traquer les comportements des utilisateurs, et les flux d'emails.
Des pistes ?
patpro
tu veux *exactement* "un truc qui replace une IP donnée par *" ou c'est juste une proposition d'un des possibles ? Dit autrement, tu veux juste anonymiser dans des logs une ou plusieurs IP choisies (fournies en paramètre) ou tu veux dans des logs masssives anonymiser toutes les IP (connues par leur emplacement ou une regexp ?)
si c'est le dernier cas une incatation en awk ou en sed sera probablement le plus simple, rapide et maintenable. Si c'est le premier cas il te faudra d'abord doner plus de précisions sur la structure des données à traiter et celle des données paramètres :-)
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié (quelques lignes de log anonymisées à la main plus un exemple de paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre) ça augmentera certainement le nombre de réponses que tu recevras :-)
patpro ~ patrick proniewski
In article , Loki Harfagr wrote:
tu veux *exactement* "un truc qui replace une IP donnée par *" ou c'est juste une proposition d'un des possibles ?
C'est un des possibles, parce qu'il faut gérer les logins, les noms de domaine, les adresses emails.
si c'est le dernier cas une incatation en awk ou en sed sera probablement le plus simple, rapide et maintenable.
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses email ni les noms de domaines. Mais en bossant un peu mon Perl, je pourrai sans doute avancer sur d'autres points.
Si c'est le premier cas il te faudra d'abord doner plus de précisions sur la structure des données à traiter et celle des données paramètres :-)
Elle est variable. Côté mails c'est du postfix, donc c'est fixe, par contre j'ai une appli de bureau virtuel qui log différemment le login au webmail, la connexion pop, la connexion imap, etc.
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié (quelques lignes de log anonymisées à la main plus un exemple de paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre) ça augmentera certainement le nombre de réponses que tu recevras :-)
Ben j'espérais tomber sur des scripts déjà faits (pour postfix notamment), que j'aurai pu modifier à ma sauce pour les autres log. Avant de donner des exemples, je vais valider la liste des services pour les quels les chercheurs veulent des logs. Ça sert à rien de partir dans toutes les directions si j'ai pas déjà ça.
Merci en tout cas de t'y intéresser :)
patpro
-- A vendre : KVM IP 16 ports APC http://patpro.net/blog/index.php/2008/01/12/133
In article <pan.2011.05.25.17.19.48@thedarkdesign.free.fr.INVALID>,
Loki Harfagr <l0k1@thedarkdesign.free.fr.INVALID> wrote:
tu veux *exactement* "un truc qui replace une IP donnée par *"
ou c'est juste une proposition d'un des possibles ?
C'est un des possibles, parce qu'il faut gérer les logins, les noms de
domaine, les adresses emails.
si c'est le dernier cas une incatation en awk ou en sed
sera probablement le plus simple, rapide et maintenable.
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui
l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses
email ni les noms de domaines. Mais en bossant un peu mon Perl, je
pourrai sans doute avancer sur d'autres points.
Si c'est le premier cas il te faudra d'abord doner plus de précisions sur
la structure des données à traiter et celle des données paramètres :-)
Elle est variable. Côté mails c'est du postfix, donc c'est fixe, par
contre j'ai une appli de bureau virtuel qui log différemment le login au
webmail, la connexion pop, la connexion imap, etc.
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié
(quelques lignes de log anonymisées à la main plus un exemple de
paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre)
ça augmentera certainement le nombre de réponses que tu recevras :-)
Ben j'espérais tomber sur des scripts déjà faits (pour postfix
notamment), que j'aurai pu modifier à ma sauce pour les autres log.
Avant de donner des exemples, je vais valider la liste des services pour
les quels les chercheurs veulent des logs. Ça sert à rien de partir dans
toutes les directions si j'ai pas déjà ça.
Merci en tout cas de t'y intéresser :)
patpro
--
A vendre : KVM IP 16 ports APC
http://patpro.net/blog/index.php/2008/01/12/133
tu veux *exactement* "un truc qui replace une IP donnée par *" ou c'est juste une proposition d'un des possibles ?
C'est un des possibles, parce qu'il faut gérer les logins, les noms de domaine, les adresses emails.
si c'est le dernier cas une incatation en awk ou en sed sera probablement le plus simple, rapide et maintenable.
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses email ni les noms de domaines. Mais en bossant un peu mon Perl, je pourrai sans doute avancer sur d'autres points.
Si c'est le premier cas il te faudra d'abord doner plus de précisions sur la structure des données à traiter et celle des données paramètres :-)
Elle est variable. Côté mails c'est du postfix, donc c'est fixe, par contre j'ai une appli de bureau virtuel qui log différemment le login au webmail, la connexion pop, la connexion imap, etc.
Dans tous les cas, si tu peux fournir un jeu d'essai simplifié (quelques lignes de log anonymisées à la main plus un exemple de paramétrage souhaité (i-e est-ce unitaire/global/positionnel/autre) ça augmentera certainement le nombre de réponses que tu recevras :-)
Ben j'espérais tomber sur des scripts déjà faits (pour postfix notamment), que j'aurai pu modifier à ma sauce pour les autres log. Avant de donner des exemples, je vais valider la liste des services pour les quels les chercheurs veulent des logs. Ça sert à rien de partir dans toutes les directions si j'ai pas déjà ça.
Merci en tout cas de t'y intéresser :)
patpro
-- A vendre : KVM IP 16 ports APC http://patpro.net/blog/index.php/2008/01/12/133
patpro ~ Patrick Proniewski
In article , patpro ~ patrick proniewski wrote:
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses email ni les noms de domaines. Mais en bossant un peu mon Perl, je pourrai sans doute avancer sur d'autres points.
Au cas où ça en intéresserait quelques uns, j'ai bouclé un petit script Perl qui prend en charge les logs postfix (attention, c'est le second script Perl que j'écris en 12 ans) :
http://patpro.net/~patpro/logs_anonymes.pl
patpro
-- A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
In article <patpro-E8BF89.20224925052011@news.free.fr>,
patpro ~ patrick proniewski <patpro@boleskine.patpro.net> wrote:
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui
l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses
email ni les noms de domaines. Mais en bossant un peu mon Perl, je
pourrai sans doute avancer sur d'autres points.
Au cas où ça en intéresserait quelques uns, j'ai bouclé un petit script
Perl qui prend en charge les logs postfix (attention, c'est le second
script Perl que j'écris en 12 ans) :
http://patpro.net/~patpro/logs_anonymes.pl
patpro
--
A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
Pour les IP j'ai trouvé IP::Anonymous et un exemple de script qui l'utilise. Ça marche super bien. Par contre ça ne gère pas les adresses email ni les noms de domaines. Mais en bossant un peu mon Perl, je pourrai sans doute avancer sur d'autres points.
Au cas où ça en intéresserait quelques uns, j'ai bouclé un petit script Perl qui prend en charge les logs postfix (attention, c'est le second script Perl que j'écris en 12 ans) :
http://patpro.net/~patpro/logs_anonymes.pl
patpro
-- A vendre ! http://www.patpro.net/blog/index.php/2008/01/12/133
