Test K9 (antiSpam)

Bonjour !

Plusieurs personnes m'avaient recommandé K9, comme anti-Spam.
J'ai donc préparé un test, pour voir un peu ses qualités. Voici le
résultat de cet essai.


Pour mon test, j'ai commencé par configurer K9, puis je l'ai utilisé
durant 5 jours, en corrigeant les règles, et les classements, pour qu'il
apprenne et s'auto-configure.

Ensuite, j'ai débuté le test proprement dit.

Le test a porté sur 5238 messages, sur 6 jours. 352 étaient des messages
légitimes. Le reste (4886) étant du Spam.
J'ai dû classer, manuellement, comme Spam 832 messages.
J'ai dû remettre, comme "bons", 58 messages classés à tort comme Spam
par K9.

Pourtant K9 affiche :
5159 messages traités
1,02 % de faux positifs.
8,8 % de faux négatifs.

Donc, gros doutes sur les statistiques affichées. Notamment les faux
positifs ont l'air d'être calculés relativement au nombre total de
messages, alors qu'il devrait être calculé relativement au nombre de
bons messages.
Par exemple, si vous recevez 98 % de Spam ; si un antiSpam rejette TOUS
les messages, il y a aura 2 % de faux positifs dans un cas, et 100 %
dans l'autre. Du coup, ne rien faire donnerait 98 % de réussite


Pourtant, K9 est un des meilleurs anti-Spam, parmi le petit nombre que
j'ai testés. Cependant, il sera plus utile aux particuliers, ou aux
utilisateurs (très) peu spammés (moins de 200 messages par jour). il
conviendra beaucoup moins aux entreprises, ou au gros utilisateurs de
messagerie.


Conclusion :
K9 ne convient pas à tout le monde. Le limiter, de préférence, aux
utilisateurs capables de comprendre les expressions régulières simples.

Et, j'ai quelques idées, pour améliorer mon anti-spam maison.




Complément : quelques problèmes rencontrés avec K9 :

Pas d'automatisation ; on ne peut pas supprimer les spams
automatiquement, lorsqu'on est en déplacement, par exemple.

Pas de règles différentes selon les comptes. Lorsqu'on gère plusieurs
comptes, il serait intéressant que les listes blanches puissent être
adaptées à chaque compte.

Pas de règles différentes selon les listes (ex. si je met le compte de
ma secrétaire en liste blanche, tout arrive, même si c'est du spam) =>
inefficacité des listes.

La Liste noire contient des comptes pourtant valides (machines zombies).
Voir aussi les problèmes liés à spamhaus.org

Mauvais décodage de certains en-têtes ; du coup, les règles ne sont pas
appliquées.

Règles avec expressions régulières quasi-illisibles, pour des
utilisateurs normaux.

Inefficace contre les spams qui utilisent des sujets pris dans les
listes de diffusion.

Lent : K9 charge tout le contenu de chaque message ; si l'on a 500
messages, cela prend de longues minutes, alors qu'une pré-analyse sur
les seuls en-têtes, avec suppression directement sur le serveur irait
beaucoup plus vite (et c'est prévu avec POP).

Peu efficace contre les sujets (très) courts ; par exemple: étant dans
l'organisation, je m'intéresse au Marathon international des Gorges de
l'Ardèche. Dans la variété des messages reçus, j'ai mis le mot
"marathon" en règle blanche.
Or, je reçois des dizaines de spams n'ayant que ce mot dans le sujet, un
texte court et anodin, et un GIF (ou un Jpeg) contenant le Spam. K9 n'a
aucun moyen de protéger contre ça. (OK, les autres anti-spam non plus).

Très peu efficace contre les spams qui regroupent/mélangent les domaines
de cibles. Par exemple, un spammeur trie sa liste de cibles par
domaines. Pour un domaine précis, par exemple "grosminet.com", il
utilise titi@grosminet.com pour envoyer à toto@grosminet.com (et
inversement).
Certes, ça ne touche quasiment pas les particuliers. Mais les
entreprises, elles, morflent dur, car les noms d'expéditeurs sont
presque toujours en liste blanche. Il faudrait que K9 utilise des règles
spécifiques aux listes blanches