search query: @keyword itseorganisoituvat kartat / total: 2
results-list
reference: 1 / 2
« previous | next »
Author:Voipio, Mikko
Title:On feature selection for electronic mail filtering using self-organizing maps
Publication type:Licentiate thesis
Publication year:2010
Pages:(11) + 76 s. + liitt.55      Language:   eng
Department/School:Tietotekniikan laitos
Main subject:Tietokoneverkot   (T-110)
Supervisor:Aura, Tuomas
Instructor:
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions
close

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark Aalto  6913   | Archive
Keywords:unsolicited bulk e-mail
adaptive filtering
self organizing maps
spam filtering
roskapostisuodatus
adaptiivinen suodatus
itseorganisoituvat kartat
roskaposti
Abstract (eng): In this thesis we present a method for efficient feature selection in local filtering of unsolicited bulk e-mail (UBE,commonly called "spam").
We noticed that for some header fields, such as addresses, comparing values of multiple fields with each other provides more information about the message type than using single fields alone; that is, the relations between the fields are more informative than the absolute values.
We host a set of UBE indicators based on the test results.
However, we noticed that the list of indicators changed slightly both over time and between mailboxes.
The conclusion is, therefore, that the feature set should be selected dynamically using an adaptive feature selection method.

The validity of the indicator list was tested using a state-of-the-art open source filtering system, SpamAssassin.
SpamAssassin system uses both exhaustive heuristics and a Bayesian filter, which is the most widely, used adaptive UBE filtering method.
We test the performance of SpamAssassin with and without the feature selection code implementing our indicator set.
The results show slight improvement in classification performance when the augmented feature selection code was used.

Additionally, we present a novel adaptive filtering method called MailSOM.
It is based on the self-organizing map algorithm.
We build a feasibility test system and evaluate it with an existing test corpus called SpamBase.
The results are then compared to four other commonly used algorithms: Naïve Bayesian, C4.5, Part and k-NearestNeighbours (5NN).
MailSOM had significantly better precision than e.g.
Naive Bayesian.
Taking into account MailSOM's ability to dynamically adapt to the evolution of UBEs, it appears a promising new approach to UBE filtering.

The performance of different adaptive methods themselves does not differ greatly.
It is agreed in literature and in this thesis that, from the filtering accuracy point of view, the feature selection is now even more important than the filtering method itself.
The methods presented in this thesis are thus a step towards better accuracy in UBE filtering.
Abstract (fin): Tässä työssä esitämme tehokkaan piirrevalintamenetelmän (feature selection method) paikallista roskapostin suodatusta varten.
Olemme huomanneet, että eräiden sähköpostin otsikkokenttien, kuten osoitekenttien arvojen keskinäinen vertailu tarjoaa enemmän tietoa viestin luonteesta kuin yksittäisten kenttien arvot.
Saamiemme tulosten perusteella esitämme työssä listan roskaposti-indikaattoreita.
Huomasimme kuitenkin, että indikaattorilista muuttui hieman ajan ja tutkittavien postilaatikoiden mukaan.
Tämän johdosta päätelmä onkin, että piirrejoukko (feature set) on syytä valita dynaamisesti käyttäen adaptiivista piirrevalintamenetelmää.

Indikaattorilistan oikeellisuus testattiin parhaalla saatavissa olevalla avoimen lähdekoodin suodatinjärjestelmällä, SpamAssassinilla.
Se hyödyntää sekä monipuolista heuristiikkajoukkoa että Bayesialaista algoritmia, joka on yleisimmin käytetty adaptiivinen roskapostisuodatusmenetelmä.
Testasimme SpamAssassinin suodatustarkkuutta sekä sellaisenaan että lisättynä indikaattorilistaamme perustuvalla Bayesialisen suotimen piirrevalinnalla.
Tuloksissa on nähtävissä lievää parannusta käytettäessä indikaattoreihimme perustuvaa piirrevalintaa.

Lisäksi esitämme uuden adaptiivisen suodatusmenetelmän nimeltä MailSOM.
Se perustuu itseorganisoituvaan karttaan.
Toteutimme koejärjestelmän ja testasimme sitä olemassa olevalla testijoukolla nimeltä SpamBase.
Saatuja mittaustuloksia verrattiin neljään muuhun adaptiiviseen menetelmään: Bayesialaiseen, C4.5:een, Part:iin ja k-NearestNeighbour:iin (erityisesti 5NN).
MailSOM:n tarkkuus (precision) oli mm Bayesialaista algoritmia parempi.
Otettaessa huomioon MailSOM:in kyky dynaamisesti mukautua roskapostien kehitykseen, MailSOM vaikuttaa lupaavalta roskapostisuodatusmenetelmältä.

Eri adaptiivisten menetelmien suorituskyky ei enää nykyään eroa paljonkaan toisistaan.
Kirjallisuudessa, kuten myös tässä työssä, ollaan varsin vakuuttuneita siitä, että suodatustarkkuuden kannalta piirrevalita on jopa tärkeämpi kuin menetelmä itse.
Tässä työssä esitetyt menetelmät ovatkin siten askel roskapostin suodatuksen parempaan tarkkuuteen
ED:2010-06-01
INSSI record number: 39691
+ add basket
« previous | next »
INSSI