search query: @keyword asiakirjojen klusterointi / total: 1
reference: 1 / 1
« previous | next »
Author: | Mettälä, Markus |
Title: | Intelligent RSS tool |
Älykäs RSS työkalu | |
Publication type: | Master's thesis |
Publication year: | 2013 |
Pages: | viii + 83 Language: eng |
Department/School: | Perustieteiden korkeakoulu |
Main subject: | Informaatiotekniikka (T-61) |
Supervisor: | Gionis, Aristides |
Instructor: | Béjar, Javier |
OEVS: | Electronic archive copy is available via Aalto Thesis Database.
Instructions Reading digital theses in the closed network of the Aalto University Harald Herlin Learning CentreIn the closed network of Learning Centre you can read digital and digitized theses not available in the open network. The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/ You can read theses on the Learning Centre customer computers, which are available on all floors.
Logging on to the customer computers
Opening a thesis
Reading the thesis
Printing the thesis
|
Location: | P1 Ark Aalto | Archive |
Keywords: | document clustering recommendation system text classification vector space distance measures shallow ontologies RSS asiakirjojen klusterointi suositusjärjestelmä tekstimuotoisen informaation luokittelu vektorien etäisyydet matalat ontologiat |
Abstract (eng): | Easy access to a wide range of information available online enables people to explore this information with an ambition to explore interesting content even more. This opportunity often leads to a problem of finding interesting and relevant information from the sea of knowledge. This problem is often referred to as the information overload problem, which is getting harder and harder to deal with as the amount of information available online grows. In this thesis, one source of information is exploited and organized in such a way that the task of discovering new content is made easier. We use Really Simple Syndication (RSS) as our source of information and two methods to categorize it: document clustering with K-Means and Latent Dirichlet Allocation (LDA). We use the textual information that the RSS contains, each RSS feed usually contains a specific set of topics. Our first goal is to perform document clustering to the data, in order to generate meaningful clusters with the help of natural language processing (NLP) techniques to pre-process the data. Our second goal is to analyse the clustered RSS feeds and exploit the similarities between the documents to generate meaningful user models based on user feed subscriptions. The third goal is to provide relevant recommendations based on the user models we have learned. We combine the current state-of-the-art methods and present novel methods to compare feeds. We exploit WordNet shallow ontologies in our novel method to create generalized representations of the feeds. The final goal is to develop a functional application that can leverage the methods we developed with the help of machine learning libraries. The method we propose is a combination of document clustering techniques, text similarity, feed modelling and recommendation system. The results of our experiments show that K-Means clustered documents combined with recommendations based on the feed contents yield the best results. Using WordNet to measure the similarity of words provides also promising results. Further exploring the advantages of using semantic similarities would be an interesting research topic in the document similarity measures. |
Abstract (fin): | Helposti saatavilla oleva laaja valikoima tietoa internetsivustoilla mahdollistaa tämän tiedon tutkimisen toiveena löytää mielenkiintoista sisältöä. Tämä usein johtaa ongelmaan, jota kutsutaan tietotulvaksi, joka kasvaa kokoajan suuremmaksi ongelmaksi tietomäärän kasvaessa internetsivustoilla. Työssä käytetään Really Simple Syndication (RSS) syötteitä aineistona ja kahta menetelmää syötteiden kategorisointiin: dokumenttien ryhmittelyä K-keskiarvo (K-Means) ja latenttia Dirichlet allokaatiota (LDA) käyttämällä. Hyödynnämme RSS:n sisältämää tekstimuotoista informaatiota, joka on usein syötekohtaisesti yhdestä tai useammasta aihealueesta koostuvaa. Työn ensimmäinen tavoite on ryhmitellä dokumentit mielekkäisiin ryhmiin esikäsittelemällä aineisto luonnollisen kielen prosessoinnin (NLP) metodein. Toinen tavoite työssä on analysoida ryhmiteltyjen dokumenttien tulokset ja hyödyntää dokumenttien välisiä yhteneväisyyksiä luodaksemme mielekkäitä käyttäjämalleja, jotka perustuvat käyttäjien tilaamiin syötteisiin. Kolmas tavoite työssä on tarjota asiaankuuluvia suosituksia, jotka perustuvat luotuihin käyttäjämälleihin. Me käytämme uusimpia menetelmiä ja esittelemme uuden menetelmän, jota hyödynnämme syötteiden suosittelussa. Me hyödynnämme WordNet aineistoa uudessa menetelmässämme ja muunnamme dokumentit yleistettyihin malleihin dokumenteista. Viimeisenä tavoitteena työssä on kehittää toimiva ohjelmisto, joka hyödyntää kehittämiämme menetelmiä, sekä uusimpia kirjastoja koneoppimisen saralta. Esittelemämme menetelmä hyödyntää dokumenttien ryhmittelyä, tekstin samankaltaisuutta, syötteen mallintamista ja suositus järjestelmiä. Kokeellisten tulosten perusteella K-keskiarvo menetelmällä ryhmiteltyjen dokumenttien ja syötteiden sisältämiin informaation avulla saavutamme parhaat tulokset. Myös WordNet aineiston käyttäminen syötteiden otsikoiden samankaltaisuuden mittaamiseen tuottaa lupaavia tuloksia. Dokumenttien semanttisen samankaltaisuuden hyödyntäminen vaikuttaa lupaavalta jatkotutkimusaiheelta. |
ED: | 2014-01-07 |
INSSI record number: 48295
+ add basket
« previous | next »
INSSI