search query: @author Tornio, Matti / total: 1
results-list
reference: 1 / 1
« previous | next »
Author:Tornio, Matti
Title:Natural gradient for variational Bayesian learning
Luonnollinen gradientti variaatio-Bayes-oppimisessa
Publication type:Master's thesis
Publication year:2010
Pages:65 s.      Language:   eng
Department/School:Informaatio- ja luonnontieteiden tiedekunta
Main subject:Informaatiotekniikka   (T-61)
Supervisor:Karhunen, Juha
Instructor:Honkela, Antti
Electronic version URL: http://urn.fi/URN:NBN:fi:aalto-201203131536
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions
close

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark Aalto     | Archive
Keywords:machine learning
natural gradient
Riemannian conjugate gradient
nonlinear state-space models
variational Bayes
koneoppiminen
luonnollinen gradientti
Riemannin konjugaattigradientti
epälineaariset tila-avaruusmallit
variaatio-Bayes-menetelmä
Abstract (eng): Probabilistic models play a very important role in machine learning, and the efficient learning of such models is a very important problem.
Unfortunately, the exact statistical treatment of probabilistic models is often impossible and therefore various approximations have to be used.
One such approximation is given by variational Bayesian (VB) learning which uses another distribution to approximate the true posterior distribution and tries to minimise the misfit between the two distributions.

Many different optimisation algorithms can be used for variational Bayesian learning.
This thesis concentrates on gradient based optimisation algorithms.
Most of these algorithms suffer from one significant shortcoming, however.
Typically these methods assume that the geometry of the problem space is flat, whereas in reality the space is a curved Riemannian manifold.
Natural-gradient-based optimisation algorithms take this property into account, and can often result in significant speedups compared to traditional optimisation methods.
One particularly powerful and relatively simple algorithm can be derived by extending conjugate gradient to Riemannian manifolds.
The resulting algorithm is known as Riemannian conjugate gradient.

This thesis presents an efficient Riemannian conjugate gradient algorithm for learning probabilistic models where variational approximation is used.
Nonlinear state-space models are used as a case study, and results from experiments with both synthetic and real-world data sets are presented.
The results demonstrate that the proposed algorithm provides significant performance gains over the other compared methods.
Abstract (fin): Todennäköisyysmalleilla on hyvin tärkeä asema koneoppimisessa, ja näiden mallien tehokas oppiminen on tärkeä ongelma.
Valitettavasti näiden mallien matemaattinen käsittely suoraan on usein mahdotonta, ja mallien oppimisessa joudutaankin turvautumaan erilaisiin approksimaatioihin.
Eräs tällainen approksimaatio on variaatiol3ayes-menetelmä, jossa todellista posteriorijakaumaa approksimoidaan toisella jakaumalla ja näiden kahden jakauman välistä eroa pyritään minimoimaan.

Variaatio-Bayes-oppimisessa voidaan käyttää monia eri optimointialgoritmeja.
Tässä työssä keskitytään gradienttipohjaisiin algoritmeihin.
Näillä algoritmeilla on kuitenkin tyypillisesti yksi heikkous.
Yleensä nämä menetelmät olettavat, että avaruus, jossa funktiota optimoidaan, on geometrialtaan euklidinen.
Tilastollisissa malleissa tämä ei usein pidä paikkaansa, vaan avaruus on todellisuudessa Riemannin monisto.
Luonnolliseen gradienttiin pohjautuvat optimointialgoritmit ottavat tämän geometrisen ominaisuuden huomioon ja ovat usein huomattavasti nopeampia kuin perinteiset optimointialgoritmit.
Eräs tehokas ja suhteellisen yksinkertainen menetelmä saadaan yleistämällä konjugaattigradienttialgoritmi Riemannin monistoille.
Näin saatua menetelmää kutsutaan Riemannin konjugaattigradientiksi.

Tässä työssä esitellään tehokas Riemannin konjugaattigradienttialgoritmi variaatio-Bayes-menetelmää käyttävien tilastollisten mallien oppimiseen.
Esimerkkiongelmana käytetään epälineaarisia tila-avaruusmalleja, joita käytetään sekä keinotekoisten että todellisten data-aineistojen oppimiseen.
Näistä kokeista saadut tulokset osoittavat että esitelty algoritmi on huomattavasti tehokkaampi kuin muut vertailussa käytetyt perinteisemmät algoritmit.
ED:2010-09-02
INSSI record number: 40378
+ add basket
« previous | next »
INSSI