search query: @keyword Bayesian inference / total: 19
results-list
reference: 6 / 19
« previous | next »
Author:Pietiläinen, Ville
Title:Approximations for Integration over the Hyperparameters in Gaussian Processes
Gaussisten prosessien hyperparametrien yli integroinnin aproksimointi
Publication type:Master's thesis
Publication year:2010
Pages:xii + 47      Language:   eng
Department/School:Elektroniikan, tietoliikenteen ja automaation tiedekunta
Main subject:Laskennallinen tekniikka   (S-114)
Supervisor:Lampinen, Jouko
Instructor:Vehtari, Aki
Electronic version URL: http://urn.fi/URN:NBN:fi:aalto-201203131405
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions
close

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark Aalto  1288   | Archive
Keywords:Bayesian inference
Gaussian processes
hyperparameters
approximate integration
Bayesilainen päättely
Gaussiset prosessit
hyperparametrit
integroinnin approksimointi
Abstract (eng): This thesis examines three numerical approximations for the analytically intractable integral over the posterior distribution of the hyperparameters in Gaussian processes.
The properties of the approximations are studied, and their performance is compared to each other and to a method using a point-estimate.

Traditionally the integral over the posterior of the hyperparameters is computed using Markov chain Monte Carlo (MCMC) -methods.
However, MCMC methods suffer from a heavy computational burden of Gaussian processes, because the complexity of Gaussian process models grows with the amount of the data used.
An alternative approach has been to use only a point estimate for the hyperparameters instead of integrating over their posterior distribution.
This is a computationally attractive approach, but it ignores the uncertainty related to the hyperparameters.

The approximations discussed in this thesis attempt to take the uncertainty in the hyperparameters into consideration better than does a point estimate method, and to be computationally lighter than MCMC methods.
The results demonstrate that the integration over the hyperparameters is beneficial in particular conditions.
In addition, it is shown that a point estimate method yields equally accurate results with the integration methods in other situations.
The amount of the data and the use of the models determine the need for the integration methods and the determining conditions are discussed in this work.
Abstract (fin): Tässä työssä tutkitaan kolmea numeerista menetelmää, jotka approksimoivat integraalia Gaussisten prosessien hyperparametrien posteriorijakauman yli.
Tämän integraalin analyyttinen käsittely on usein mahdotonta.
Työssä tutkitaan approksimaatioiden ominaisuuksia,ja niiden suorituskykyä verrataan keskenään sekä piste-estimaattia käyttävään menetelmään.

Perinteisesti integraali hyperparametrien posteriorin yli on laskettu käyttäen Markovin ketju Monte Carlo (MCMC) -menetelmiä.
MCMC-menetelmät kuitenkin kärsivät Gaussisten prosessien laskennan raskaudesta, sillä Gaussisten prosessien kompleksisuus kasvaa käytettävän datan kasvaessa.
Yksi vaihtoehtoinen menetelmä on käyttää piste-estimaattia hyperparametrien posteriorijakauman yli integroimisen sijaan.
Tämä on laskennallisesti nopea tapa, mutta se jättää huomioimatta hyperparametreihin liittyvän epävarmuuden.

Tässä työssä esitetyt approksimaatiot pyrkivät ottamaan huomioon hyperparametrien epävarmuuden piste-estimaattia paremmin, mutta kuitenkin pysymään laskennallisesti kevyempinä kuin MCMC-menetelmät.
Työn tulokset osoittavat että hyperparametrien posteriorin yli integroiminen on hyödyllistä tietyissä olosuhteissa.
Lisäksi näytetään että pisteestimaatti tuottaa integrointimenetelmien kanssa yhtä tarkkoja tuloksia joissain tilanteissa.
Käytettävän datan määrä ja mallien käyttötarkoitus vaikuttavat integrointimenetelmien tarpeellisuuteen, ja työssä tarkastellaan näitä olosuhteita.
ED:2010-03-17
INSSI record number: 39204
+ add basket
« previous | next »
INSSI