search query: @keyword approximate integration / total: 1
reference: 1 / 1
« previous | next »
Author: | Pietiläinen, Ville |
Title: | Approximations for Integration over the Hyperparameters in Gaussian Processes |
Gaussisten prosessien hyperparametrien yli integroinnin aproksimointi | |
Publication type: | Master's thesis |
Publication year: | 2010 |
Pages: | xii + 47 Language: eng |
Department/School: | Elektroniikan, tietoliikenteen ja automaation tiedekunta |
Main subject: | Laskennallinen tekniikka (S-114) |
Supervisor: | Lampinen, Jouko |
Instructor: | Vehtari, Aki |
Electronic version URL: | http://urn.fi/URN:NBN:fi:aalto-201203131405 |
OEVS: | Electronic archive copy is available via Aalto Thesis Database.
Instructions Reading digital theses in the closed network of the Aalto University Harald Herlin Learning CentreIn the closed network of Learning Centre you can read digital and digitized theses not available in the open network. The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/ You can read theses on the Learning Centre customer computers, which are available on all floors.
Logging on to the customer computers
Opening a thesis
Reading the thesis
Printing the thesis
|
Location: | P1 Ark Aalto 1288 | Archive |
Keywords: | Bayesian inference Gaussian processes hyperparameters approximate integration Bayesilainen päättely Gaussiset prosessit hyperparametrit integroinnin approksimointi |
Abstract (eng): | This thesis examines three numerical approximations for the analytically intractable integral over the posterior distribution of the hyperparameters in Gaussian processes. The properties of the approximations are studied, and their performance is compared to each other and to a method using a point-estimate. Traditionally the integral over the posterior of the hyperparameters is computed using Markov chain Monte Carlo (MCMC) -methods. However, MCMC methods suffer from a heavy computational burden of Gaussian processes, because the complexity of Gaussian process models grows with the amount of the data used. An alternative approach has been to use only a point estimate for the hyperparameters instead of integrating over their posterior distribution. This is a computationally attractive approach, but it ignores the uncertainty related to the hyperparameters. The approximations discussed in this thesis attempt to take the uncertainty in the hyperparameters into consideration better than does a point estimate method, and to be computationally lighter than MCMC methods. The results demonstrate that the integration over the hyperparameters is beneficial in particular conditions. In addition, it is shown that a point estimate method yields equally accurate results with the integration methods in other situations. The amount of the data and the use of the models determine the need for the integration methods and the determining conditions are discussed in this work. |
Abstract (fin): | Tässä työssä tutkitaan kolmea numeerista menetelmää, jotka approksimoivat integraalia Gaussisten prosessien hyperparametrien posteriorijakauman yli. Tämän integraalin analyyttinen käsittely on usein mahdotonta. Työssä tutkitaan approksimaatioiden ominaisuuksia,ja niiden suorituskykyä verrataan keskenään sekä piste-estimaattia käyttävään menetelmään. Perinteisesti integraali hyperparametrien posteriorin yli on laskettu käyttäen Markovin ketju Monte Carlo (MCMC) -menetelmiä. MCMC-menetelmät kuitenkin kärsivät Gaussisten prosessien laskennan raskaudesta, sillä Gaussisten prosessien kompleksisuus kasvaa käytettävän datan kasvaessa. Yksi vaihtoehtoinen menetelmä on käyttää piste-estimaattia hyperparametrien posteriorijakauman yli integroimisen sijaan. Tämä on laskennallisesti nopea tapa, mutta se jättää huomioimatta hyperparametreihin liittyvän epävarmuuden. Tässä työssä esitetyt approksimaatiot pyrkivät ottamaan huomioon hyperparametrien epävarmuuden piste-estimaattia paremmin, mutta kuitenkin pysymään laskennallisesti kevyempinä kuin MCMC-menetelmät. Työn tulokset osoittavat että hyperparametrien posteriorin yli integroiminen on hyödyllistä tietyissä olosuhteissa. Lisäksi näytetään että pisteestimaatti tuottaa integrointimenetelmien kanssa yhtä tarkkoja tuloksia joissain tilanteissa. Käytettävän datan määrä ja mallien käyttötarkoitus vaikuttavat integrointimenetelmien tarpeellisuuteen, ja työssä tarkastellaan näitä olosuhteita. |
ED: | 2010-03-17 |
INSSI record number: 39204
+ add basket
« previous | next »
INSSI