haku: @instructor Vehtari, Aki / yhteensä: 19
viite: 2 / 19
| Tekijä: | Sivula, Tuomas |
| Työn nimi: | Distributed Bayesian inference using expectation propagation |
| Hajautettu bayesilainen mallintaminen välittämällä odotusarvoa | |
| Julkaisutyyppi: | Diplomityö |
| Julkaisuvuosi: | 2015 |
| Sivut: | 75 s. + liitt. 6 Kieli: eng |
| Koulu/Laitos/Osasto: | Perustieteiden korkeakoulu |
| Oppiaine: | Laskennallinen tiede (IL3001) |
| Valvoja: | Vehtari, Aki |
| Ohjaaja: | Vehtari, Aki |
| Elektroninen julkaisu: | http://urn.fi/URN:NBN:fi:aalto-201505142686 |
| Sijainti: | P1 Ark Aalto 2781 | Arkisto |
| Avainsanat: | bayes EP distributed MCMC stan datan ositus rinnakkainen hierarkkinen |
| Tiivistelmä (fin): | Tämä diplomityö käsittelee odotusarvon välittämismenetelmän (expectation propagation, EP) soveltamista hajautettuun bayesilaiseen mallintamiseen. Työssä esitetään menetelmän yleinen toimintaperiaate ja yksityiskohtaisempi toteutus normaalijakauma-approksimaatiolle. Lisäksi työssä tutkitaan menetelmän soveltuvuutta hierarkkisiin todennäköisyysmalleihin. Tutkittavaan menetelmään perehdytään työssä lähdeaineiston pohjalta analysoiden. Lisäksi sovellettua menetelmää testataan simuloiduissa hierarkkisissa testitilanteissa. Erilaisia hajautettuja menetelmiä, joilla sovitetaan suuria datajoukkoja todennäköisyysmalleihin, on kehitetty viimeaikoina. Niille kaikille on kuitenkin yhteistä se, että kukin datajoukon osa käsitellään erikseen muista riippumattomasti. EP-menetelmässä osia käsitellään iteroiden ja viestin välitys -ominaisuus jakaa keskeistä informaatiota osien välillä. Aikaisemmin EP-menetelmässä käsiteltävä datajoukko on jaettu tyypillisesti pisteittäin. Jakamalla datajoukko suurempiin osiin, saadaan menetelmää hyödynnettyä monipuolisemmin. Hierarkkisissa malleissa on hyödyllistä jakaa datajoukko ryhmittäin. Hajautettu EP-menetelmä osoittautui simuloiduissa testitilanteissa toimivaksi. Tuloksista on havaittavissa, että datajoukon osituksen osien lukumäärän kasvattaminen kasvattaa approksimaation virhettä. Lisäksi on ilmeistä, että menetelmässä on myös muita virhelähteitä, joiden vaikutuksesta algoritmin konvergoituminen voi estyä. Menetelmän virhelähteiden arviointi ja vertailu muihin vastaaviin menetelmiin vaativat lisätutkimuksia. |
| Tiivistelmä (eng): | This thesis studies, how expectation propagation (EP) can be used in distributed Bayesian inference. The method is discussed in general level and an implementation using normal approximation is presented. In addition, the method is considered in the context of hierarchical probability models. The EP method is analysed based on source literature. In addition, the method is tested in several simulated hierarchical experiments. Various methods for distributed Bayesian inference has been developed recently. However, they all perform the inference for each part of the data set independently. In EP, the parts are processed in iterative fashion and the message passing feature distributes the essential information between the parts. Previously in the EP methods, the data set has usually been factorised pointwise. By distributing the data set into bigger groups, the method can be utilised more versatilely. In hierarchical models, it is beneficial to partition the data set among the hierarchical groups. The experiments show that the method can produce good results. It can be seen from the results that increasing the number of distributed groups increase the approximation error. In addition, it can be seen that other sources of error affect the results and can prevent the algorithm from converging. Further research is required for the analysis of the approximation error. In addition, the method should be compared to other distributed Bayesian inference methods. |
| ED: | 2015-05-24 |
INSSI tietueen numero: 51338
+ lisää koriin
INSSI