haku: @keyword deep learning / yhteensä: 9
hakutulos-lista
viite: 9 / 9
« edellinen | seuraava »
Tekijä:Cho, KyungHyun
Työn nimi:Improved learning algorithms for restricted Boltzmann machines
Julkaisutyyppi:Diplomityö
Julkaisuvuosi:2011
Sivut:xii + 78 s. + liitt. 6      Kieli:   eng
Koulu/Laitos/Osasto:Tietotekniikan laitos
Oppiaine:Informaatiotekniikka   (T-61)
Valvoja:Karhunen, Juha
Ohjaaja:Ilin, Alexander ; Raiko, Tapani
Elektroninen julkaisu: http://urn.fi/URN:NBN:fi:aalto-201207022632
OEVS:
Sähköinen arkistokappale on luettavissa Aalto Thesis Databasen kautta.
Ohje
sulje

Digitaalisten opinnäytteiden lukeminen Aalto-yliopiston Harald Herlin -oppimiskeskuksen suljetussa verkossa

Oppimiskeskuksen suljetussa verkossa voi lukea sellaisia digitaalisia ja digitoituja opinnäytteitä, joille ei ole saatu julkaisulupaa avoimessa verkossa.

Oppimiskeskuksen yhteystiedot ja aukioloajat: https://learningcentre.aalto.fi/fi/harald-herlin-oppimiskeskus/

Opinnäytteitä voi lukea Oppimiskeskuksen asiakaskoneilla, joita löytyy kaikista kerroksista.

Kirjautuminen asiakaskoneille

  • Aalto-yliopistolaiset kirjautuvat asiakaskoneille Aalto-tunnuksella ja salasanalla.
  • Muut asiakkaat kirjautuvat asiakaskoneille yhteistunnuksilla.

Opinnäytteen avaaminen

  • Asiakaskoneiden työpöydältä löytyy kuvake:

    Aalto Thesis Database

  • Kuvaketta klikkaamalla pääset hakemaan ja avaamaan etsimäsi opinnäytteen Aaltodoc-tietokannasta. Opinnäytetiedosto löytyy klikkaamalla viitetietojen OEV- tai OEVS-kentän linkkiä.

Opinnäytteen lukeminen

  • Opinnäytettä voi lukea asiakaskoneen ruudulta tai sen voi tulostaa paperille.
  • Opinnäytetiedostoa ei voi tallentaa muistitikulle tai lähettää sähköpostilla.
  • Opinnäytetiedoston sisältöä ei voi kopioida.
  • Opinnäytetiedostoa ei voi muokata.

Opinnäytteen tulostus

  • Opinnäytteen voi tulostaa itselleen henkilökohtaiseen opiskelu- ja tutkimuskäyttöön.
  • Aalto-yliopiston opiskelijat ja henkilökunta voivat tulostaa mustavalkotulosteita Oppimiskeskuksen SecurePrint-laitteille, kun tietokoneelle kirjaudutaan omilla Aalto-tunnuksilla. Väritulostus on mahdollista asiakaspalvelupisteen tulostimelle u90203-psc3. Väritulostaminen on maksullista Aalto-yliopiston opiskelijoille ja henkilökunnalle.
  • Ulkopuoliset asiakkaat voivat tulostaa mustavalko- ja väritulosteita Oppimiskeskuksen asiakaspalvelupisteen tulostimelle u90203-psc3. Tulostaminen on maksullista.
Sijainti:P1 Ark Aalto  7070   | Arkisto
Avainsanat:Boltzmann machine
restricted Boltzmann machine
annealed importance sampling
paraller tempering
enhanced gradient
adaptive learning rate
Gaussian-Bernoulli restricted Boltzmann machine
deep learning
Tiivistelmä (eng): A restricted Boltzmann machine (RBM) is often used as a building block for constructing deep neural networks and deep generative models which have gained popularity recently as one way to learn complex and large probabilistic models.
In these deep models, it is generally known that the layer-wise pretraining of RBMs facilitates finding a more accurate model for the data.
It is, hence, important to have an efficient learning method for RBM.

The conventional learning is mostly performed using the stochastic gradients, often, with the approximate method such as contrastive divergence (CD) learning to overcome the computational difficulty.
Unfortunately, training RBMs with this approach is known to be difficult, as learning easily diverges after initial convergence.
This difficulty has been reported recently by many researchers.

This thesis contributes important improvements that address the difficulty of training RBMs.

Based on an advanced Markov-Chain Monte-Carlo sampling method called parallel tempering (PT), the thesis proposes a PT learning which can replace CD learning.
In terms of both the learning performance and the computational overhead, PT learning is shown to be superior to CD learning through various experiments.
The thesis also tackles the problem of choosing the right learning parameter by proposing a new algorithm, the adaptive learning rate, which is able to automatically choose the right learning rate during learning.

A closer observation into the update rules suggested that learning by the traditional update rules is easily distracted depending on the representation of data sets.
Based on this observation, the thesis proposes a new set of gradient update rules that are more robust to the representation of training data sets and the learning parameters.
Extensive experiments on various data sets confirmed that the proposed rules indeed improve learning significantly.

Additionally, a Gaussian-Bernoulli RBM (GBRBM) which is a variant of an RBM that can learn continuous real-valued data sets is reviewed, and the proposed improvements are tested upon it.
The experiments showed that the improvements could also be made for GBRBMs.
ED:2011-05-05
INSSI tietueen numero: 41637
+ lisää koriin
« edellinen | seuraava »
INSSI