haku: @instructor Vehtari, Aki / yhteensä: 19
viite: 1 / 19
« edellinen | seuraava »
| Tekijä: | Kettunen, Jani |
| Työn nimi: | Bayesian Hyperparameter Optimization of Gaze Estimation Neural Networks |
| Bayesialainen hyperparametrioptimointi katseen suuntaa arvioiville neuroverkoille | |
| Julkaisutyyppi: | Diplomityö |
| Julkaisuvuosi: | 2016 |
| Sivut: | 50 s. + liitt. 8 Kieli: eng |
| Koulu/Laitos/Osasto: | Perustieteiden korkeakoulu |
| Oppiaine: | Computer Science (SCI3042) |
| Valvoja: | Vehtari, Aki |
| Ohjaaja: | Vehtari, Aki |
| Elektroninen julkaisu: | http://urn.fi/URN:NBN:fi:aalto-201612226227 |
| Sijainti: | P1 Ark Aalto 6081 | Arkisto |
| Avainsanat: | hyperparameter optimization neural networks gaze estimation dropout hyperparametrioptimointi neuroverkot katseen suunnan tunnistus |
| Tiivistelmä (fin): | Neuroverkkojen suosio on lisääntynyt viimeisen vuosikymmenen aikana. Jotta niitä voitaisiin käyttää tehokkaasti ja saavuttaa hyviä tuloksia, täytyy määritellä useita niin sanottuja hyperparametreja. Viime aikoina Bayesialaisilla menetelmillä on saatu hyviä tuloksia neuroverkkojen hyperparametrien optimoinnissa. Katseen suunnan tunnistus on perinteisesti tehty laboratorio-olosuhteissa tai käyttäen laitteistoa, jota ei ole laajalti saatavilla. Viime aikoina on kuitenkin julkaistu tutkimuksia liittyen katseen suunnan tunnistukseen realistisessa valaistuksessa ja käyttäen laajalti käytössä olevia kameroita. Näiden tuloksien saavuttamisessa on hyödynnetty myös neuroverkkoja, mutta neuroverkkojen hyperparametreja ei ole erikseen optimoitu. Tässä diplomityössä tutkitaan Bayesialaisen menetelmien käyttöä neuroverkkojen hyperparametrien optimointiin ja sovelletaan sitä katseen suunnan tunnistukseen. Tulokset osoittavat, että Bayesialainen hyperparametrioptimointi paransi tuloksia ja paransimme parasta tämänhetkistä tulosta 3 prosentilla. Näytämme kuitenkin myös, että hyperparametrioptimointi jätti parannusvaraa käyttämällä neuroverkko-ensemblea joka paransi tuloksia 6 prosentilla. Yleisemmällä tasolla havaitsimme, että Bayesialainen hyperparametrioptimointi on suhteellisen helppo tapa parantaa verkon suorituskykyä, mutta parhaiden tulosten saaminen vaatii myös ihmisen asiantuntemusta. |
| Tiivistelmä (eng): | Neural networks have seen a surge in usage during the last decade. They involve several hyperparameters which need to be tuned in order to achieve the best performance. Lately Bayesian hyperparameter optimization methods have shown good results on this task. Gaze estimation has traditionally been done in controlled laboratory environments or with equipment not widely available. Lately there have been efforts to bring gaze estimation closer to the real world by creating datasets with realistic lighting and by using commercially mainstream cameras. Neural networks have previously been applied to these datasets, but the network structure has been left unoptimized. This thesis utilizes Bayesian hyperparameter optimization to improve the neural networks previously used for gaze estimation. The results show that Bayesian hyperparameter optimization does improve the previous results, and we improve on the previous best by 3 percent. However, we also show that Bayesian hyperparameter optimization left room for improvement by utilizing neural network ensembles to achieve a 6 percent improvement. More generally, we conclude that utilizing Bayesian hyperparameter optimization is a relatively easy way to increase network performance, but comes with its own caveats. |
| ED: | 2017-01-08 |
INSSI tietueen numero: 55265
+ lisää koriin
« edellinen | seuraava »
INSSI