search query: @keyword speech quality / total: 10
results-list
reference: 3 / 10
« previous | next »
Author:Tirronen, Silja
Title:Automated Testing of Speech-to-Speech Machine Translation in Telecom Networks
Puhemuotoisten konekäännösten automatisoitu testaus tietoliikenneverkoissa
Publication type:Master's thesis
Publication year:2011
Pages:viii + 64      Language:   eng
Department/School:Signaalinkäsittelyn ja akustiikan laitos
Main subject:Akustiikka ja äänenkäsittelytekniikka   (S-89)
Supervisor:Alku, Paavo
Instructor:Jungner, Peter
Electronic version URL: http://urn.fi/URN:NBN:fi:aalto-201207022631
OEVS:
Electronic archive copy is available via Aalto Thesis Database.
Instructions
close

Reading digital theses in the closed network of the Aalto University Harald Herlin Learning Centre

In the closed network of Learning Centre you can read digital and digitized theses not available in the open network.

The Learning Centre contact details and opening hours: https://learningcentre.aalto.fi/en/harald-herlin-learning-centre/

You can read theses on the Learning Centre customer computers, which are available on all floors.

Logging on to the customer computers

  • Aalto University staff members log on to the customer computer using the Aalto username and password.
  • Other customers log on using a shared username and password.

Opening a thesis

  • On the desktop of the customer computers, you will find an icon titled:

    Aalto Thesis Database

  • Click on the icon to search for and open the thesis you are looking for from Aaltodoc database. You can find the thesis file by clicking the link on the OEV or OEVS field.

Reading the thesis

  • You can either print the thesis or read it on the customer computer screen.
  • You cannot save the thesis file on a flash drive or email it.
  • You cannot copy text or images from the file.
  • You cannot edit the file.

Printing the thesis

  • You can print the thesis for your personal study or research use.
  • Aalto University students and staff members may print black-and-white prints on the PrintingPoint devices when using the computer with personal Aalto username and password. Color printing is possible using the printer u90203-psc3, which is located near the customer service. Color printing is subject to a charge to Aalto University students and staff members.
  • Other customers can use the printer u90203-psc3. All printing is subject to a charge to non-University members.
Location:P1 Ark Aalto  1512   | Archive
Keywords:natural language processing
automatic speech recognition
speech synthesis
machine translation
translational equivalence
user-plane verification
speech quality
luonnollisten kielten prosessointi
automaattinen puheentunnistus
puhesynteesi
konekäännös
käännösekvivalenssi
käyttäjätason testaus
puheenlaatu
Abstract (eng): In the globalizing world, the ability to communicate over language barriers is increasingly important.
Learning languages is laborious, which is why there is a strong desire to develop automatic machine translation applications.
Ericsson has developed a speech-to-speech translation prototype called the Real-Time Interpretation System (RTIS).
The service runs in a mobile network and translates travel phrases between two languages in speech format.

The state-of-the-art machine translation systems suffer from a relatively poor performance and therefore evaluation plays a big role in machine translation development.
The purpose of evaluation is to ensure the system preserves the translational equivalence, and in case of a speech-to-speech system, the speech quality.
The evaluation is most reliably done by human judges.
However, human-conducted evaluation is costly and subjective.

In this thesis, a test environment for Ericsson Real-Time Interpretation System prototype is designed and analyzed.
The goals are to investigate if the RTIS verification can be conducted automatically, and if the test environment can truthfully measure the end-to-end performance of the system.

The results conclude that methods used in end-to-end speech quality verification in mobile networks can not be optimally adapted for machine translation evaluation.
With current knowledge, human-conducted evaluation is the only method that can truthfully measure translational equivalence and the speech intelligibility.
Automating machine translation evaluation needs further research, until which human-conducted evaluation should remain the preferred method in RTIS verification.
Abstract (fin): Globalisoituvassa maailmassa kyky kommunikoida kielimuurien yli käy yhä tärkeämmäksi.
Kielten opiskelu on työlästä ja siksi halutaan kehittää automaattisia konekäännösjärjestelmiä.
Ericsson on kehittänyt prototyypin nimeltä Real-Time Interpretation System (RTIS), joka toimii mobiiliverkossa ja kääntää matkailuun liittyviä fraaseja puhemuodossa kahden kielen välillä.

Nykyisten konekäännösjärjestelmien suorituskyky on suhteellisen huono ja siksi testauksella on suuri merkitys järjestelmien suunnittelussa.
Testauksen tarkoituksena on varmistaa, että järjestelmä säilyttää käännösekvivalenssin sekä puhekäännösjärjestelmän tapauksessa myös riittävän puheenlaadun.
Luotettavimmin testaus voidaan suorittaa ihmisten antamiin arviointeihin perustuen, mutta tällaisen testauksen kustannukset ovat suuria ja tulokset subjektiivisia.

Tässä työssä suunniteltiin ja analysoitiin automatisoitu testiympäristö Real-Time Interpretation System -käännösprototyypille.
Tavoitteina oli tutkia, voidaanko testaus suorittaa automatisoidusti ja pystytäänkö todellinen, käyttäjän havaitsema käännösten laatu mittaamaan automatisoidun testauksen keinoin.

Tulokset osoittavat että mobiiliverkoissa puheenlaadun testaukseen käytetyt menetelmät eivät ole optimaalisesti sovellettavissa konekäännösten testaukseen.
Nykytuntemuksen mukaan ihmisten suorittama arviointi on ainoa luotettava tapa mitata käännösekvivalenssia ja puheen ymmärrettävyyttä.
Konekäännösten testauksen automatisointi vaatii lisää tutkimusta, jota ennen subjektiivinen arviointi tulisi säilyttää ensisijaisena testausmenetelmänä RTIS-testauksessa.
ED:2011-04-26
INSSI record number: 41607
+ add basket
« previous | next »
INSSI