Název:	Transfer Learning of Transformers for Spoken Language Understanding
Autoři:	Švec, Jan Frémund, Adam Bulín, Martin Lehečka, Jan
Citace zdrojového dokumentu:	ŠVEC, J. FRÉMUND, A. BULÍN, M. LEHEČKA, J. Transfer Learning of Transformers for Spoken Language Understanding. In Text, Speech, and Dialogue 25th International Conference, TSD 2022, Brno, Czech Republic, September 6–9, 2022, Proceedings. Cham: Springer International Publishing, 2022. s. 489-500. ISBN: 978-3-031-16269-5 , ISSN: 0302-9743
Datum vydání:	2022
Nakladatel:	Springer International Publishing
Typ dokumentu:	konferenční příspěvek ConferenceObject
URI:	2-s2.0-85139041956 http://hdl.handle.net/11025/50928
ISBN:	978-3-031-16269-5
ISSN:	0302-9743
Klíčová slova v dalším jazyce:	Wav2Vec model;Speech recognition;T5 model;Spoken language understanding
Abstrakt v dalším jazyce:	Pre-trained models used in the transfer-learning scenario are recently becoming very popular. Such models benefit from the availability of large sets of unlabeled data. Two kinds of such models include the Wav2Vec 2.0 speech recognizer and T5 text-to-text transformer. In this paper, we describe a novel application of such models for dialog systems, where both the speech recognizer and the spoken language understanding modules are represented as Transformer models. Such composition outperforms the baseline based on the DNN-HMM speech recognizer and CNN understanding.
Práva:	Plný text je přístupný v rámci univerzity přihlášeným uživatelům. © Springer Nature Switzerland AG
Vyskytuje se v kolekcích:	Konferenční příspěvky / Conference papers (NTIS) Konferenční příspěvky / Conference Papers (KKY) OBD

Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.