Full metadata record
DC poleHodnotaJazyk
dc.contributor.authorSido, Jakub
dc.contributor.authorPražák, Ondřej
dc.contributor.authorPřibáň, Pavel
dc.contributor.authorPašek, Jan
dc.contributor.authorSeják, Michal
dc.contributor.authorKonopík, Miloslav
dc.date.accessioned2022-03-21T11:00:17Z-
dc.date.available2022-03-21T11:00:17Z-
dc.date.issued2021
dc.identifier.citationSIDO, J. PRAŽÁK, O. PŘIBÁŇ, P. PAŠEK, J. SEJÁK, M. KONOPÍK, M. Czert – Czech BERT-like Model for Language Representation. In Deep Learning for Natural Language Processing Methods and Applications. Shoumen: INCOMA, Ltd., 2021. s. 1326-1338. ISBN: 978-954-452-072-4 , ISSN: 1313-8502cs
dc.identifier.isbn978-954-452-072-4
dc.identifier.issn1313-8502
dc.identifier.uri2-s2.0-85123595825
dc.identifier.urihttp://hdl.handle.net/11025/47190
dc.description.abstractTento článek popisuje proces trénování prvních českých monolinguálních modelů pro reprezentaci jazyka založených na architekturách BERT a ALBERT. Naše modely trénujeme na více než 340 tisících vět, což je 50krát více než u vícejazyčných modelů, které obsahují česká data. Vícejazyčné modely překonáváme na 9 z 11 datových sad. Kromě toho jsme na devíti datasetech dosáhli nových state-of-the-art výsledků. Na závěr porovnáváme výsledky jednojazyčných a vícejazyčných modelů. Všechny předtrénované modely jsou volně dostupné pro další výzkum.cs
dc.format13 s.cs
dc.format.mimetypeapplication/pdf
dc.language.isoenen
dc.publisherINCOMA, Ltd.en
dc.relation.ispartofseriesDeep Learning for Natural Language Processing Methods and Applicationsen
dc.rights© Incoma Ltd.en
dc.subjectBERTcs
dc.subjectjazykový modecs
dc.subjectpředtrénovaný modelcs
dc.subjectčeský jazykcs
dc.titleCzert – Czech BERT-like Model for Language Representationen
dc.title.alternativeCzert – Český BERT-like model pro reprezentaci jazykacs
dc.typekonferenční příspěvekcs
dc.typeConferenceObjecten
dc.rights.accessopenAccessen
dc.type.versionpublishedVersionen
dc.description.abstract-translatedThis paper describes the training process of the first Czech monolingual language representation models based on BERT and ALBERT architectures. We pre-train our models on more than 340K of sentences, which is 50 times more than multilingual models that include Czech data. We outperform the multilingual models on 9 out of 11 datasets. In addition, we establish the new state-of-the-art results on nine datasets. At the end, we discuss properties of monolingual and multilingual models based upon our results. We publish all the pre-trained and fine-tuned models freely for the research community.en
dc.subject.translatedBERTen
dc.subject.translatedlanguage modelingen
dc.subject.translatedpre-trained modelen
dc.subject.translatedCzech languageen
dc.identifier.doi10.26615/978-954-452-072-4_149
dc.type.statusPeer-revieweden
dc.identifier.obd43933618
dc.project.IDSGS-2019-018/Zpracování heterogenních dat a jejich specializované aplikacecs
dc.project.IDEF17_048/0007267/InteCom: VaV inteligentních komponent pokročilých technologií pro plzeňskou metropolitní oblastcs
Vyskytuje se v kolekcích:Konferenční příspěvky / Conference Papers (KIV)
OBD

Soubory připojené k záznamu:
Soubor VelikostFormát 
Přibáň-RANLP-2021-czert.pdf351,92 kBAdobe PDFZobrazit/otevřít
Zobrazit minimální záznam Zobrazit statistiky


Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam: http://hdl.handle.net/11025/47190

Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.

hledání
navigace
  1. DSpace at University of West Bohemia
  2. Publikační činnost / Publications
  3. OBD