| Název: | Distribuční sémantika v jazykovém modelování |
| Další názvy: | Distributional Semantics in Language Modeling |
| Autoři: | Brychcín, Tomáš |
| Vedoucí práce/školitel: | Mouček, Roman |
| Datum vydání: | 2015 |
| Nakladatel: | Západočeská univerzita v Plzni |
| Typ dokumentu: | disertační práce |
| URI: | http://hdl.handle.net/11025/20648 |
| Klíčová slova: | jazykový model;distribuční sémantika;flektivní jazyky |
| Klíčová slova v dalším jazyce: | language model;distributional semantics;inflectional languages |
| Abstrakt: | Jazykové modely jsou důležitou součástí mnoha úloh ve zpracování přirozeného jazyka a n-gramy jsou pravděpodobně nejlepší způsob jak je vytvořit. Vylepšování n-gramových jazykových modelů bylo věnováno značné úsilí. Použitím externí informace (morfologie, syntaxe, apod.) v těchto modelech může dojít k výraznému vylepšení. Tyto modely však mohou být vylepšeny i bez externí informace a efektivnější vyhlazování je reprezentativní příklad takového vylepšení. Pokud pochopíme skryté vzory v neoznačkovaných korpusech, můžeme zvýšit kvalitu jazykového modelování pouze s informací, která je již v těchto korpusech přítomna. Tato práce se zabývá třemi různými směry odkrývání latentní informace. Globální sémantika je modelována pomocí Latentní Dirichletovy alokace a zahrnuje globální relace do jazykových modelů. Slovní třídy, získané pomocí sémantických prostorů, obohacují tyto jazykové modely o lokální sémantiku. Nakonec je použit náš vlastní stemovací algoritmus, založený na trénování bez učitele, který ještě navyšuje výkonnost jazykových modelů u flektivních jazyků. Náš výzkum ukazuje, že tyto tři zdroje informací se obohacují navzájem a že jejich kombinace vede ke dramatickému vylepšení jazykových modelů. Všechny zkoumané modely jsou trénované bez učitele. Ukazujeme účinnost našich modelů na několika jazycích různých typů, což prokazuje nezávislost na konkrétním jazyce. |
| Abstrakt v dalším jazyce: | Language models are crucial for many tasks in natural language processing and n-grams are probably the best way to build them. Huge effort is being invested in improving the n-gram language models. By introducing external knowledge (morphology, syntax, etc.) into the models, a significant improvement can be achieved. The models can, however, be improved without external knowledge and the better smoothing is an excellent example of such improvement. By discovering hidden patterns in unlabeled training corpora, we can enhance the language modeling with the information that is already present in the corpora. This thesis studies three different ways of latent information discovery. Global semantics is modeled by latent Dirichlet allocation and brings long-range dependencies into language models. Word clusters given by semantic spaces enrich these language models with short-range semantics. Finally, our own unsupervised stemming algorithm is used to further enhance the performance of language modeling for inflectional languages. Our research shows that these three sources of information enrich each other and their combination dramatically improves language modeling. All investigated models are acquired in a fully unsupervised manner. We show the efficiency of our methods for several languages within different language families, proving their multilingual properties. |
| Práva: | Plný text práce je přístupný bez omezení. |
| Vyskytuje se v kolekcích: | Disertační práce / Dissertations (KIV) |
Soubory připojené k záznamu:
| Soubor | Popis | Velikost | Formát | |
|---|---|---|---|---|
| main.pdf | Plný text práce | 1,79 MB | Adobe PDF | Zobrazit/otevřít |
| oponent-posudky-odp-brychcin.pdf | Posudek oponenta práce | 2,3 MB | Adobe PDF | Zobrazit/otevřít |
| obhajoba-protokol-odp-brychcin.pdf | Průběh obhajoby práce | 910,1 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/20648Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.