| Title: | Atribuční metody pro Transformer modely |
| Other Titles: | Attribution methods for explaining Transformers |
| Authors: | Bartička, Vojtěch |
| Advisor: | Pražák Ondřej, Ing. |
| Referee: | Baloun Josef, Ing. |
| Issue Date: | 2023 |
| Publisher: | Západočeská univerzita v Plzni |
| Document type: | diplomová práce |
| URI: | http://hdl.handle.net/11025/53734 |
| Keywords: | vysvětlitelná umělá inteligence;transformer;neuronové sítě;strojové učení;zpracování přirozeného jazyka;atribuční metody |
| Keywords in different language: | explainable ai;transformer;neural networks;machine learning;natural language processing;attribution methods |
| Abstract: | Tato práce zkoumá atrubuční metody aplikovatelné na Transformer modely pomocí datových sad SST a CTDC. Do datové sady CTDC přidáváme anotace založené na klíčových slovech a bodové vzájemné informaci, čímž umožňujeme evaluaci atribučních metod na české datové sadě. Používáme sedm modelů různých velikostí a architektur, každý s pěti instancemi, což nám umožňuje měřit vliv náhodné inicializace a velikosti modelu. Používáme také destilovaný vícejazyčný model na datové sadě CTDC a ukazujeme, že se rozhoduje racionálně i při použití s jazykem méně frekventovaným v předtrénování. Testujeme atribuční metody s různými referenčními vstupy a počty vzorků, což poskytuje cenné poznatky pro praktické aplikace. Ukazujeme, že přeučení negativně ovlivňuje atribuční metody využívající gradient, zatímco u metody KernelSHAP, která gradient nevyužívá, dochází k velmi malému zhoršení. |
| Abstract in different language: | In this thesis, we evaluate multiple attribution methods applicable to Transformer models using the SST and CTDC datasets. We extend the CTDC dataset by adding ground-truth annotations based on keywords and pointwise mutual information, creating a ground-truth evaluation benchmark for the Czech language. We fine-tune seven models of various sizes and architectures with five instances each, allowing us to measure the effect of random initialization and model size. We also evaluate a distilled multilingual model on the CTDC dataset, showing that it makes rational decisions even when used with a language less represented in the pre-training process. We test attribution methods with different baseline references and sample counts, providing valuable insight for practical applications. We show that overfitting negatively affects gradient-based attribution methods, while KernelSHAP sees little performance degradation. |
| Rights: | Plný text práce je přístupný bez omezení |
| Appears in Collections: | Diplomové práce / Theses (KIV) |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| prace.pdf | Plný text práce | 2,05 MB | Adobe PDF | View/Open |
| A21N0038Pposudek-op.pdf | Posudek oponenta práce | 107,04 kB | Adobe PDF | View/Open |
| A21N0038Phodnoceni-ved.pdf | Posudek vedoucího práce | 232,37 kB | Adobe PDF | View/Open |
| A21N0038Pobhajoba.pdf | Průběh obhajoby práce | 522,62 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/53734Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.