| Název: | Improving web user interface element detection using Faster R-CNN |
| Další názvy: | Detekce prvků webového uživatelského rozhraní s Faster R-CNN |
| Autoři: | Vyskočil, Jiří Picek, Lukáš |
| Citace zdrojového dokumentu: | VYSKOČIL, J. PICEK, L. Improving web user interface element detection using Faster R-CNN. In Proceedings of the Working Notes of CLEF 2021 - Conference and Labs of the Evaluation Forum. Aachen: CEUR-WS, 2021. s. 1375-1386. ISBN: neuvedeno , ISSN: 1613-0073 |
| Datum vydání: | 2021 |
| Nakladatel: | CEUR-WS |
| Typ dokumentu: | konferenční příspěvek ConferenceObject |
| URI: | 2-s2.0-85113552103 http://hdl.handle.net/11025/47271 |
| ISBN: | neuvedeno |
| ISSN: | 1613-0073 |
| Klíčová slova: | Detekce objektů;Strojové učení;Detekce hran;Faster R-CNN;FPN;CNN;Uživatelské rozhraní |
| Klíčová slova v dalším jazyce: | Object Detection;Machine Learning;Edge Detection;Faster R-CNN;FPN;CNN;User Interface |
| Abstrakt: | Při navrhování nových uživatelských rozhraní (UI) může nastat několik problémů, například při komunikaci mezi designéry a vývojáři, čemuž detekce prvků UI může pomoci. ImageCLEF DrawnUI 2021 Challenge staví na detekci takovýchto prvků ve dvou soutěžních úkolech: Screenshot task, který obsahuje snímky webových obrazovek se spoustou chybně anotovaných dat, a Wireframe task pro detekci prvků z ručně kreslených návrhů. Tento článek popisuje jednoduchý algoritmus založený na hranovém detektoru pro filtrování chybných dat ze snímků obrazovky a metodu strojového učení. Zvolený postup vyhrál první místo v obou soutěžních úkolech Screenshot a Wireframe s 0,628 a 0,900 mAP při 0,5 IoU. Zvolená metoda strojového učení je založena na Faster R-CNN s Feature Pyramid Network (FPN) a používá vybrané poměry stran boxů podle jejich výskytů v dostupných datech. Kód je k dispozici na https://github.com/vyskocj/ImageCLEFdrawnUI2021 |
| Abstrakt v dalším jazyce: | Several challenges may arise when designing new user interfaces (UIs), e.g., because of communication between designers and developers, to which the detection of UI elements can help. The ImageCLEF DrawnUI 2021 challenge builds on the detection of such elements in two contest tasks: a Screenshot task that contains the website screenshot images with lots of noisy data, and a Wireframe task for detecting UI elements from hand-drawn proposals. This paper describes a simple algorithm based on the edge detection to filter noisy data from the website screenshots, and machine learning method which scored the first place in both tasks while having 0.628 and 0.900 mAP at 0.5 IoU in the Screenshot and Wireframe tasks. This method is based on the Faster R-CNN with a Feature Pyramid Network (FPN) that uses selected aspect ratios of anchor boxes according to the occurrences from the datasets. The code is available at https://github.com/vyskocj/ImageCLEFdrawnUI2021 |
| Práva: | © authors |
| Vyskytuje se v kolekcích: | Konferenční příspěvky / Conference Papers (KKY) OBD |
Soubory připojené k záznamu:
| Soubor | Velikost | Formát | |
|---|---|---|---|
| VYskocil_Improving_web_user_paper117_2021.pdf | 650,75 kB | Adobe PDF | Zobrazit/otevřít Vyžádat kopii |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/47271Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.