| Title: | Improving web user interface element detection using Faster R-CNN |
| Other Titles: | Detekce prvků webového uživatelského rozhraní s Faster R-CNN |
| Authors: | Vyskočil, Jiří Picek, Lukáš |
| Citation: | VYSKOČIL, J. PICEK, L. Improving web user interface element detection using Faster R-CNN. In Proceedings of the Working Notes of CLEF 2021 - Conference and Labs of the Evaluation Forum. Aachen: CEUR-WS, 2021. s. 1375-1386. ISBN: neuvedeno , ISSN: 1613-0073 |
| Issue Date: | 2021 |
| Publisher: | CEUR-WS |
| Document type: | konferenční příspěvek ConferenceObject |
| URI: | 2-s2.0-85113552103 http://hdl.handle.net/11025/47271 |
| ISBN: | neuvedeno |
| ISSN: | 1613-0073 |
| Keywords: | Detekce objektů;Strojové učení;Detekce hran;Faster R-CNN;FPN;CNN;Uživatelské rozhraní |
| Keywords in different language: | Object Detection;Machine Learning;Edge Detection;Faster R-CNN;FPN;CNN;User Interface |
| Abstract: | Při navrhování nových uživatelských rozhraní (UI) může nastat několik problémů, například při komunikaci mezi designéry a vývojáři, čemuž detekce prvků UI může pomoci. ImageCLEF DrawnUI 2021 Challenge staví na detekci takovýchto prvků ve dvou soutěžních úkolech: Screenshot task, který obsahuje snímky webových obrazovek se spoustou chybně anotovaných dat, a Wireframe task pro detekci prvků z ručně kreslených návrhů. Tento článek popisuje jednoduchý algoritmus založený na hranovém detektoru pro filtrování chybných dat ze snímků obrazovky a metodu strojového učení. Zvolený postup vyhrál první místo v obou soutěžních úkolech Screenshot a Wireframe s 0,628 a 0,900 mAP při 0,5 IoU. Zvolená metoda strojového učení je založena na Faster R-CNN s Feature Pyramid Network (FPN) a používá vybrané poměry stran boxů podle jejich výskytů v dostupných datech. Kód je k dispozici na https://github.com/vyskocj/ImageCLEFdrawnUI2021 |
| Abstract in different language: | Several challenges may arise when designing new user interfaces (UIs), e.g., because of communication between designers and developers, to which the detection of UI elements can help. The ImageCLEF DrawnUI 2021 challenge builds on the detection of such elements in two contest tasks: a Screenshot task that contains the website screenshot images with lots of noisy data, and a Wireframe task for detecting UI elements from hand-drawn proposals. This paper describes a simple algorithm based on the edge detection to filter noisy data from the website screenshots, and machine learning method which scored the first place in both tasks while having 0.628 and 0.900 mAP at 0.5 IoU in the Screenshot and Wireframe tasks. This method is based on the Faster R-CNN with a Feature Pyramid Network (FPN) that uses selected aspect ratios of anchor boxes according to the occurrences from the datasets. The code is available at https://github.com/vyskocj/ImageCLEFdrawnUI2021 |
| Rights: | © authors |
| Appears in Collections: | Konferenční příspěvky / Conference Papers (KKY) OBD |
Files in This Item:
| File | Size | Format | |
|---|---|---|---|
| VYskocil_Improving_web_user_paper117_2021.pdf | 650,75 kB | Adobe PDF | View/Open Request a copy |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/47271Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.