Title: Semantic text segmentation from synthetic images of full-text documents
Other Titles: Sémantická segmentace textu ze syntetických obrazů fulltextových dokumentů
Authors: Bureš, Lukáš
Gruber, Ivan
Neduchal, Petr
Hlaváč, Miroslav
Hrúz, Marek
Citation: BUREŠ, L. ., GRUBER, I. ., NEDUCHAL, P. ., HLAVÁČ, M. ., HRÚZ, M. . Semantic text segmentation from synthetic images of full-text documents. SPIIRAS Proceedings, 2019, roč. 18, č. 6, s. 1380-1405. ISSN 2078-9181.
Issue Date: 2019
Publisher: St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences
Document type: článek
article
URI: 2-s2.0-85078454715
http://hdl.handle.net/11025/36868
ISSN: 2078-9181
Keywords: Generování syntetických obrázků, segmentace sémantického textu, variační autoenkoder, VAE, optické rozpoznávání znaků, OCR, generování staře vypadajícího textu
Keywords in different language: Generation of Synthetic Images, Semantic Text Segmentation, Variational Autoencoder, VAE, Optical Character Recognition, OCR, Aged-Looking Text Generation
Abstract: Je prezentován algoritmus (rozdělený do více modulů) pro generování obrázků fulltextových dokumentů. Tyto obrázky lze použít k trénování, testování a vyhodnocování modelů pro optické rozpoznávání znaků (OCR). Algoritmus je modulární, jednotlivé části lze měnit a vylepšovat tak, aby se vytvářely požadované obrázky. Je popsán způsob získávání obrázků pozadí papíru z již digitalizovaných dokumentů. K tomu byl použit nový přístup založený na variačním autoenkoderu (VAE) pro trénink generativního modelu. Tato pozadí umožňují generování podobných obrazků pozadí jako byly využity pro trénování a to za běhu algoritmu. Modul pro tisk textu používá velké textové korpusy, písmo a vhodný znakový šum a jas pro získání věrohodných výsledků (pro přirozeně vypadající staré dokumenty). Podporováno je několik typů rozvržení stránky. Systém generuje detailní strukturovanou anotaci syntetizovaného obrazu. Používá se Tesseract OCR k porovnání skutečných obrazů s generovanými obrázky. Míra rozpoznávání je velmi podobná, což ukazuje na správný vzhled syntetických obrazů. Kromě toho jsou chyby, které systém OCR udělal v obou případech, velmi podobné. Z generovaných obrazů byla natrénována plně konvoluční architektura neuronové sítě encoder-decoder pro sémantickou segmentaci jednotlivých znaků. S touto architekturou je dosaženo přesnosti rozpoznávání 99,28% na testovací sadě syntetických dokumentů.
An algorithm (divided into multiple modules) for generating images of fulltext documents is presented. These images can be used to train, test, and evaluate models for Optical Character Recognition (OCR). The algorithm is modular, individual parts can be changed and tweaked to generate desired images. A method for obtaining background images of paper from already digitized documents is described. For this, a novel approach based on Variational AutoEncoder (VAE) to train a generative model was used. These backgrounds enable the generation of similar background images as the training ones on the fly. The module for printing the text uses large text corpora, a font, and suitable positional and brightness character noise to obtain believable results (for natural-looking aged documents). A few types of layouts of the page are supported. The system generates a detailed, structured annotation of the synthesized image. Tesseract OCR to compare the real-world images to generated images is used. The recognition rate is very similar, indicating the proper appearance of the synthetic images. Moreover, the errors which were made by the OCR system in both cases are very similar. From the generated images, fully-convolutional encoder-decoder neural network architecture for semantic segmentation of individual characters was trained. With this architecture, the recognition accuracy of 99.28% on a test set of synthetic documents is reached.
Rights: © St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences
Appears in Collections:Články / Articles (KKY)
OBD

Files in This Item:
File SizeFormat 
Bures_SemanticTextSegmentation_2019.pdf9,33 MBAdobe PDFView/Open


Please use this identifier to cite or link to this item: http://hdl.handle.net/11025/36868

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.

search
navigation
  1. DSpace at University of West Bohemia
  2. Publikační činnost / Publications
  3. OBD