Hybrid Training Data for Historical Text OCR

Abstract

Současné OCR systémy běžně používají rekurentní neuronové sítě, které jsou schopné zpracovat celé řádky textu. Takovéto systémy nepotřebují metody pro segmentaci znaků. Nevýhodou je potřeba velkého množství anotovaných dat. Toto může být vyřešeno pomocí generování syntetických dat. Naneštěstí takováto data nejsou příliš vhodná pro historické dokumenty, především z důvodu kvality. Tento článek prezentuje hybridní metodu pro generování trénovacích dat pro OCR systém. Nejprve jsou shromážděny obrázky jednotlivých znaků, které jsou posléze využity pro generování celých obrázků řádek. Další přínos článku je v návrhu OCR systému s využitím konvoluční neuronové sítě a sítě LSTM. Nejprve se systém natrénuje pomocí syntetických (hybridních) dat a poté je model vyladěn pomocí anotovaného korpusu. Dále je představena trénovací strategie pro dosažení nejlepších výsledků, které jsou porovnatelné se state of the art.

Current optical character recognition (OCR) systems commonly make use of recurrent neural networks (RNN) that process whole text lines. Such systems avoid the task of character segmentation necessary for character-based approaches. A disadvantage of this approach is a need of a large amount of annotated data. This can be solved by using generated synthetic data instead of costly manually annotated ones. Unfortunately, such data is often not suitable for historical documents particularly for quality reasons. This work presents a hybrid approach for generating annotated data for OCR at a low cost. We first collect a small dataset of isolated characters from historical document images. Then, we generate historical looking text lines from the generated characters. Another contribution lies in the design and implementation of an OCR system based on a convolutional-LSTM network. We first pre-train this system on hybrid data. Afterwards, the network is fine-tuned with real printed text lines. We demonstrate that this training strategy is efficient for obtaining state-of-theart results. We also show that the score of the proposed systém is comparable or even better in comparison to several state-ofthe-art systems.