Zanim przejdę jednak do omówienia możliwości oferowanych przez sieci neuronowe, chciałbym zwrócić uwagę na fakt, iż obecnie możemy podzielić działanie OCR na dwie sfery:

Rozpoznanie znaków

Mechanizm rozpoznaje pojedyncze znaki, a poprzez analizowanie odstępów w skanowanym tekście dzieli je na wyrazy. Tego typu działanie służy np. do tworzenia tzw. „wyszukiwalnych plików PDF” (z ang. searchable PDF). W zależności od producenta, skuteczność rozpoznania zwiększana jest poprzez zastosowanie kolejnych warstw algorytmów, np. porównujących rozpoznaną frazę z wbudowanym słownikiem.

Rozpoznanie treści

Tutaj wykorzystywana jest pierwsza metoda w połączeniu z zaawansowanymi mechanizmami, które analizują rozpoznanie tekstu także w kontekście słów znajdujących się w jego bezpośredniej okolicy. OCR identyfikuje poszczególne wyrazy i sprawdza jak rozpoznanie wpasowuje się w całość skanowanego tekstu.

W tym drugim przypadku szczególnie przydatne okazują się sieci neuronowe, które zawierają zestaw reguł wg których rozpoznawane są poszczególne słowa i frazy. Weźmy za przykład faktury. OCR „wie”, że dane o wystawiającym fakturę powinny znajdować się w okolicach prawego górnego rogu. Nazwa ulicy poprzedzona jest wyrazem „ul.” po którym następuje numer domu, a następnie kod pocztowy i miasto. Natomiast numer konta bankowego ma 26 cyfr, zazwyczaj zapisany jest w określonym formacie i występuje obok słowa bank.

Sieci neuronowe – z czym się to je

Powyższe, to oczywiście prosty przykład, a tego typu reguł jest naprawdę dużo. To czym różni od siebie szablony rozpoznawania dokumentów od sieci neuronowych, to możliwość dynamicznej zmiany i „douczania” tych drugich, na podstawie rozpoznawanych dokumentów. Przy czym w przeciwieństwie do dedykowanych bądź uniwersalnych szablonów, nie jest to czynność wymagająca pracy programistycznej.

Odpowiednio przygotowany interfejs pozwoli każdemu użytkownikowi na wprowadzenie odpowiednich zmian i zmodyfikowanie sieci. Pomimo niebagatelnych zalet takiego rozwiązania (łatwość wykorzystania, elastyczność), istnieje też pewne ryzyko. Poprzez nieumiejętne „szkolenie” sieci neuronowych, można je „popsuć”. Prostym przykładem jest wskazywanie przez użytkownika błędnych danych jako poprawne. Idąc za przykładem faktur, byłoby to np. wskazanie numeru telefonu jako NIP-u sprzedawcy. Im więcej tego typu modyfikacji, tym gorsze będą wyniki rozpoznania.

Istnieją też przypadki pośrednie. W systemach obiegu dokumentów, OCR jest rzeczą powszechnie wykorzystywaną. Zazwyczaj przygotowywana jest uniwersalna sieć neuronowa, działająca w odniesieniu do konkretnego typu dokumentu (np. wcześniej już wspomnianej faktury). Jednakże zdarzają się sytuacje, w których np. faktury od jednego z kontrahentów mają zupełnie inną strukturę niż w przypadku pozostałych. Co wtedy?

Uczenie uniwersalnej sieci na przykładzie wyjątków poskutkuje lepszym rozpoznaniem ich samych, jednocześnie negatywnie wpływając na identyfikacje całej reszty dokumentów. Dlatego też rozwiązania tej klasy oferują możliwość tworzenia dedykowanych sieci neuronowych ro skanowania dokumentów od wybranych kontrahentów. Wówczas wyróżnikiem, za pomocą którego system wybiera odpowiednią sieć neuronową, jest numer NIP, dlatego iż jest on unikalny i ściśle powiązanym z kontrahentem.

Sieci neuronowe – co dalej?

Bez wątpienia sieci neuronowe są przyszłością OCR. Wydaje się, iż jest to obecnie jedyny kierunek rozwoju, który może w przyszłości dostarczyć skuteczność rozpoznawania znaków i treści na poziomie 100%. W przypadku pisma maszynowego, nawet w kontekście słabej jakości skanów, nie jest to zbyt daleka przyszłość. Natomiast pismo odręczne to zupełnie inna bajka i na jakiekolwiek sensowne rezultaty (powyżej 80%, w warunkach „bojowych”, a nie laboratoryjnych) prawdopodobnie przyjdzie jeszcze nam trochę poczekać. Niemniej jednak – warto.

Post OCR wzbogacony o sieci neuronowe = nowa jakość? pojawił się poraz pierwszy w OCR w dokumentach.

OCR świetnie sprawdza się w firmach – tam zazwyczaj skanowane wydruki są dobrej jakości i większość programów bez problemu rozpoznaje między 95 a 99% znaków. Dużo gorzej jest np. w przypadku bibliotek. Tam, niektóre ze zbiorów (często już wiekowych) nie stwarzają już tak dobrych warunków do digitalizacji tekstu. Książki bywają zniszczone, pisane archaicznym językiem i niespotykaną obecnie czcionką. To oczywiście dość ekstremalne przypadki, ale dobrze obrazują przeszkody jakie napotyka oprogramowanie.

Przyjrzyjmy się co bywa największym problemem w pełnotekstowym skanowaniu.

1. Jednym z najczęstszych problemów jest słaba jakość druku źródłowego. W przypadku gdy liczba (gęstość) pikseli jest zbyt mała, programy zwyczajnie się gubią, dając albo niepoprawne wyniki, albo w ogóle nie rozpoznając znaków i poszczególnych słów. Jest to najczęstszy i uniwersalny problem dotyczący skanowania.

2. Brak jednolitości tekstu to kolejny czynnik, który zaniża skuteczność rozpoznawania. Korzystanie z różnych czcionek i różnych wielkości ujemnie wpływa na możliwość poprawnego zeskanowania tekstu. W miarę możliwości należy tego unikać, aby otrzymać jak najlepszy efekt.

3. Wyblakłe kolory i zbyt mały kontrast. Optymalnie byłoby, gdyby skanowany tekst miał czcionkę o głębokiej czerni. Niestety rzeczywistość jest mniej różowa i często okazuje się, że barwa poszczególnych liter nie jest wystarczająco wyrazista. Warto także zwrócić uwagę na fakt, iż użycie innych kolorów niż czarny,co również może być przeszkodą dla OCR-a.

4. Tekst nie powinien być także zbyt gęsty. Zbyt duże nagromadzenie tekstu na stronie (liter, paragrafów) może poskutkować niższą skutecznością.

5. Rozmiar czcionki również ma znaczenie. Minimalny próg, w zależności od rodzaju stosowanych algorytmów przez OCR, powinien wynosić między 6 a 8.

Co by nie mówić, technologia idzie do przodu. Programy do rozpoznawania znaków są coraz lepsze, tak jak i materiały skanowane na co dzień (choćby faktury czy umowy). Jestem ciekaw kiedy doczekamy

Na koniec ciekawostka. Znaczenie ma także rodzaj skanowanego papieru (materiału). Ze względu na nietypowy, jak na dzisiejsze czasy, skład papieru, skanowaniu nie poddaje się większości tekstów wydanych przed 1850 rokiem. Aby to zrobić konieczne są dodatkowe analizy oraz ustawienie niestandardowych parametrów dla OCR-a, dostosowanych do skanowanego materiału.

Post 5 największych przeszkód w OCR-owaniu pojawił się poraz pierwszy w OCR w dokumentach.

Rejestrując się na stronie lub na forum, zazwyczaj na koniec tego procesu witryna zmusza Cię do udowodnienia, że nie jesteś botem do rozpowszechniania spamu. Co robisz? W 90% przypadków przepisujesz kod/wyraz z wyświetlonego obrazka obrazka. Tak działa m.in. reCAPTCHA.

Jak to się ma do OCR-a? Nawet najlepsze systemy nie są w stanie rozpoznać 100% skanowanych wyrazów. Obecnie skuteczność tego typu programów kształtuje się na poziomie 90-98%, w zależności od wykorzystywanych algorytmów i jakości skanowanego tekstu. To oznacza, że przy tekście zawierającym 20 000 słów, wciąż od 400 do 2000 pozostaje do rozpoznania przez człowieka.

Tymczasem na Uniwersytecie Carnegie-Mellona w Pittsburghu, zastanawiano się jak szybko i małym nakładem sił można digitalizować książki i stare egzemplarze gazet. Tak powstał projekt reCAPTCHA. Mechanizm jest w gruncie rzeczy bardzo prosty. Użytkownik, by zakończyć np. rejestrację, musi przepisać dwa słowa podane przez program. W przypadku rozwiązania naukowców z Pittsburga, jedno z nich jest słowem kontrolnym (znanym przez system), natomiast drugie, to słowo nieprawidłowo rozpoznane przez moduł OCR.

Kolejność wyrazów jest losowa, natomiast ich jakość zbliżona, dlatego internauta nigdy nie wie, które z nich stanowi zabezpieczenie. Jeśli dane słowo, przez różnych użytkowników, zostanie trzykrotnie jednakowo zweryfikowane, wówczas system przesyła je do źródła jako rozpoznane. W przypadku kiedy trzej pierwsi użytkownicy nie podali jednakowo brzmiących odpowiedzi, wówczas wyraz prezentowany jest większej ilości osób, a decyzja o jego ostatecznym brzmieniu podejmowana jest na podstawie najczęściej pojawiających się odpowiedzi. Skuteczność tej metody wynosi ponad 99,5%, co przy ilości rozpoznawanych słów jest wynikiem imponującym.

ReCAPTCHA funkcjonuje od 2009 roku i w pierwszych 12 miesiącach od wprowadzenia udało się zdigitalizować aż 17 tysięcy książek. Szacuje się, że aż 200 milionów kodów zabezpieczających CAPTCHA rozwiązywanych jest codziennie przez internautów na całym świecie. Proces ten zajmuje około 10 sekund, co daje sumarycznie niebagatelną ilość zrealizowanych 150 tysięcy roboczogodzin, każdego dnia.

Geniusz reCAPTCHY leży w kilku czynnikach. Przede wszystkim jest to rozwiązanie podwójnie pożyteczne. Z jednej strony webmasterzy zabezpieczają swoje strony i fora internetowe przed spamem. Z drugiej, rozpoznawane są słowa, z którymi nie radzi sobie OCR. Natomiast najlepszy w tym wszystkim jest fakt, że odbywa się w to sposób niemalże niezauważalny i nie wymagający wysiłku dla pojedynczego użytkownika. A do tego wszystkiego, reCAPTCHE można zaimplementować bardzo łatwo i zupełnie za darmo. Czego chcieć więcej?

Nie wiem jak Wy, ale według mnie twórcy (Luis von Ahn, Ben Maurer, Colin McMillen, David Abraham i Manuel Blum) powinni na stałe wpisać się w kanon osób, które pożytecznie przyczyniły się dla społeczeństwa światowego. ReCAPTCHA codziennie pozwala na utrwalenie kilkudziesięciu książek, które w przeciwnym przypadku już nigdy mogłyby nie być dostępne dla szerszej publiki.

Post Jak digitalizujemy książki nawet o tym nie wiedząc? pojawił się poraz pierwszy w OCR w dokumentach.

„- Od kilku lat firma korzysta z modułu OCR. Jak jest wykorzystywany, jakie przynosi korzyści i czy jest wart polecenia?

Zdecydowanie system OCR jest wart polecenia. Dzięki niemu możliwa jest pełna digitalizacja dokumentów, a co za tym idzie, wyszukiwanie nie tylko za pomocą słów kluczowych, ale także całej treści.

W naszej firmie OCR działa w dwóch miejscach. W przypadku Centralnego Magazynu Dokumentów, w dzień skanowane są tylko kody kreskowe na dokumencie, dzięki czemu trafia on do właściwej osoby. Następnie, już po godzinach pracy, dokument jest poddawany pełno tekstowemu skanowaniu, dzięki czemu następnego dnia możliwe jest znalezienie w nim dowolnych słów.

W systemie obiegu faktur, początkowo korzystaliśmy z oprogramowania firmy Kofax, które ma ogromne możliwości w zakresie skanowania, choć niestety wówczas nie do końca wpasowywało się w naszą strategię dotyczącą oparcia wszelkich narzędzi na interfejsie webowym. Musieliśmy poświęcić dodatkowe środki na integrację z Microsoft SharePoint, wydzielić osobny serwer i przeszkolić do tego osoby, zarówno od strony użytkowej, jak i administracyjnej (np. do wgrywania poprawek). Doszedł także koszt samego oprogramowania oraz maintenance, który równieżbył niemały.

W wyniku reorganizacji producent  zamknął biura w Polsce, co znacznie utrudniło komunikację i pomoc techniczną, a my, pomimo w miarę stabilnego działania OCR-a, zaczęliśmy rozglądać się za alternatywą. Mieliśmy świadomość, że w przypadku gdy coś się zepsuje, straty mogą być ogromne.

Wybór padł na OCR oferowany przez firmę WEBCON. Jest on w pełni zintegrowany z SharePointem, na czym nam najbardziej zależało, a w dodatku działa w ramach systemu WEBCON BPS, dzięki czemu w kwestii pomocy technicznej kontaktujemy się tylko z jednym dostawcą. Decyzję o zmianie uważam za słuszną, szczególnie że w obecnej sytuacji dużo łatwiej jest zarządzać systemem, zarówno z perspektywy użytkownika, który ma wszystko na jednym ekranie, jak i administratora, który zarządza jedną, kompleksową platformą.”

Całość wywiadu można znaleźć tutaj.

Post Dyrektor IT o OCR pojawił się poraz pierwszy w OCR w dokumentach.

Pierwszym krokiem jest załadowanie obrazu dokumentu w postaci bitmapy. Następnie zeskanowany tekst jest analizowany na kilka różnych sposobów.

Na początku program OCR dokonuje analizy layoutu i dzieli stronę na poszczególne elementy. Dzięki temu możliwa jest identyfikacja miejsc, w których znajduje się tekst. Ten z kolei dzielony jest na coraz mniejsze elementy: akapity, wersy, słowa i znaki. Na tym etapie dokument zapamiętywany jest jako zbiór pojedynczych znaków.

Następnie znaki te rozpoznawane są przy użyciu poszczególnych algorytmów. Rodzaj i sposób ich wykorzystania zależy od producentów oprogramowania. Nie istnieje jedna, uniwersalna metoda, jednak można wyszczególnić kilka najbardziej popularnych technik:

1. Podstawową jest rozpoznawanie wzorców. Wówczas program porównuje analizowany obraz z zaimplementowaną bazą danych, zawierającą setki różnych czcionek. Jeżeli dany znak pasuje do znaku z bazy danych, wówczas zostaje uznany za rozpoznany.
2. Inną metodą jest rozpoznawanie cech. W tym przypadku zadaniem programu jest rozpoznanie cech charakterystycznych dla danego znaku. Może się to odbywać na kilka różnych sposobów, m.in za pomocą klasyfikacji rastra (porównanie znaku z różnymi krojami czcionek), klasyfikacji struktury (znaki zostają rozłożone na krzywe i identyfikowane na podstawie ich położenia), czy klasyfikacji cech (wyszukiwanie charakterystycznych cech danych znaków).
3. Odrębną techniką, którą również się wykorzystuje, jest ICR (Intelligent Character Recognition). Algorytm ten używany jest głównie w przypadku tekstu pisanego ręcznie. Bazuje na architekturze sieci neuronowej i systemach uczenia się. W przypadku gdy system nie ma pewności czy dany znak został rozpoznany poprawnie, wówczas prosi użytkownika o wskazanie jego poprawnej formy. Wybór ten zostaje zapamiętany i wykorzystany w przyszłości w podobnej sytuacji. Dzięki temu rozwiązaniu, programy oparte o algorytm ICR nieustannie podnoszą swoją skuteczność w rozpoznawaniu pisma odręcznego.

Powyższe algorytmy to tylko część z tych, które wykorzystywane są w systemach OCR. Zazwyczaj programy posiadają ich co najmniej kilka, a rezultat końcowy zależy od porównania wyników analizy każdego z algorytmów.

Kolejnym krokiem jest złożenie tekstu z uprzednio rozpoznanych znaków. Program OCR wykorzystuje bazy słownikowe, za pomocą których na nowo konstruuje poszczególne wyrazy, zdania i akapity. Stosowana jest także korekta gramatyczna dla uzyskania poprawności poszczególnych zwrotów. Następnie cały tekst, tym razem już w formie elektronicznej, budowany jest z powrotem na podstawie wcześniej przeprowadzonej analizy layoutu.

W jednej z ostatnich faz całego procesu użyte zostają algorytmy mające na celu poprawę jakości danego tekstu. Ich zadaniem jest również usunięcie wszelkiego rodzaju szumów i wad, które mogłyby utrudnić odczytanie treści.

Etapem końcowym jest zapis pliku w jednym z pożądanych formatów, np. .pdf, .txt czy .doc. Najczęściej wykorzystywany format PDF posiada po zakończeniu OCR dwie warstwy: jedną z nich stanowi obraz (skan), drugą jest tekst, który możemy swobodnie zaznaczać i przeszukiwać.

Możliwości biznesowego wykorzystania OCR są szersze, jedną z nich jest automatyczna rejestracja wszelkiego rodzaju formularzy, na podstawie treści rozpoznanej w skanowanym dokumencie. Więcej o tym w następnym wpisie.

Post Jak działa OCR? pojawił się poraz pierwszy w OCR w dokumentach.