Zanim przejdę jednak do omówienia możliwości oferowanych przez sieci neuronowe, chciałbym zwrócić uwagę na fakt, iż obecnie możemy podzielić działanie OCR na dwie sfery:

Rozpoznanie znaków

Mechanizm rozpoznaje pojedyncze znaki, a poprzez analizowanie odstępów w skanowanym tekście dzieli je na wyrazy. Tego typu działanie służy np. do tworzenia tzw. „wyszukiwalnych plików PDF” (z ang. searchable PDF). W zależności od producenta, skuteczność rozpoznania zwiększana jest poprzez zastosowanie kolejnych warstw algorytmów, np. porównujących rozpoznaną frazę z wbudowanym słownikiem.

Rozpoznanie treści

Tutaj wykorzystywana jest pierwsza metoda w połączeniu z zaawansowanymi mechanizmami, które analizują rozpoznanie tekstu także w kontekście słów znajdujących się w jego bezpośredniej okolicy. OCR identyfikuje poszczególne wyrazy i sprawdza jak rozpoznanie wpasowuje się w całość skanowanego tekstu.

W tym drugim przypadku szczególnie przydatne okazują się sieci neuronowe, które zawierają zestaw reguł wg których rozpoznawane są poszczególne słowa i frazy. Weźmy za przykład faktury. OCR „wie”, że dane o wystawiającym fakturę powinny znajdować się w okolicach prawego górnego rogu. Nazwa ulicy poprzedzona jest wyrazem „ul.” po którym następuje numer domu, a następnie kod pocztowy i miasto. Natomiast numer konta bankowego ma 26 cyfr, zazwyczaj zapisany jest w określonym formacie i występuje obok słowa bank.

Sieci neuronowe – z czym się to je

Powyższe, to oczywiście prosty przykład, a tego typu reguł jest naprawdę dużo. To czym różni od siebie szablony rozpoznawania dokumentów od sieci neuronowych, to możliwość dynamicznej zmiany i „douczania” tych drugich, na podstawie rozpoznawanych dokumentów. Przy czym w przeciwieństwie do dedykowanych bądź uniwersalnych szablonów, nie jest to czynność wymagająca pracy programistycznej.

Odpowiednio przygotowany interfejs pozwoli każdemu użytkownikowi na wprowadzenie odpowiednich zmian i zmodyfikowanie sieci. Pomimo niebagatelnych zalet takiego rozwiązania (łatwość wykorzystania, elastyczność), istnieje też pewne ryzyko. Poprzez nieumiejętne „szkolenie” sieci neuronowych, można je „popsuć”. Prostym przykładem jest wskazywanie przez użytkownika błędnych danych jako poprawne. Idąc za przykładem faktur, byłoby to np. wskazanie numeru telefonu jako NIP-u sprzedawcy. Im więcej tego typu modyfikacji, tym gorsze będą wyniki rozpoznania.

Istnieją też przypadki pośrednie. W systemach obiegu dokumentów, OCR jest rzeczą powszechnie wykorzystywaną. Zazwyczaj przygotowywana jest uniwersalna sieć neuronowa, działająca w odniesieniu do konkretnego typu dokumentu (np. wcześniej już wspomnianej faktury). Jednakże zdarzają się sytuacje, w których np. faktury od jednego z kontrahentów mają zupełnie inną strukturę niż w przypadku pozostałych. Co wtedy?

Uczenie uniwersalnej sieci na przykładzie wyjątków poskutkuje lepszym rozpoznaniem ich samych, jednocześnie negatywnie wpływając na identyfikacje całej reszty dokumentów. Dlatego też rozwiązania tej klasy oferują możliwość tworzenia dedykowanych sieci neuronowych ro skanowania dokumentów od wybranych kontrahentów. Wówczas wyróżnikiem, za pomocą którego system wybiera odpowiednią sieć neuronową, jest numer NIP, dlatego iż jest on unikalny i ściśle powiązanym z kontrahentem.

Sieci neuronowe – co dalej?

Bez wątpienia sieci neuronowe są przyszłością OCR. Wydaje się, iż jest to obecnie jedyny kierunek rozwoju, który może w przyszłości dostarczyć skuteczność rozpoznawania znaków i treści na poziomie 100%. W przypadku pisma maszynowego, nawet w kontekście słabej jakości skanów, nie jest to zbyt daleka przyszłość. Natomiast pismo odręczne to zupełnie inna bajka i na jakiekolwiek sensowne rezultaty (powyżej 80%, w warunkach „bojowych”, a nie laboratoryjnych) prawdopodobnie przyjdzie jeszcze nam trochę poczekać. Niemniej jednak – warto.

Post OCR wzbogacony o sieci neuronowe = nowa jakość? pojawił się poraz pierwszy w OCR w dokumentach.

Autorem tekstu jest p. Kinga Rocławska:

„Jeśli jedna osoba przepisywałaby ręcznie 1 stronę A4 dziennie, to w ciągu roku spędziłaby 15 dni roboczych czyli 3 tygodnie pracy na tej czynności. Natomiast jeżeli dwudziestu pracownikom firmy zajmuje po 30 minut w ciągu dnia ręczne przepisywanie tekstu, strata czasu jest 20-krotnie wyższa.”

„Nawet 80 stron na minutę potrafi przeskanować i przetworzyć biurowy skaner, wykonując przy tym operacje OCR. ABBYY FineReader wprowadza do komputera tekst drukowany 100 razy szybciej niż profesjonalna maszynistka (30 000 słów na minutę). Jedna osoba jest w stanie wprowadzić dziennie do systemu dane z 200 formularzy, czyli z 4400 miesięcznie. Aby wprowadzić ręcznie 100 000 stron formularzy miesięcznie wymagane jest zaangażowanie do pracy 23 osób. Przy zastosowaniu ABBYY FlexiCapture 8.0 Pro jeden pracownik może zweryfikować i wprowadzić dziennie dane z ok. 1000 formularzy. Czyli wystarczy zaangażować w ten proces 5 ludzi oraz jednego administratora lub managera.”

„Standardem w firmach zarówno polskich, jak i zagranicznych jest papierowy obieg faktur zakupu. Największe wady tego sposobu to gubienie faktur, ich długie przetrzymywanie oraz kilkukrotne krążenie po firmie. Aby rozwiązać te problemy, coraz więcej firm decyduje się na wdrażanie rozwiązań do skanowania i elektronicznego obiegu faktur. Proces ten polega na zeskanowaniu posortowanych faktur, poddaniu ich obróbce OCR i ICR, a następnie sczytaniu z nich uprzednio sprawdzonych danych do systemu. Rozpoznawaniu są poddawane miedzy innymi: data dokumentu, numer rachunku bankowego, NIP oraz wartości kwotowe faktury, czyli kwota netto, kwota brutto, VAT. System umożliwia ręczną korektę tych danych. Oszczędności związane z wykorzystywaniem elektronicznego obiegu faktur można zaobserwować w firmach otrzymujących od 5 tyś. faktur wzwyż rocznie (dane z 2009 roku). Zamiana obiegu papierowego na obieg elektroniczny przynosi pożytek dla wszystkich działów uczestniczących w tym procesie i jest akceptowana przez urzędy skarbowe.”

Pani Kinga, posiłkując się materiałami źródłowymi, przedstawiła dość ciekawe wyliczenia, wskazujące na to ile czasu (a co za tym idzie pieniędzy) można zaoszczędzić wykorzystując mechanizm OCR. Bardzo istotne zdaje się być ostatnie zacytowane przeze mnie zdanie, które wskazuje że po pierwsze możliwe jest usprawnienie działalności wszystkich działów w firmie, a po drugie wdrożenie elektronicznego obiegu dokumentów nie będzie przeszkodą w relacjach z urzędem skarbowym.

Całość artykułu znajduje się na tej stronie. Są tam również artykuły dot. historii OCR-a, schematu działania (o tym już pisałem na blogu), a także o najpopularniejszych programach.

Post Rozponawanie tekstu w przedsiębiorstwie pojawił się poraz pierwszy w OCR w dokumentach.

Obecnie moduł OCR najczęściej wykorzystywany jest w przedsiębiorstwach przy zarządzaniu elektronicznymi dokumentami. Jeśli przyjąć za kryterium wyboru sprawność w digitalizacji tradycyjnych dokumentów, a także procesy zarządzające ich obiegiem, jednym z ciekawszych rozwiązań na rynku jest WEBCON Business Process Suite, którego integralną częścią jest wbudowany OCR.

Charakterystyczne cechy OCR w WEBCON BPS:

– oparty jest na logice algorytmów rozmytych – wyszukuje i zaznacza słowa kluczowe (np. NIP, data płatności), przez co nie ma konieczności tworzenia dedykowanego szablonu dla każdego kontrahenta. Informacje są pobierane i uzupełniane samoczynnie, a następnie przekazywane w systemie obiegu dokumentów do akceptacji.

– posiada prosty i przejrzysty panel obsługi skanowanych dokumentów. Najważniejsze informacje przenoszone są automatycznie do elektronicznego formularza i za pomocą jednego kliknięcia myszy można sprawdzić, w którym miejscu znajdują się na oryginale. Znaki, co do których program nie ma pewności, są zaznaczane na czerwono i mogą być edytowane

– jest systemem weryfikacji dokumentów stworzonym na bazie Microsoft SharePoint, dzięki czemu nie potrzebne są ani programy zewnętrzne, ani dodatkowe szkolenia dla pracowników, gdyż program cechuje znany i przyjazny interfejs

– jest zintegrowany z workflow, co pozwala np. na OCR dokumentów trafiających na foldery Exchange, prostą integrację z zewnętrznymi systemami oraz łatwe zaprojektowanie kompletnego obiegu dokumentów wewnątrz firmy.

– daje możliwość automatyzacji procesu skanowania dokumentów dzięki systemowi odczytu kodów kreskowych

– daje możliwość automatycznej rejestracji faktur w systemie obiegu dokumentów

– daje możliwość automatycznej rejestracji dokumentów przychodzących pocztą e-mail, faksem lub za pomocą EDI (Electronic Document Interchange)

–  daje możliwość ręcznej rejestracji dokumentów

– zapewnia szybkie i wielowątkowe procesowanie przychodzących dokumentów, dzięki silnikowi ABBYY Flexi Capture, umożliwiającemu m.in. samoczynne rozpoznawanie, klasyfikowanie i sortowanie dokumentów

Podsumowanie:

Jak widać możliwości jest sporo i wiele elementów zostało zaprojektowanych w sposób, który ułatwiałby wykorzystanie OCR-a na co dzień. Co prawda duży zakres funkcjonalności oferuje także np. Kofax Capture, ale jego wykorzystanie z co najmniej kilku powodów jest problematyczne. Jest przede wszystkim drogi, a w dodatku Kofax przestał supportować swoje produkty w Polsce. Ponadto jest zewnętrzną aplikacją, co powoduje że trzeba go integrować z elektronicznym systemem obiegu dokumentów (jeśli firma takowy posiada). Wymaga także osobnych serwerów i osobnej obsługi.

Post Zastosowanie modułu OCR w praktyce pojawił się poraz pierwszy w OCR w dokumentach.

1. Ręczna rejestracja z zastosowaniem elektronicznego systemu obiegu dokumentów:

– faktury rejestrowane są ręcznie, przez pracowników oddelegowanych do tego zadania
– dzięki elektronicznemu systemowi obiegu dokumentów, wiadomo dokładnie w którym miejscu znajduje się dana faktura
– trafia ona bezpośrednio do właściciela biznesowego, bez konieczności jej ręcznej dekretacji
– system spełnia funkcję kontrolną nad procesem akceptacji zarejestrowanej faktury
a)      Zyski:
– brak potrzeby ręcznej dekretacji faktury
– brak potrzeby fizycznego przekazywania faktury do akceptacji
– brak możliwości zagubienia faktury podczas procesu akceptacji
– zgodność z procedurą i polepszenie jakości danych
– oszczędność czasu

b)      Potencjalne zagrożenia:
– ręczna rejestracja jest procesem czasochłonnym, m.in. ze względu na stosowanie niejednolitych schematów dokumentów
– w przypadku firm otrzymujących znaczną ilość faktur (np. powyżej 1000 miesięcznie), konieczne jest zatrudnienie co najmniej kilku osób do ich rejestracji
– w firmach, które otrzymują większość faktur, tuż przed końcem okresu rozliczeniowego (np. biura rachunkowe), konieczne może być oddelegowanie bądź zatrudnienie dodatkowych osób do ich rejestracji, co generuje dodatkowe, wymierne koszty. Poza intensywnym okresem, dodatkowo zatrudnione osoby są zazwyczaj niewykorzystywane

2. Rejestracja za pomocą OCR w tradycyjnym systemie obiegu dokumentów:

– faktury rejestrowane są za pomocą skanerów i specjalnego oprogramowania
– ingerencja użytkownika ogranicza się do obsługi skanera i weryfikacji procesu
– faktura musi zostać ręcznie zadekretowana i fizycznie przekazana do akceptacji

a)      Zyski:
– oszczędność czasu – proces rejestracji przy pomocy OCR jest krótszy od tradycyjnego
– oszczędność pieniędzy – w trakcie wzmożonego okresu napływu faktur, wydajność systemu pozwala na ich rejestrację bez konieczności oddelegowywania bądź zatrudniania dodatkowych osób
– ogromne uproszczenie procesowania dokumentów przychodzących do firmy w formie elektronicznej (np. faktura przesyłana przez dostawcę mailem)

b)      Potencjalne zagrożenia:
– pomyłki w dekretacji
– długi proces akceptacji, który może poskutkować m.in. karami finansowymi i pogorszeniem relacji biznesowych z kontrahentami
– brak możliwości dokładnego śledzenia etapów na których znajduje się faktura

3. Model z wykorzystaniem OCR i elektronicznego systemu obiegu dokumentów:

– faktura rejestrowana jest elektronicznie i wymaga jedynie weryfikacji
– następnie zostaje automatycznie wprowadzona w obieg, zadekretowana i przedłożona w elektronicznym systemie, odpowiednim osobom do akceptacji

a)      Zyski:
– czas potrzebny do wykonania całego procesu ograniczony jest do minimum
– koszty związane z procesowaniem faktury są zazwyczaj niższe niż w przypadku zastosowania innych rozwiązań
– wydajność systemu pozwalająca na obsłużenie nawet najbardziej wymagających przedsiębiorstw
– wyeliminowane zostaje ryzyko zagubienia bądź zniszczenia faktury
– ew. błędy mogą być łatwo i szybko korygowane
– wszelkie dane w systemie są zawsze kompletne i łatwo dostępne
– redukcja ilości osób zajmujących się rejestrowaniem dokumentów

b)      Potencjalne zagrożenia:
– w przypadku systemów starszego typu zachodzi konieczność tworzenia i utrzymywania szablonów OCR dla każdego typu otrzymywanych przez firmę faktur. Dzieje się tak dlatego, że szablony takie wyszukują konkretne informacje (np. NIP dostawcy) w konkretnych częściach dokumentu (np. prawy górny róg). To powoduje, że dla niemal każdego dostawcy należy przygotować dedykowany szablon, a w przypadku zmiany w szablonie faktury po stronie dostawcy, należy również zmodyfikować szablon OCR. Nowsze rozwiązania OCR umożliwiają definiowanie tzw. szablonów uniwersalnych – system wyszukuje wówczas konkretne słowa kluczowe i znaki (np. „NIP” i następujący po nim ciąg znaków „NNN-NNN-NN-NN”) bez względu na jego położenie na fakturze. Ciekawy przykład tego typu rozwiązania można zobaczyć tutaj.
– powiększenie stopy bezrobocia, poprzez ograniczenie zatrudnienia spowodowanego automatyzacją przebiegu procesowania faktur

Post OCR – jakie płyną z niego korzyści? pojawił się poraz pierwszy w OCR w dokumentach.