Dlaczego? Załóżmy, że firma Kowalski ma 100 kontrahentów, od których regularnie dostaje faktury. Każdy z nich ma inny wzór dokumentu, przez co manualne rejestrowanie tychże staje się dość uciążliwe, ponieważ większość czasu pracownicy spędzają na odszukiwaniu poszczególnych danych.

Dlatego też firma Kowalski decyduje się na wdrożenie systemu obiegu dokumentów ze zintegrowanym modułem OCR, aby proces ten przyspieszyć i zoptymalizować.

OCR a obieg dokumentów

Jak działa takie rozwiązanie? Mamy dwa podstawowe warianty. Pierwszy zakłada, że kontrahenci firmy Kowalski idą z duchem czasu i zamiast zasypywać siedzibę firmy zbędnym papierem, przysyłają na odpowiednią skrzynkę faktury drogą e-mailową. Wówczas są one przechwytywane, automatycznie poddawane skanowaniu przez OCR, poszczególne wartości (np. kwota netto/brutto, NIP, data wystawienia itd.) przenoszone są automatycznie do elektronicznego formularza, a skan faktury załączany do obiegu. W dalszej kolejności dokument przechodzi przez ścieżkę akceptacji i trafia do archiwum.

Drugie rozwiązanie opiera się na tradycyjnej metodzie przesyłania faktur papierowych. Wówczas te wymagają ręcznego ich zaniesienia do skanera, a następnie uruchomienia odpowiedniego obiegu. Dalej proces wygląda tak samo jak w poprzednim przykładzie.

W porządku. Jak zatem działa OCR „pod spodem” na przykładzie faktur w elektronicznym obiegu dokumentów? Zasadniczo mamy dwie możliwości konfiguracji: za pomocą szablonu dedykowanego i uniwersalnego.

Szablon dedykowany OCR

Szablony dedykowane tworzy się osobno dla każdego kontrahenta, zgodnie ze wzorem jego faktury. Wówczas wskazujemy jakie konkretne informacje znajdować będą się w poszczególnych miejscach na danej fakturze. Rozwiązanie to pozwala na osiągnięcie bardzo wysokiej skuteczności rozpoznawania znaków, dzięki czemu zredukowany do minimum zostaje czas, potrzebny na sprawdzenie poprawności działania mechanizmu OCR. Niestety rozwiązanie to ma także swoje wady. Zakładając, że firma Kowalski ma 100 kontrahentów, którzy przysyłają jej faktury, zajdzie konieczność stworzenia 100 osobnych szablonów dla każdego z nich. Przyjmijmy, że stworzenie jednego szablonu dedykowanego zajmuje średnio pół dnia roboczego. Wychodzi na to, że aby uruchomić OCR faktur, na samo tworzenie szablonów należy poświęcić prawie 2 miesiące… A co jeśli po jakimś czasie wzór faktury kontrahentów się zmieni? A co jeśli będziemy chcieli wdrożyć OCR dla innych typów dokumentów?

Szablon uniwersalny OCR

Alternatywą jest wykorzystanie szablonu uniwersalnego OCR. Wówczas rozpoznawane są poszczególne nazwy, tj. NIP, nazwa kontrahenta, kwota netto itd. bez względu na ich położenie na formularzu. Dzięki temu implementowany jest tylko jeden szablon dla wszystkich faktur. Rozwiązanie to zapewnia zdecydowanie krótszy czas wdrożenia, a także nie wymaga wprowadzania modyfikacji w przypadku zmian we wzorze faktur kontrahentów. Jedynym minusem uniwersalnego szablonu jest fakt, iż zapewnia on nieznacznie mniejszą skuteczność rozpoznawania znaków od szablonów dedykowanych. Jednakże ze względu na fakt, iż praktycznie zawsze efekty działania OCR weryfikowane są przez człowieka, nie powinno być to zbyt uciążliwe.

Sieci neuronowe?

Bardzo obiecującym rozwiązaniem wydaje się być zastosowanie sieci neuronowych w rozpoznawaniu znaków. Tego typu mechanizmy mają zdolność uczenia się wraz z kolejnym zeskanowanym dokumentem, podnosząc tym samym skuteczność działania OCR. Wkrótce postaram się napisać więcej o tego typu oprogramowaniu.

Co wybrać?

Szablony dedykowane są rozwiązaniem przestarzałym, czasochłonnym we wdrożeniu i drogim w utrzymaniu. Obecnie optymalnym wyborem będzie zastosowanie szablonów uniwersalnych, które są zdecydowanie bardziej elastyczne i wydajne kosztowo. Niemniej jednak przyszłość może należeć do sieci neuronowych, które stale rozwijane będą w stanie dostarczać nową jakość w pełnotekstowym skanowaniu dokumentów.

Post Szablon OCR – dedykowany czy uniwersalny? pojawił się poraz pierwszy w OCR w dokumentach.

Obecnie oprócz reklamowania szemranych produktów i usług, spam na stronach internetowych służy również m.in. do: manipulowania wynikami ankiet, masowego linkowania, rozprowadzania złośliwego kodu czy naruszania integralności kodu stron. Szacuje się, że aż 90% wiadomości wysyłanych w Internecie to spam.

Od dekady jednym ze skuteczniejszych mechanizmów służących do obrony przed spamem jest CAPTCHA oraz jej pochodne tj. reCAPTCHA. Pomysłowość osób rozsyłających spam sięga coraz dalej i nawet CAPTCHA niekiedy bywa zawodna. Zobaczmy jakie są 3 najczęstsze sposoby jej łamania:

OCR

Technologia Optical Character Recognition nieustannie się rozwija. Obecnie topowe rozwiązania potrafią rozpoznać 99% znaków w przypadku dokumentów o przyzwoitej jakości. Fakt ten nie umknął spamerom, którzy coraz częściej wykorzystują OCR do łamania kodów serwowanych przez CAPTCHE. W wielu przypadkach nawet szumy, zakłócenia i zniekształcenia to zbyt mało by przeszkodzić w rozpoznaniu znaków.

Obecnie wiele haseł serwowanych przez programy zabezpieczające jest tak trudna, że nawet ludzie mają problemy z jej rozpoznaniem. Wszystko wskazuje na to, że ciągłe udoskonalanie programów OCR doprowadzi do zmierzchu CAPTCHy, która swoim skomplikowaniem zniechęca wielu użytkowników do jej rozwiązywania i podejmowania wielokrotnych prób. Stworzono nawet mechanizm CRAPTCHA stworzony do trollowania sfrustrowanych internautów poprzez przedstawianie znaków niemożliwych do przepisania.

Smutny jest niestety fakt, iż technologia, która powinna służyć pożytecznym i ambitnym projektom, tj. digitalizacja starych księgozbiorów, wykorzystywana jest do ułatwienia spamerom zaśmiecania sieci. Sytuacja ta przypomina nieco losy najsłynniejszego wynalazku Alfreda Nobla. Dynamit z założenia miał pomagać w rozwoju cywilizacyjnym, lecz po pewnym czasie został wykorzystany przeciwko cywilizacji.

Ludzkie farmy

Innym sposobem radzenia sobie z mechanizmami CAPTCHA jest tania siła robocza. Jak to działa? Spamboty próbując dostać się do danej strony internetowej napotykają na hasło do rozwiązania. Robią zrzut ekranu i wysyłają go do osób, które zdecydowały się za grosze (1-2$ dziennie) rozpoznawać tego typu tekst. Wprowadzenie takiego trybu działania w państwach zachodnich byłoby nieopłacalne ze względu na koszt pracy. Niestety wykorzystanie taniej siły roboczej z krajów tj. Indie, Pakistan czy Filipiny umożliwia zastosowanie tego typu metod. Ile to kosztuje? Za rozwiązanie 5000 CAPTCHY zapłacimy niecałe… 7 dolarów.

Fałszywa CAPTCHA

Szukasz w Internecie informacji. Aby uzyskać do niej dostęp musisz rozwiązać CAPTCHE. Wprowadzasz hasło. Źle. Drugi raz. Trzeci. Za czwartym wiesz już na pewno, że wprowadziłeś poprawne dane, a mimo to nie możesz przejść dalej. Właśnie stałeś się częścią darmowej ludzkiej farmy do rozpoznawania znaków. Mechanizm jest bardzo podobny jak w poprzednio omawianym przypadku, z tą różnicą że wykorzystuje nieświadomość użytkownika i podstawia mu kod, który tak naprawdę posłuży kolejnemu spambotowi.

Zabezpieczenie cyberprzestrzeni staje się coraz trudniejsze dla webmasterów i coraz bardziej uciążliwe dla użytkowników.  Obecnie rozwiązanie CAPTCHY zajmuje około 15-20 sekund. To wystarczająco dużo, aby porzucić stronę. Szczególnie jeśli jedna próba nie wystarczy. Na rynku pojawiają się coraz nowsze rozwiązania. Wśród nich obiecująco zapowiadają się proste i interaktywne animacje, w których np. trzeba sportowcom przydzielić odpowiedni do zajmowanego miejsca medal.

Wszystko wskazuje na to, że wojna spamerów z webmasterami nigdy się nie skończy. Zmienią się jedynie narzędzia prowadzenia walki. Najwięcej ucierpią niestety cywile, czyli my – zwykli Internauci.

Komiksy pochodzą ze strony: xkcd.com

AKTUALIZACJA:

Z ostatniej chwili: w sieci pojawił się filmik, którego autorzy twierdzą, że złamali CATPCHę. Do obejrzenia (i poczytania) tutaj: http://www.wired.com/wiredscience/2013/10/captcha-busted/

Post CAPTCHA kontra spam – czy OCR będzie kolejnym dynamitem? pojawił się poraz pierwszy w OCR w dokumentach.

Agencją, która w największym stopniu śledzi życie obywateli w cyberprzestrzeni jest NSA – National Security Agency. Były agent NSA, Sang Mun, który przez dwa lata pracował w Korei  i miał okazję z pierwszej ręki dowiedzieć się jak wydobywa się cenne dane, postanowił się temu procederowi sprzeciwić. Opracował specjalny rodzaj czcionek, nazwanych ZXX (od trzyliterowego kodu wykorzystywanego w Bibliotece Kongresu, którym oznaczane są książki o statusie: „brak treści językowej; nie dotyczy”), które są nie do rozpoznania, nawet przy zastosowaniu najbardziej zaawansowanych mechanizmów OCR.

Jak działa ZXX?

Spośród sześciu opracowanych czcionek ZXX, zeskanowane i rozpoznane mogą być tylko dwie. Pozostałe cztery: Camo, False, Noise i Xed uniemożliwiają programom Optical Character Recognition na odczytanie znaków z jakąkolwiek sensowną trafnością.

Cały trik polega na tym, iż do poszczególnych liter dodane są określone efekty, które z jednej strony nie pozwalają maszynie na poprawne rozpoznanie, a z drugiej nie są na tyle uciążliwe by nie mogły być odczytane przez człowieka. I tak:

Czcionka Camo została skonstruowana w taki sposób, by zakamuflować „szkielet” tradycyjnego znaku. Dodane zostały różne owalne i nieregularne kształty, przypominające maskowanie na żołnierskich mundurach.

Czcionka False opiera się na zgoła innym założeniu. W tym przypadku w duże litery (fałszywe) wpisane są mniejsze (prawdziwe), co powoduje, że OCR odczytuje mniejszy znak, jako szum. Proste, lecz skuteczne.

Czcionka Noise zawiera szumy w postaci kwadratów, które okalają dany znak. Każdy z nich został przetestowany pod kątem tego, jaką ilość szumów należy dodać, aby zmylić program skanujący. Okazało się, że litera „m”, jest najlepiej rozpoznawana i wymagała dodania największej ilości szumów.

Czionka Xed zawiera „iksy” w każdej literze i cyfrze, rozciągające się na całą powierzchnię znaku.  Dzięki temu OCR ma ogromne problemy z rozpoznaniem kształtu. Xed jest najskuteczniejszą z wszystkich czcionek, a w dodatku bardzo łatwą do odczytania przez ludzkie oko.

Zmiksowanie wszystkich czterech powyższych typów zapewni natomiast najlepszy możliwy efekt, zmniejszając tym samym skuteczność OCR-a do wartości na granicy błędu statystycznego.

Więcej informacji w filmiku poniżej:

Zastosowanie czcionek ZXX

Jak podaje autor, celem wykorzystania czcionek jest umożliwienie swobodnego przepływu informacji w sieci, z dala od oczu „Wielkiego Brata”. ZXX może omijać firewalle, a także służyć tzw. „whistle blowerom”, czyli ludziom tj. Edward Snowden, którzy ujawniają niemoralne i niezgodne z prawem praktyki organizacji rządowych i korporacji.

Jednakże, głównym celem stworzenia ZXX przez Sang Muna, jest zwiększenie świadomości społecznej i poważna debata dotycząca prywatności w sieci. To swego rodzaju manifest nawołujący do sprzeciwu wobec naruszenia podstawowych praw obywatelskich.

Na koniec należy zwrócić uwagę na jeszcze jeden fakt. Zastosowanie ZXX ma sens tylko w przypadku plików graficznych i ew. kopii papierowych. Z tego względu, że z punktu widzenia programistycznego zwykłe „a” to taki sam ciąg zer i jedynek jak „a” w ZXX czy każdej innej czcionce. Dlatego też w przypadku np. wpisu na blogu nie wymagany jest OCR by rozpoznać wszystkie znaki, gdyż zawierają one uniwersalne kodowanie. Ponadto nie ulega wątpliwości, iż kwestią czasu jest aż NSA przystosuje algorytmy swojego OCR do nowych, mylących czcionek. Dlatego póki co, mimo wszystko warto uważać na to co się w sieci umieszcza.

Post ZXX – sposób na przechytrzenie NSA pojawił się poraz pierwszy w OCR w dokumentach.

Mitnick, w książce „Sztuka Podstępu” udowadniał jak wiele ważnych informacji można znaleźć w pojemniku na odpady umieszczonym obok siedziby firmy. Dane pracowników, numery kont bankowych, korespondencję i wiele innych. Posiadając taką wiedzę, manipulowanie pracownikami okazywało się czynnością dziecinnie prostą.

Jednakże wciąż w bardzo wielu organizacjach, kiedy przywołany zostaje temat zastąpienia papierowych dokumentów elektronicznymi, pracownicy obawiają się o bezpieczeństwo. Brak wiedzy, ignorancja czy zbytnie przyzwyczajenie do papieru? Przyjrzyjmy się jakie największe zagrożenia niesie ze sobą wykorzystywanie papierowych dokumentów.

1. „Gdzieś się zapodział”.

Około 50% przypadków naruszenia bezpieczeństwa danych wynika z zagubienia dokumentu papierowego. I nic dziwnego. Często wędrują one po całej firmie, od działu do działu. Składane są na kupki, wkładane do segregatorów i szuflad. Przechodzą przez ręce kilkunastu(dziesięciu) pracowników i tylko kwestią czasu jest jak któryś z nich się zapodzieje. Nie ma jasnej ewidencji u kogo się aktualnie znajduje, kto i kiedy zmienił jego położenie. Pół biedy, jeśli został źle skatalogowany. Dużo gorzej w przypadku gdy trafia w niewłaściwe ręce. A konkurencja nie śpi…

2. „Tego tu nie było”.

Kolejnym zagrożeniem jakie stwarzają dokumenty papierowe jest manipulowanie danymi. O ile w systemie klasy BPM/DMS, który pilnuje użytkowników w trakcie wprowadzania informacji, bardzo ciężko jest zawrzeć nieprawdziwe informacje (szczególnie jeśli system ten jest zintegrowany z OCR i na podstawie skanu uzupełnia pola). O tyle w przypadku dokumentu papierowego, zamienienie trójki na ósemkę czy sfałszowanie podpisu jest dużo łatwiejsze.

3. „A te dokumenty to pana?”

Dokumenty swobodnie leżące na biurku, zostawione w ogólnodostępnej drukarce, w koszu na śmieci, niezamknięte szafki, omyłkowo wysłane faksy itd. Potencjalnych zagrożeń jest wiele, a nieautoryzowany dostęp do poufnych informacji może być fatalny w skutkach. Tymczasem elektroniczny obieg dokumentów pozwala na zdefiniowanie kto będzie miał dostęp do których informacji. Ponadto dane mogą być szyfrowane i nawet w przypadku kiedy dostaną się w niepowołane ręce, mogą być chronione.

Wnioski

„Jeżeli jesteśmy do czegoś przyzwyczajeni, sądzimy, że nam się to sprawiedliwie należy. Postęp nie ma większego wroga niż przyzwyczajenie”. Przytoczone słowa José Martíego, perfekcyjnie wręcz odzwierciedlają największą przeszkodę, która stoi na drodze do pozbycia się papieru. Ludzkie nawyki bywają największą barierą w implementacji nowych rozwiązań. Należy jednak patrzeć na nie z punktu widzenia korzyści: większej produktywności, bezpieczeństwa, a w efekcie i wygody. Bo gdy przyzwyczaimy pracowników do nowego sposobu działania, nie będą już chcieli wracać do starych metod.

Post Dokumenty papierowe a bezpieczeństwo danych pojawił się poraz pierwszy w OCR w dokumentach.

Cały proces jest bardzo prosty. Umieszczając plik PDF lub zdjęcie (JPG, GIF, PNG) na Dysku Google możemy skorzystać z funkcji OCR. Wówczas zostanie on zeskanowany i przekonwertowany do formy tekstowej. Przy tym wszystko odbywa się w chmurze przy minimalnej ingerencji użytkownika końcowego. System obsługuje 34 języki, wśród których jest także polski, a z trudniejszych do odczytania także rosyjski, chiński (uproszczony) i kilka innych rodem z Azji.

Usługa ma jednak swoje limity. Pliki graficzne nie mogą przekraczać 2MB, a pliki PDF 10-u stron. Ponadto materiał poddawany skanowaniu powinien być dobrej jakości, szczególnie jeśli chodzi o rozdzielczość, jakość obrazu czy orientację. Do zadań firmowych to zdecydowanie za mało, jednakże dla zastosowań domowych powinno wystarczyć.

Sporo możliwości daje natomiast aplikacja mobilna, która niedawno doczekała się aktualizacji. Mocno odświeżony został interfejs, a także dodano kilka nowych opcji. Z punktu widzenia tematyki, którą poruszam najbardziej interesująca jest możliwość skanowania z poziomu smartfona. Wystarczy, że zrobimy zdjęcie, np. dokumentowi czy ulotce, a tekst który się tam znajduje zostanie rozpoznany i przekonwertowany do pliku PDF. Szybko, łatwo i przyjemnie. Zastosowań może być sporo, a zważywszy że większość z nas smartfona ma przez większość czasu pod ręką, może się faktycznie przydać. Podejrzewam, że rozwiązanie to szczególnie może zainteresować studentów, którzy będą chcieli skanować notatki, skrypty itp.

Aplikacja dostępna jest w sklepie Google Play, za darmo, pod tym adresem: https://play.google.com/store/apps/details?id=com.google.android.apps.docs

Bez wątpienia Google oferuje użytkownikom swojego wirtualnego dysku sporo przydatnych opcji. Wśród niszczących się dokumentów papierowych, porysowanych płyt CD/DVD i uszkodzonych pendrive’ów, możliwość trzymania plików w chmurze bywa bardzo przydatna i w miarę bezpieczna. Oczywiście pod warunkiem że zabezpieczymy się dobrym, i tylko nam znanym, hasłem.

Przy okazji nie wiem czy wiecie, ale Google przejęło projekt reCAPTCHY. W związku z powyższym przepisując tekst kontrolny na rozmaitych forach i stronach internetowych możemy teoretycznie pomagać w skanowaniu… swoich własnych tekstów umieszczanych w Google Drive.

A tak na zakończenie (w ramach ciekawostki): zwolennicy teorii spiskowych twierdzą, iż drugim dnem dla którego funkcjonuje Google Drive, jest fakt pozyskiwania danych przez Google o swoich użytkownikach. Ciężko to ocenić, choć oczywiście jest to możliwe. Dlatego na wszelki wypadek kluczowe informacje przetrzymujmy mimo wszystko na tradycyjnych nośnikach.

Post Google Drive i darmowy OCR pojawił się poraz pierwszy w OCR w dokumentach.

OCR świetnie sprawdza się w firmach – tam zazwyczaj skanowane wydruki są dobrej jakości i większość programów bez problemu rozpoznaje między 95 a 99% znaków. Dużo gorzej jest np. w przypadku bibliotek. Tam, niektóre ze zbiorów (często już wiekowych) nie stwarzają już tak dobrych warunków do digitalizacji tekstu. Książki bywają zniszczone, pisane archaicznym językiem i niespotykaną obecnie czcionką. To oczywiście dość ekstremalne przypadki, ale dobrze obrazują przeszkody jakie napotyka oprogramowanie.

Przyjrzyjmy się co bywa największym problemem w pełnotekstowym skanowaniu.

1. Jednym z najczęstszych problemów jest słaba jakość druku źródłowego. W przypadku gdy liczba (gęstość) pikseli jest zbyt mała, programy zwyczajnie się gubią, dając albo niepoprawne wyniki, albo w ogóle nie rozpoznając znaków i poszczególnych słów. Jest to najczęstszy i uniwersalny problem dotyczący skanowania.

2. Brak jednolitości tekstu to kolejny czynnik, który zaniża skuteczność rozpoznawania. Korzystanie z różnych czcionek i różnych wielkości ujemnie wpływa na możliwość poprawnego zeskanowania tekstu. W miarę możliwości należy tego unikać, aby otrzymać jak najlepszy efekt.

3. Wyblakłe kolory i zbyt mały kontrast. Optymalnie byłoby, gdyby skanowany tekst miał czcionkę o głębokiej czerni. Niestety rzeczywistość jest mniej różowa i często okazuje się, że barwa poszczególnych liter nie jest wystarczająco wyrazista. Warto także zwrócić uwagę na fakt, iż użycie innych kolorów niż czarny,co również może być przeszkodą dla OCR-a.

4. Tekst nie powinien być także zbyt gęsty. Zbyt duże nagromadzenie tekstu na stronie (liter, paragrafów) może poskutkować niższą skutecznością.

5. Rozmiar czcionki również ma znaczenie. Minimalny próg, w zależności od rodzaju stosowanych algorytmów przez OCR, powinien wynosić między 6 a 8.

Co by nie mówić, technologia idzie do przodu. Programy do rozpoznawania znaków są coraz lepsze, tak jak i materiały skanowane na co dzień (choćby faktury czy umowy). Jestem ciekaw kiedy doczekamy

Na koniec ciekawostka. Znaczenie ma także rodzaj skanowanego papieru (materiału). Ze względu na nietypowy, jak na dzisiejsze czasy, skład papieru, skanowaniu nie poddaje się większości tekstów wydanych przed 1850 rokiem. Aby to zrobić konieczne są dodatkowe analizy oraz ustawienie niestandardowych parametrów dla OCR-a, dostosowanych do skanowanego materiału.

Post 5 największych przeszkód w OCR-owaniu pojawił się poraz pierwszy w OCR w dokumentach.

Pamiętacie wpis o reCAPTCHY*, który ujawniał jak na co dzień skanujemy książki? Teraz czas na system, który pozwala wykorzystać zeskanowane materiały. Ngram Viewer, bo o nim mowa, stworzony został przez Google Labs i zawiera bazę ponad 5 milionów książek (zawierający 500 miliardów słów!) z lat 1800-2008, które poddano OCR-owaniu w firmie Larry’ego Page’a.

Wszystkie mole książkowe, którym zaświeciły się w tym miejscu oczy, na myśl o dostępie do tych wszystkich zbiorów, muszę ostrzec: Ngram Viewer służy głównie do badań statystycznych i językoznawczych. Nie ma możliwości przeczytania danego dzieła od deski do deski, można co najwyżej podejrzeć pewne fragmenty. 

Jak to działa?

Ale po kolei. Narzędzie Google służy do wyszukiwania pożądanych fraz, w danym przedziale czasowym i języku zeskanowanych publikacji. Dane zwracane są w formie wykresu, który prezentuje poziom częstotliwości występowania danego słowa na przestrzeni czasu. Możliwe jest wyszukiwanie złożonych fraz (np. atak terrorystyczny) jak i zestawianie ich ze sobą (np. Bóg i nauka jak na obrazku poniżej). 

Ponadto możliwe jest podejrzenie 40 wybranych przez system publikacji, które przedstawiać będą znalezione słowa. Dlaczego tylko tyle? Ponieważ w przypadku większych ilości Ngram Viewer mógłby dostać czkawki.

„Wszystko fajnie, tylko po co”?

Do czego można wykorzystać narzędzie Google Labs? Początkowy zamysł był taki, aby narzędzie służyło głównie historykom i językoznawcom. Ngram Viewer okazuje się bardzo przydatny w badaniach lingwistycznych i w prosty sposób pozwala na wychwycenie jak zmieniała się popularność poszczególnych słów, a co za tym idzie, jak zmieniał się sam język na przestrzeni lat. Co jeszcze można wycisnąć z tego narzędzia?

W bardzo przejrzysty sposób można zaobserwować np. trendy w postępie technologicznym. Zestawienie fraz tj.: statek, kolej, samolot pokaże stopień i skalę przemian. Z drugiej strony można zestawiać także mężczyzn i kobiety, marketing i innowacje, otyłość i fast food itd. Warto samemu spróbować i zobaczyć co wyjdzie. Oczywiście wyniki należy traktować raczej orientacyjnie, a nie jako ścisły dowód naukowy. 

Ngram Viewer na pewno przyda się także literaturoznawcom, którzy będą mieli możliwość np. zestawienia konkretnych wyrazów opisujących emocje z daną epoką. Możliwości jest sporo.

A błędy?

O tym, że OCR nie jest wolny od błędów wie na pewno każdy czytelnik niniejszego bloga. Co prawda 99%, a nawet 99,5% to sporo, ale margines błędu zawsze jest. Nie inaczej jest i w tym przypadku. Polecam prześledzenie case study słowa fuck/suck z tego linka. W skrócie rzecz rozbija się o pisownie „suck” w starych pismach, którą OCR interpretuje jako „fuck”, dając tym samym fałszywe wyniki wykorzystania słowa np. w XIX wieku. Swoją drogą, to nieco ironiczna pomyłka, prawda?

Takich błędów jest pewnie więcej, dlatego zawsze należy podchodzić do wyników z rezerwą. 

Co dalej?

Póki co system od Google Labs nie zachwyca, wziąwszy pod uwagę np. możliwość przeglądania książek, dokładność czy interfejs graficzny. Z pewnością natomiast drzemie w programie ogromny potencjał i jestem pewien, że w przyszłości będzie miał do zaoferowania dużo więcej. Ponadto jest żywym dowodem na to, że OCR to bardzo pożyteczna technologia, która zwyczajnie służy ludziom i zachowaniu ich dziedzictwa kulturowego w postaci książek. 

Na marginesie: Ngram Viewer nie jest dostępny niestety dla polskich zbiorów. Oferuje za to języki tj.: angielski, francuski, rosyjski, niemiecki, włoski, hiszpański, hebrajski i kilka innych. Może kiedyś się doczekamy się także i naszego ojczystego.

* Wpis o reCAPTCHY stał się zdecydowanym hitem tego bloga. Dzięki poleceniom, linkom i portalowi wykop.pl zobaczyło go ponad 10 000 osób. Dzięki!

Post Ngram Viewer – kolejny przykład wykorzystania OCR pojawił się poraz pierwszy w OCR w dokumentach.

W gruncie rzeczy OCR można wykorzystać w praktycznie każdym przedsiębiorstwie. Jednakże dla jednych będzie on pożytecznym dodatkiem, a dla drugich podstawą w pracy nad dokumentami. I to na tej drugiej grupie chciałbym się skupić w niniejszym tekście.

OCR przyda się szczególnie tam, gdzie występuje duża ilość dokumentów papierowych, które można zastąpić ich elektronicznymi odpowiednikami.

Bankowość i finanse – jedna z najbardziej ‘papiero-żernych’ branż na rynku. Niezliczone stosy raportów, umów i innego rodzaju dokumentów zalegają w sejfach i na biurkach i są zmorą każdego z pracowników. W dużej mierze winne są stosowane procedury, które wymagają posiadania fizycznych kopii dokumentów. Niemniej jednak odpowiedni system informatyczny w połączeniu z OCR jest w stanie sprostać tymże regulacjom i znacznie ograniczyć papierowe szaleństwo.

Handel – branża, w której według badań KPMG marnuje się najwięcej papieru. 1 na 10 (dokładnie 11,6%) kartek ląduje w koszu bez potrzeby. Tymczasem można byłoby sobie ułatwić znacznie życie i procesować wszystko elektronicznie, a jednocześnie zaoszczędzić na kosztach zakupu papieru. O ekologii nie wspominając…

Organizacje publiczne – wszelkiego rodzaju urzędy i organizacje finansowane z budżetu państwa niestety cierpią z jednej strony na zacofanie technologiczne, a z drugiej na absurdalne niekiedy wymogi proceduralne. Konieczność posiadania wszystkiego w formie papierowej w niezliczonych ilościach kopii wydaje się być trwale wpisana w działalność tego typu placówek. Na duże zmiany w najbliższym czasie nie ma co liczyć, choć powoli idziemy widać postęp (w końcu można już złożyć PIT drogą elektroniczną, więc coś się jednak dzieje).

Powyższe trzy branże to tylko bardziej jaskrawe przykłady. Tak naprawdę podać można wiele więcej obszarów dla zastosowania OCR.

Tak nieco na marginesie: lektura raportu KPMG pt. „Wykorzystanie papieru w przedsiębiorstwach działających w Polsce” to dość smutna czynność. Wynika z niej bowiem, że miesięcznie (!) marnowanych jest aż 464 MILIONÓW kartek papieru.

Aczkolwiek żeby nie było tak negatywnie na koniec, jedno wyróżnienie, które wędruje dla branży energetycznej. Tam (np. w Grupie TAURON) dość systematycznie wdraża się kompleksowe rozwiązania IT, które mają na celu realizowanie większości procesów w formie elektronicznej. Póki co klienci jeszcze tego tak nie odczuwają, ale przynajmniej wewnątrz firm dostarczających prąd i ciepło, liczba papieru sukcesywnie maleje.

Post OCR – branże w których najbardziej się przyda pojawił się poraz pierwszy w OCR w dokumentach.

26% użytkowników OCR

skanuje 100 lub mniej dokumentów na dzień.

10% użytkowników OCR

procesuje ponad 10 000 dokumentów na dzień!

88%

– taki odsetek respondentów korzysta ze skanowania w pracy. Jednakże tylko 32% z nich używa do tego OCR.

55%

– ponad połowa z przepytanych osób skanuje dokumenty, a następnie ręcznie przepisuje zawarte w nich dane, korzystając przy tym z systemu workflow

Powyżej ilość dokumentów (formularzy) skanowana dziennie przy użyciu OCR i bez niego.

Jak widać na  grafice, OCR najczęściej wykorzystywany jest do skanowania 100-500 dokumentów dziennie. W sumie 29% respondentów z jego użyciem skanuje ponad tysiąc dokumentów na dzień. Daje to spore pole manewru do zaoszczędzenia czasu (i pieniędzy) w przedsiębiorstwach, w których wykorzystuje się takie ilości papierowych dokumentów.

Główne przyczyny braku wykorzystania mechanizmów skanowania w trakcie procesowania dokumentów:

• Planujemy to zrobić
• Każdy dział/process/lokalizacja podejmuje samodzielne decyzje
• Nikt nie został przypisany do ewaluacji takiego rozwiązania
• Nie procesujemy tak dużo dokumentów żeby to się opłacało
• Sądzimy, że nie przyniesie to wystarczającego zwrotu z inwestycji
• Mamy zbyt dużo typów dokumentów
• W sumie procesujemy wystarczająco dużo dokumentów (żeby wdrożyć system skanowania), lecz przeszkodą jest decentralizacja
• Management preferuje tradycyjne metody

Powyższe dane wskazują, że głównym problemem jest niewiedza o możliwościach OCR/ICR, brak wykazania inicjatywy w uruchomieniu projektu mającego na celu wdrożenie tej technologii oraz zbyt mała skala procesowanych dokumentów.

Jak wykorzystujesz zeskanowane dane ze swoich formularzy?

• Indeksowanie lub archiwum
• Indeksowanie w celu zainicjowania dalszych procedur w workflow
• Indeksowanie dla słów kluczowych oraz pełnotekstowe wyszukiwanie
• Skanowanie i rozpoznawanie informacji dla procesów finansowych
• Częściowe rozpoznawanie informacji dla innych procesów (np. adres, dane osobowe)
• Pełnotekstowe skanowanie i rozpoznawanie do dalszego procesowania

Jak widać, póki co w dużej mierze skanowanie za pomocą OCR służy do indeksowania i archiwizowania, ale widać wyraźny trend, który wskazuje, że coraz częściej optyczne rozpoznawanie znaków wykorzystywane jest do bardziej zaawansowanych czynności.

Jak szacunkowo według Ciebie zwiększyłaby się efektywność twojego personelu administracyjnego, gdybyś mógł zautomatyzować rozpoznawanie pisma ręcznego?

Jak widać powyżej mediana wynosi ok. 22,5%, ale najwięcej respondentów wskazała na 50%-owy wzrost wydajności. ICR (Intelligent Character Recognition) zapewnia możliwość skanowania odręcznego pisma, wraz z algorytmami uczącymi się i dostosowującymi do charakteru pisma użytkowników.

Zaprezentowane dane wskazują, iż technologia OCR jest coraz częściej wykorzystywana w przedsiębiorstwach, lecz wciąż w wielu przypadkach nie jest darzona odpowiednim zaufaniem lub brakuje rozpoznania potrzeby jej wdrożenia. Tymczasem pozwala ona na znaczne oszczędności czasowe i kosztowe. Z doświadczenia wiem, że jeśli firma zainwestuje w odpowiednio skuteczne oprogramowanie, wówczas w znakomitej większości przypadków jest z niego zadowolona i poddaje skanowaniu coraz więcej dokumentów.

Dane zostały zaczerpnięte z raportu AIIM, znajdującego się tutaj.

Post Wykorzystanie OCR – badania i statystyki pojawił się poraz pierwszy w OCR w dokumentach.

Autorem tekstu jest p. Kinga Rocławska:

„Jeśli jedna osoba przepisywałaby ręcznie 1 stronę A4 dziennie, to w ciągu roku spędziłaby 15 dni roboczych czyli 3 tygodnie pracy na tej czynności. Natomiast jeżeli dwudziestu pracownikom firmy zajmuje po 30 minut w ciągu dnia ręczne przepisywanie tekstu, strata czasu jest 20-krotnie wyższa.”

„Nawet 80 stron na minutę potrafi przeskanować i przetworzyć biurowy skaner, wykonując przy tym operacje OCR. ABBYY FineReader wprowadza do komputera tekst drukowany 100 razy szybciej niż profesjonalna maszynistka (30 000 słów na minutę). Jedna osoba jest w stanie wprowadzić dziennie do systemu dane z 200 formularzy, czyli z 4400 miesięcznie. Aby wprowadzić ręcznie 100 000 stron formularzy miesięcznie wymagane jest zaangażowanie do pracy 23 osób. Przy zastosowaniu ABBYY FlexiCapture 8.0 Pro jeden pracownik może zweryfikować i wprowadzić dziennie dane z ok. 1000 formularzy. Czyli wystarczy zaangażować w ten proces 5 ludzi oraz jednego administratora lub managera.”

„Standardem w firmach zarówno polskich, jak i zagranicznych jest papierowy obieg faktur zakupu. Największe wady tego sposobu to gubienie faktur, ich długie przetrzymywanie oraz kilkukrotne krążenie po firmie. Aby rozwiązać te problemy, coraz więcej firm decyduje się na wdrażanie rozwiązań do skanowania i elektronicznego obiegu faktur. Proces ten polega na zeskanowaniu posortowanych faktur, poddaniu ich obróbce OCR i ICR, a następnie sczytaniu z nich uprzednio sprawdzonych danych do systemu. Rozpoznawaniu są poddawane miedzy innymi: data dokumentu, numer rachunku bankowego, NIP oraz wartości kwotowe faktury, czyli kwota netto, kwota brutto, VAT. System umożliwia ręczną korektę tych danych. Oszczędności związane z wykorzystywaniem elektronicznego obiegu faktur można zaobserwować w firmach otrzymujących od 5 tyś. faktur wzwyż rocznie (dane z 2009 roku). Zamiana obiegu papierowego na obieg elektroniczny przynosi pożytek dla wszystkich działów uczestniczących w tym procesie i jest akceptowana przez urzędy skarbowe.”

Pani Kinga, posiłkując się materiałami źródłowymi, przedstawiła dość ciekawe wyliczenia, wskazujące na to ile czasu (a co za tym idzie pieniędzy) można zaoszczędzić wykorzystując mechanizm OCR. Bardzo istotne zdaje się być ostatnie zacytowane przeze mnie zdanie, które wskazuje że po pierwsze możliwe jest usprawnienie działalności wszystkich działów w firmie, a po drugie wdrożenie elektronicznego obiegu dokumentów nie będzie przeszkodą w relacjach z urzędem skarbowym.

Całość artykułu znajduje się na tej stronie. Są tam również artykuły dot. historii OCR-a, schematu działania (o tym już pisałem na blogu), a także o najpopularniejszych programach.

Post Rozponawanie tekstu w przedsiębiorstwie pojawił się poraz pierwszy w OCR w dokumentach.