Pamiętacie wpis o reCAPTCHY*, który ujawniał jak na co dzień skanujemy książki? Teraz czas na system, który pozwala wykorzystać zeskanowane materiały. Ngram Viewer, bo o nim mowa, stworzony został przez Google Labs i zawiera bazę ponad 5 milionów książek (zawierający 500 miliardów słów!) z lat 1800-2008, które poddano OCR-owaniu w firmie Larry’ego Page’a.

Wszystkie mole książkowe, którym zaświeciły się w tym miejscu oczy, na myśl o dostępie do tych wszystkich zbiorów, muszę ostrzec: Ngram Viewer służy głównie do badań statystycznych i językoznawczych. Nie ma możliwości przeczytania danego dzieła od deski do deski, można co najwyżej podejrzeć pewne fragmenty. 

Jak to działa?

Ale po kolei. Narzędzie Google służy do wyszukiwania pożądanych fraz, w danym przedziale czasowym i języku zeskanowanych publikacji. Dane zwracane są w formie wykresu, który prezentuje poziom częstotliwości występowania danego słowa na przestrzeni czasu. Możliwe jest wyszukiwanie złożonych fraz (np. atak terrorystyczny) jak i zestawianie ich ze sobą (np. Bóg i nauka jak na obrazku poniżej). 

Ponadto możliwe jest podejrzenie 40 wybranych przez system publikacji, które przedstawiać będą znalezione słowa. Dlaczego tylko tyle? Ponieważ w przypadku większych ilości Ngram Viewer mógłby dostać czkawki.

„Wszystko fajnie, tylko po co”?

Do czego można wykorzystać narzędzie Google Labs? Początkowy zamysł był taki, aby narzędzie służyło głównie historykom i językoznawcom. Ngram Viewer okazuje się bardzo przydatny w badaniach lingwistycznych i w prosty sposób pozwala na wychwycenie jak zmieniała się popularność poszczególnych słów, a co za tym idzie, jak zmieniał się sam język na przestrzeni lat. Co jeszcze można wycisnąć z tego narzędzia?

W bardzo przejrzysty sposób można zaobserwować np. trendy w postępie technologicznym. Zestawienie fraz tj.: statek, kolej, samolot pokaże stopień i skalę przemian. Z drugiej strony można zestawiać także mężczyzn i kobiety, marketing i innowacje, otyłość i fast food itd. Warto samemu spróbować i zobaczyć co wyjdzie. Oczywiście wyniki należy traktować raczej orientacyjnie, a nie jako ścisły dowód naukowy. 

Ngram Viewer na pewno przyda się także literaturoznawcom, którzy będą mieli możliwość np. zestawienia konkretnych wyrazów opisujących emocje z daną epoką. Możliwości jest sporo.

A błędy?

O tym, że OCR nie jest wolny od błędów wie na pewno każdy czytelnik niniejszego bloga. Co prawda 99%, a nawet 99,5% to sporo, ale margines błędu zawsze jest. Nie inaczej jest i w tym przypadku. Polecam prześledzenie case study słowa fuck/suck z tego linka. W skrócie rzecz rozbija się o pisownie „suck” w starych pismach, którą OCR interpretuje jako „fuck”, dając tym samym fałszywe wyniki wykorzystania słowa np. w XIX wieku. Swoją drogą, to nieco ironiczna pomyłka, prawda?

Takich błędów jest pewnie więcej, dlatego zawsze należy podchodzić do wyników z rezerwą. 

Co dalej?

Póki co system od Google Labs nie zachwyca, wziąwszy pod uwagę np. możliwość przeglądania książek, dokładność czy interfejs graficzny. Z pewnością natomiast drzemie w programie ogromny potencjał i jestem pewien, że w przyszłości będzie miał do zaoferowania dużo więcej. Ponadto jest żywym dowodem na to, że OCR to bardzo pożyteczna technologia, która zwyczajnie służy ludziom i zachowaniu ich dziedzictwa kulturowego w postaci książek. 

Na marginesie: Ngram Viewer nie jest dostępny niestety dla polskich zbiorów. Oferuje za to języki tj.: angielski, francuski, rosyjski, niemiecki, włoski, hiszpański, hebrajski i kilka innych. Może kiedyś się doczekamy się także i naszego ojczystego.

* Wpis o reCAPTCHY stał się zdecydowanym hitem tego bloga. Dzięki poleceniom, linkom i portalowi wykop.pl zobaczyło go ponad 10 000 osób. Dzięki!

Post Ngram Viewer – kolejny przykład wykorzystania OCR pojawił się poraz pierwszy w OCR w dokumentach.

26% użytkowników OCR

skanuje 100 lub mniej dokumentów na dzień.

10% użytkowników OCR

procesuje ponad 10 000 dokumentów na dzień!

88%

– taki odsetek respondentów korzysta ze skanowania w pracy. Jednakże tylko 32% z nich używa do tego OCR.

55%

– ponad połowa z przepytanych osób skanuje dokumenty, a następnie ręcznie przepisuje zawarte w nich dane, korzystając przy tym z systemu workflow

Powyżej ilość dokumentów (formularzy) skanowana dziennie przy użyciu OCR i bez niego.

Jak widać na  grafice, OCR najczęściej wykorzystywany jest do skanowania 100-500 dokumentów dziennie. W sumie 29% respondentów z jego użyciem skanuje ponad tysiąc dokumentów na dzień. Daje to spore pole manewru do zaoszczędzenia czasu (i pieniędzy) w przedsiębiorstwach, w których wykorzystuje się takie ilości papierowych dokumentów.

Główne przyczyny braku wykorzystania mechanizmów skanowania w trakcie procesowania dokumentów:

• Planujemy to zrobić
• Każdy dział/process/lokalizacja podejmuje samodzielne decyzje
• Nikt nie został przypisany do ewaluacji takiego rozwiązania
• Nie procesujemy tak dużo dokumentów żeby to się opłacało
• Sądzimy, że nie przyniesie to wystarczającego zwrotu z inwestycji
• Mamy zbyt dużo typów dokumentów
• W sumie procesujemy wystarczająco dużo dokumentów (żeby wdrożyć system skanowania), lecz przeszkodą jest decentralizacja
• Management preferuje tradycyjne metody

Powyższe dane wskazują, że głównym problemem jest niewiedza o możliwościach OCR/ICR, brak wykazania inicjatywy w uruchomieniu projektu mającego na celu wdrożenie tej technologii oraz zbyt mała skala procesowanych dokumentów.

Jak wykorzystujesz zeskanowane dane ze swoich formularzy?

• Indeksowanie lub archiwum
• Indeksowanie w celu zainicjowania dalszych procedur w workflow
• Indeksowanie dla słów kluczowych oraz pełnotekstowe wyszukiwanie
• Skanowanie i rozpoznawanie informacji dla procesów finansowych
• Częściowe rozpoznawanie informacji dla innych procesów (np. adres, dane osobowe)
• Pełnotekstowe skanowanie i rozpoznawanie do dalszego procesowania

Jak widać, póki co w dużej mierze skanowanie za pomocą OCR służy do indeksowania i archiwizowania, ale widać wyraźny trend, który wskazuje, że coraz częściej optyczne rozpoznawanie znaków wykorzystywane jest do bardziej zaawansowanych czynności.

Jak szacunkowo według Ciebie zwiększyłaby się efektywność twojego personelu administracyjnego, gdybyś mógł zautomatyzować rozpoznawanie pisma ręcznego?

Jak widać powyżej mediana wynosi ok. 22,5%, ale najwięcej respondentów wskazała na 50%-owy wzrost wydajności. ICR (Intelligent Character Recognition) zapewnia możliwość skanowania odręcznego pisma, wraz z algorytmami uczącymi się i dostosowującymi do charakteru pisma użytkowników.

Zaprezentowane dane wskazują, iż technologia OCR jest coraz częściej wykorzystywana w przedsiębiorstwach, lecz wciąż w wielu przypadkach nie jest darzona odpowiednim zaufaniem lub brakuje rozpoznania potrzeby jej wdrożenia. Tymczasem pozwala ona na znaczne oszczędności czasowe i kosztowe. Z doświadczenia wiem, że jeśli firma zainwestuje w odpowiednio skuteczne oprogramowanie, wówczas w znakomitej większości przypadków jest z niego zadowolona i poddaje skanowaniu coraz więcej dokumentów.

Dane zostały zaczerpnięte z raportu AIIM, znajdującego się tutaj.

Post Wykorzystanie OCR – badania i statystyki pojawił się poraz pierwszy w OCR w dokumentach.

Autorem tekstu jest p. Kinga Rocławska:

„Jeśli jedna osoba przepisywałaby ręcznie 1 stronę A4 dziennie, to w ciągu roku spędziłaby 15 dni roboczych czyli 3 tygodnie pracy na tej czynności. Natomiast jeżeli dwudziestu pracownikom firmy zajmuje po 30 minut w ciągu dnia ręczne przepisywanie tekstu, strata czasu jest 20-krotnie wyższa.”

„Nawet 80 stron na minutę potrafi przeskanować i przetworzyć biurowy skaner, wykonując przy tym operacje OCR. ABBYY FineReader wprowadza do komputera tekst drukowany 100 razy szybciej niż profesjonalna maszynistka (30 000 słów na minutę). Jedna osoba jest w stanie wprowadzić dziennie do systemu dane z 200 formularzy, czyli z 4400 miesięcznie. Aby wprowadzić ręcznie 100 000 stron formularzy miesięcznie wymagane jest zaangażowanie do pracy 23 osób. Przy zastosowaniu ABBYY FlexiCapture 8.0 Pro jeden pracownik może zweryfikować i wprowadzić dziennie dane z ok. 1000 formularzy. Czyli wystarczy zaangażować w ten proces 5 ludzi oraz jednego administratora lub managera.”

„Standardem w firmach zarówno polskich, jak i zagranicznych jest papierowy obieg faktur zakupu. Największe wady tego sposobu to gubienie faktur, ich długie przetrzymywanie oraz kilkukrotne krążenie po firmie. Aby rozwiązać te problemy, coraz więcej firm decyduje się na wdrażanie rozwiązań do skanowania i elektronicznego obiegu faktur. Proces ten polega na zeskanowaniu posortowanych faktur, poddaniu ich obróbce OCR i ICR, a następnie sczytaniu z nich uprzednio sprawdzonych danych do systemu. Rozpoznawaniu są poddawane miedzy innymi: data dokumentu, numer rachunku bankowego, NIP oraz wartości kwotowe faktury, czyli kwota netto, kwota brutto, VAT. System umożliwia ręczną korektę tych danych. Oszczędności związane z wykorzystywaniem elektronicznego obiegu faktur można zaobserwować w firmach otrzymujących od 5 tyś. faktur wzwyż rocznie (dane z 2009 roku). Zamiana obiegu papierowego na obieg elektroniczny przynosi pożytek dla wszystkich działów uczestniczących w tym procesie i jest akceptowana przez urzędy skarbowe.”

Pani Kinga, posiłkując się materiałami źródłowymi, przedstawiła dość ciekawe wyliczenia, wskazujące na to ile czasu (a co za tym idzie pieniędzy) można zaoszczędzić wykorzystując mechanizm OCR. Bardzo istotne zdaje się być ostatnie zacytowane przeze mnie zdanie, które wskazuje że po pierwsze możliwe jest usprawnienie działalności wszystkich działów w firmie, a po drugie wdrożenie elektronicznego obiegu dokumentów nie będzie przeszkodą w relacjach z urzędem skarbowym.

Całość artykułu znajduje się na tej stronie. Są tam również artykuły dot. historii OCR-a, schematu działania (o tym już pisałem na blogu), a także o najpopularniejszych programach.

Post Rozponawanie tekstu w przedsiębiorstwie pojawił się poraz pierwszy w OCR w dokumentach.