Mitnick, w książce „Sztuka Podstępu” udowadniał jak wiele ważnych informacji można znaleźć w pojemniku na odpady umieszczonym obok siedziby firmy. Dane pracowników, numery kont bankowych, korespondencję i wiele innych. Posiadając taką wiedzę, manipulowanie pracownikami okazywało się czynnością dziecinnie prostą.

Jednakże wciąż w bardzo wielu organizacjach, kiedy przywołany zostaje temat zastąpienia papierowych dokumentów elektronicznymi, pracownicy obawiają się o bezpieczeństwo. Brak wiedzy, ignorancja czy zbytnie przyzwyczajenie do papieru? Przyjrzyjmy się jakie największe zagrożenia niesie ze sobą wykorzystywanie papierowych dokumentów.

1. „Gdzieś się zapodział”.

Około 50% przypadków naruszenia bezpieczeństwa danych wynika z zagubienia dokumentu papierowego. I nic dziwnego. Często wędrują one po całej firmie, od działu do działu. Składane są na kupki, wkładane do segregatorów i szuflad. Przechodzą przez ręce kilkunastu(dziesięciu) pracowników i tylko kwestią czasu jest jak któryś z nich się zapodzieje. Nie ma jasnej ewidencji u kogo się aktualnie znajduje, kto i kiedy zmienił jego położenie. Pół biedy, jeśli został źle skatalogowany. Dużo gorzej w przypadku gdy trafia w niewłaściwe ręce. A konkurencja nie śpi…

2. „Tego tu nie było”.

Kolejnym zagrożeniem jakie stwarzają dokumenty papierowe jest manipulowanie danymi. O ile w systemie klasy BPM/DMS, który pilnuje użytkowników w trakcie wprowadzania informacji, bardzo ciężko jest zawrzeć nieprawdziwe informacje (szczególnie jeśli system ten jest zintegrowany z OCR i na podstawie skanu uzupełnia pola). O tyle w przypadku dokumentu papierowego, zamienienie trójki na ósemkę czy sfałszowanie podpisu jest dużo łatwiejsze.

3. „A te dokumenty to pana?”

Dokumenty swobodnie leżące na biurku, zostawione w ogólnodostępnej drukarce, w koszu na śmieci, niezamknięte szafki, omyłkowo wysłane faksy itd. Potencjalnych zagrożeń jest wiele, a nieautoryzowany dostęp do poufnych informacji może być fatalny w skutkach. Tymczasem elektroniczny obieg dokumentów pozwala na zdefiniowanie kto będzie miał dostęp do których informacji. Ponadto dane mogą być szyfrowane i nawet w przypadku kiedy dostaną się w niepowołane ręce, mogą być chronione.

Wnioski

„Jeżeli jesteśmy do czegoś przyzwyczajeni, sądzimy, że nam się to sprawiedliwie należy. Postęp nie ma większego wroga niż przyzwyczajenie”. Przytoczone słowa José Martíego, perfekcyjnie wręcz odzwierciedlają największą przeszkodę, która stoi na drodze do pozbycia się papieru. Ludzkie nawyki bywają największą barierą w implementacji nowych rozwiązań. Należy jednak patrzeć na nie z punktu widzenia korzyści: większej produktywności, bezpieczeństwa, a w efekcie i wygody. Bo gdy przyzwyczaimy pracowników do nowego sposobu działania, nie będą już chcieli wracać do starych metod.

Post Dokumenty papierowe a bezpieczeństwo danych pojawił się poraz pierwszy w OCR w dokumentach.

Cały proces jest bardzo prosty. Umieszczając plik PDF lub zdjęcie (JPG, GIF, PNG) na Dysku Google możemy skorzystać z funkcji OCR. Wówczas zostanie on zeskanowany i przekonwertowany do formy tekstowej. Przy tym wszystko odbywa się w chmurze przy minimalnej ingerencji użytkownika końcowego. System obsługuje 34 języki, wśród których jest także polski, a z trudniejszych do odczytania także rosyjski, chiński (uproszczony) i kilka innych rodem z Azji.

Usługa ma jednak swoje limity. Pliki graficzne nie mogą przekraczać 2MB, a pliki PDF 10-u stron. Ponadto materiał poddawany skanowaniu powinien być dobrej jakości, szczególnie jeśli chodzi o rozdzielczość, jakość obrazu czy orientację. Do zadań firmowych to zdecydowanie za mało, jednakże dla zastosowań domowych powinno wystarczyć.

Sporo możliwości daje natomiast aplikacja mobilna, która niedawno doczekała się aktualizacji. Mocno odświeżony został interfejs, a także dodano kilka nowych opcji. Z punktu widzenia tematyki, którą poruszam najbardziej interesująca jest możliwość skanowania z poziomu smartfona. Wystarczy, że zrobimy zdjęcie, np. dokumentowi czy ulotce, a tekst który się tam znajduje zostanie rozpoznany i przekonwertowany do pliku PDF. Szybko, łatwo i przyjemnie. Zastosowań może być sporo, a zważywszy że większość z nas smartfona ma przez większość czasu pod ręką, może się faktycznie przydać. Podejrzewam, że rozwiązanie to szczególnie może zainteresować studentów, którzy będą chcieli skanować notatki, skrypty itp.

Aplikacja dostępna jest w sklepie Google Play, za darmo, pod tym adresem: https://play.google.com/store/apps/details?id=com.google.android.apps.docs

Bez wątpienia Google oferuje użytkownikom swojego wirtualnego dysku sporo przydatnych opcji. Wśród niszczących się dokumentów papierowych, porysowanych płyt CD/DVD i uszkodzonych pendrive’ów, możliwość trzymania plików w chmurze bywa bardzo przydatna i w miarę bezpieczna. Oczywiście pod warunkiem że zabezpieczymy się dobrym, i tylko nam znanym, hasłem.

Przy okazji nie wiem czy wiecie, ale Google przejęło projekt reCAPTCHY. W związku z powyższym przepisując tekst kontrolny na rozmaitych forach i stronach internetowych możemy teoretycznie pomagać w skanowaniu… swoich własnych tekstów umieszczanych w Google Drive.

A tak na zakończenie (w ramach ciekawostki): zwolennicy teorii spiskowych twierdzą, iż drugim dnem dla którego funkcjonuje Google Drive, jest fakt pozyskiwania danych przez Google o swoich użytkownikach. Ciężko to ocenić, choć oczywiście jest to możliwe. Dlatego na wszelki wypadek kluczowe informacje przetrzymujmy mimo wszystko na tradycyjnych nośnikach.

Post Google Drive i darmowy OCR pojawił się poraz pierwszy w OCR w dokumentach.

OCR świetnie sprawdza się w firmach – tam zazwyczaj skanowane wydruki są dobrej jakości i większość programów bez problemu rozpoznaje między 95 a 99% znaków. Dużo gorzej jest np. w przypadku bibliotek. Tam, niektóre ze zbiorów (często już wiekowych) nie stwarzają już tak dobrych warunków do digitalizacji tekstu. Książki bywają zniszczone, pisane archaicznym językiem i niespotykaną obecnie czcionką. To oczywiście dość ekstremalne przypadki, ale dobrze obrazują przeszkody jakie napotyka oprogramowanie.

Przyjrzyjmy się co bywa największym problemem w pełnotekstowym skanowaniu.

1. Jednym z najczęstszych problemów jest słaba jakość druku źródłowego. W przypadku gdy liczba (gęstość) pikseli jest zbyt mała, programy zwyczajnie się gubią, dając albo niepoprawne wyniki, albo w ogóle nie rozpoznając znaków i poszczególnych słów. Jest to najczęstszy i uniwersalny problem dotyczący skanowania.

2. Brak jednolitości tekstu to kolejny czynnik, który zaniża skuteczność rozpoznawania. Korzystanie z różnych czcionek i różnych wielkości ujemnie wpływa na możliwość poprawnego zeskanowania tekstu. W miarę możliwości należy tego unikać, aby otrzymać jak najlepszy efekt.

3. Wyblakłe kolory i zbyt mały kontrast. Optymalnie byłoby, gdyby skanowany tekst miał czcionkę o głębokiej czerni. Niestety rzeczywistość jest mniej różowa i często okazuje się, że barwa poszczególnych liter nie jest wystarczająco wyrazista. Warto także zwrócić uwagę na fakt, iż użycie innych kolorów niż czarny,co również może być przeszkodą dla OCR-a.

4. Tekst nie powinien być także zbyt gęsty. Zbyt duże nagromadzenie tekstu na stronie (liter, paragrafów) może poskutkować niższą skutecznością.

5. Rozmiar czcionki również ma znaczenie. Minimalny próg, w zależności od rodzaju stosowanych algorytmów przez OCR, powinien wynosić między 6 a 8.

Co by nie mówić, technologia idzie do przodu. Programy do rozpoznawania znaków są coraz lepsze, tak jak i materiały skanowane na co dzień (choćby faktury czy umowy). Jestem ciekaw kiedy doczekamy

Na koniec ciekawostka. Znaczenie ma także rodzaj skanowanego papieru (materiału). Ze względu na nietypowy, jak na dzisiejsze czasy, skład papieru, skanowaniu nie poddaje się większości tekstów wydanych przed 1850 rokiem. Aby to zrobić konieczne są dodatkowe analizy oraz ustawienie niestandardowych parametrów dla OCR-a, dostosowanych do skanowanego materiału.

Post 5 największych przeszkód w OCR-owaniu pojawił się poraz pierwszy w OCR w dokumentach.

Pamiętacie wpis o reCAPTCHY*, który ujawniał jak na co dzień skanujemy książki? Teraz czas na system, który pozwala wykorzystać zeskanowane materiały. Ngram Viewer, bo o nim mowa, stworzony został przez Google Labs i zawiera bazę ponad 5 milionów książek (zawierający 500 miliardów słów!) z lat 1800-2008, które poddano OCR-owaniu w firmie Larry’ego Page’a.

Wszystkie mole książkowe, którym zaświeciły się w tym miejscu oczy, na myśl o dostępie do tych wszystkich zbiorów, muszę ostrzec: Ngram Viewer służy głównie do badań statystycznych i językoznawczych. Nie ma możliwości przeczytania danego dzieła od deski do deski, można co najwyżej podejrzeć pewne fragmenty. 

Jak to działa?

Ale po kolei. Narzędzie Google służy do wyszukiwania pożądanych fraz, w danym przedziale czasowym i języku zeskanowanych publikacji. Dane zwracane są w formie wykresu, który prezentuje poziom częstotliwości występowania danego słowa na przestrzeni czasu. Możliwe jest wyszukiwanie złożonych fraz (np. atak terrorystyczny) jak i zestawianie ich ze sobą (np. Bóg i nauka jak na obrazku poniżej). 

Ponadto możliwe jest podejrzenie 40 wybranych przez system publikacji, które przedstawiać będą znalezione słowa. Dlaczego tylko tyle? Ponieważ w przypadku większych ilości Ngram Viewer mógłby dostać czkawki.

„Wszystko fajnie, tylko po co”?

Do czego można wykorzystać narzędzie Google Labs? Początkowy zamysł był taki, aby narzędzie służyło głównie historykom i językoznawcom. Ngram Viewer okazuje się bardzo przydatny w badaniach lingwistycznych i w prosty sposób pozwala na wychwycenie jak zmieniała się popularność poszczególnych słów, a co za tym idzie, jak zmieniał się sam język na przestrzeni lat. Co jeszcze można wycisnąć z tego narzędzia?

W bardzo przejrzysty sposób można zaobserwować np. trendy w postępie technologicznym. Zestawienie fraz tj.: statek, kolej, samolot pokaże stopień i skalę przemian. Z drugiej strony można zestawiać także mężczyzn i kobiety, marketing i innowacje, otyłość i fast food itd. Warto samemu spróbować i zobaczyć co wyjdzie. Oczywiście wyniki należy traktować raczej orientacyjnie, a nie jako ścisły dowód naukowy. 

Ngram Viewer na pewno przyda się także literaturoznawcom, którzy będą mieli możliwość np. zestawienia konkretnych wyrazów opisujących emocje z daną epoką. Możliwości jest sporo.

A błędy?

O tym, że OCR nie jest wolny od błędów wie na pewno każdy czytelnik niniejszego bloga. Co prawda 99%, a nawet 99,5% to sporo, ale margines błędu zawsze jest. Nie inaczej jest i w tym przypadku. Polecam prześledzenie case study słowa fuck/suck z tego linka. W skrócie rzecz rozbija się o pisownie „suck” w starych pismach, którą OCR interpretuje jako „fuck”, dając tym samym fałszywe wyniki wykorzystania słowa np. w XIX wieku. Swoją drogą, to nieco ironiczna pomyłka, prawda?

Takich błędów jest pewnie więcej, dlatego zawsze należy podchodzić do wyników z rezerwą. 

Co dalej?

Póki co system od Google Labs nie zachwyca, wziąwszy pod uwagę np. możliwość przeglądania książek, dokładność czy interfejs graficzny. Z pewnością natomiast drzemie w programie ogromny potencjał i jestem pewien, że w przyszłości będzie miał do zaoferowania dużo więcej. Ponadto jest żywym dowodem na to, że OCR to bardzo pożyteczna technologia, która zwyczajnie służy ludziom i zachowaniu ich dziedzictwa kulturowego w postaci książek. 

Na marginesie: Ngram Viewer nie jest dostępny niestety dla polskich zbiorów. Oferuje za to języki tj.: angielski, francuski, rosyjski, niemiecki, włoski, hiszpański, hebrajski i kilka innych. Może kiedyś się doczekamy się także i naszego ojczystego.

* Wpis o reCAPTCHY stał się zdecydowanym hitem tego bloga. Dzięki poleceniom, linkom i portalowi wykop.pl zobaczyło go ponad 10 000 osób. Dzięki!

Post Ngram Viewer – kolejny przykład wykorzystania OCR pojawił się poraz pierwszy w OCR w dokumentach.

Rejestrując się na stronie lub na forum, zazwyczaj na koniec tego procesu witryna zmusza Cię do udowodnienia, że nie jesteś botem do rozpowszechniania spamu. Co robisz? W 90% przypadków przepisujesz kod/wyraz z wyświetlonego obrazka obrazka. Tak działa m.in. reCAPTCHA.

Jak to się ma do OCR-a? Nawet najlepsze systemy nie są w stanie rozpoznać 100% skanowanych wyrazów. Obecnie skuteczność tego typu programów kształtuje się na poziomie 90-98%, w zależności od wykorzystywanych algorytmów i jakości skanowanego tekstu. To oznacza, że przy tekście zawierającym 20 000 słów, wciąż od 400 do 2000 pozostaje do rozpoznania przez człowieka.

Tymczasem na Uniwersytecie Carnegie-Mellona w Pittsburghu, zastanawiano się jak szybko i małym nakładem sił można digitalizować książki i stare egzemplarze gazet. Tak powstał projekt reCAPTCHA. Mechanizm jest w gruncie rzeczy bardzo prosty. Użytkownik, by zakończyć np. rejestrację, musi przepisać dwa słowa podane przez program. W przypadku rozwiązania naukowców z Pittsburga, jedno z nich jest słowem kontrolnym (znanym przez system), natomiast drugie, to słowo nieprawidłowo rozpoznane przez moduł OCR.

Kolejność wyrazów jest losowa, natomiast ich jakość zbliżona, dlatego internauta nigdy nie wie, które z nich stanowi zabezpieczenie. Jeśli dane słowo, przez różnych użytkowników, zostanie trzykrotnie jednakowo zweryfikowane, wówczas system przesyła je do źródła jako rozpoznane. W przypadku kiedy trzej pierwsi użytkownicy nie podali jednakowo brzmiących odpowiedzi, wówczas wyraz prezentowany jest większej ilości osób, a decyzja o jego ostatecznym brzmieniu podejmowana jest na podstawie najczęściej pojawiających się odpowiedzi. Skuteczność tej metody wynosi ponad 99,5%, co przy ilości rozpoznawanych słów jest wynikiem imponującym.

ReCAPTCHA funkcjonuje od 2009 roku i w pierwszych 12 miesiącach od wprowadzenia udało się zdigitalizować aż 17 tysięcy książek. Szacuje się, że aż 200 milionów kodów zabezpieczających CAPTCHA rozwiązywanych jest codziennie przez internautów na całym świecie. Proces ten zajmuje około 10 sekund, co daje sumarycznie niebagatelną ilość zrealizowanych 150 tysięcy roboczogodzin, każdego dnia.

Geniusz reCAPTCHY leży w kilku czynnikach. Przede wszystkim jest to rozwiązanie podwójnie pożyteczne. Z jednej strony webmasterzy zabezpieczają swoje strony i fora internetowe przed spamem. Z drugiej, rozpoznawane są słowa, z którymi nie radzi sobie OCR. Natomiast najlepszy w tym wszystkim jest fakt, że odbywa się w to sposób niemalże niezauważalny i nie wymagający wysiłku dla pojedynczego użytkownika. A do tego wszystkiego, reCAPTCHE można zaimplementować bardzo łatwo i zupełnie za darmo. Czego chcieć więcej?

Nie wiem jak Wy, ale według mnie twórcy (Luis von Ahn, Ben Maurer, Colin McMillen, David Abraham i Manuel Blum) powinni na stałe wpisać się w kanon osób, które pożytecznie przyczyniły się dla społeczeństwa światowego. ReCAPTCHA codziennie pozwala na utrwalenie kilkudziesięciu książek, które w przeciwnym przypadku już nigdy mogłyby nie być dostępne dla szerszej publiki.

Post Jak digitalizujemy książki nawet o tym nie wiedząc? pojawił się poraz pierwszy w OCR w dokumentach.

Oprogramowanie służące do analizy tekstu pisanego, drukowanego bądź odręcznego, a następnie jego konwersji do postaci elektronicznej (w formie plików .txt, .doc lub .pdf), umożliwiającej dalszą edycję. Technologia ta znajduje szerokie zastosowanie m.in. w przedsiębiorstwach (rejestrowanie dokumentów i wniosków) i bibliotekach (archiwizacja zbiorów).

Prosty schemat działania systemu OCR:

Najpierw dokument skanowany jest za pomocą skanera. Następnie przetwarzany przez komputer z odpowiednim oprogramowaniem. W efekcie końcowym wyświetlany jest edytowalny tekst. Metoda rozpoznawania różna jest w zależności od wykorzystanych algorytmów. Obecnie najlepsze programy OCR zapewniają skuteczność na poziomie 99%-99,5%, co oznacza że wciąż zachodzi konieczność manualnej weryfikacji rozpoznania niektórych słów.

Przykład wykorzystania OCR przez Google Docs:

Poniżej filmik przedstawiający w praktyce wykorzystanie OCR. W tym przypadku z wykorzystaniem systemu elektronicznego obiegu dokumentów.

Rejestracja faktury w systemie obiegu dokumentów

Post Czym jest OCR – optyczne rozpoznawanie znaków? pojawił się poraz pierwszy w OCR w dokumentach.

Komputer ENIAC, 1946 rok:

Tymczasem to, co w połowie XX wieku pozostawało co najwyżej w sferze marzeń, dziś jest rzeczywistością. Bankowość internetowa, e-maile czy portale społecznościowe, to tylko kilka przykładów rozwiązań, z których większość z nas korzysta na co dzień. Celem niniejszego bloga jest przybliżenie czytelnikowi technologii, która choć nie uzyskała powszechnego rozgłosu, z roku na rok udowadnia, że jej wykorzystanie może znacząco przyczynić się do ułatwienia codziennych zadań, szczególnie w sferze pracy. Mowa tu o systemie Optical Character Recognition (OCR), zamieniającym w ciągu kilku sekund tekst na papierze, w tekst elektroniczny.

Pozycjonowanie:

Darmowy katalog SEO

Katalog stron


Katalog Jarmin
Darmowy katalog stron





Se-site.pl

Katalog Linuxiarzy

katalog stron

Spis katalogów
Katalog Stron
Katalog stron – Grubas
Katalog SEO
Katalog dokumenty

Post Witaj na blogu o OCR! pojawił się poraz pierwszy w OCR w dokumentach.