Pamiętacie wpis o reCAPTCHY*, który ujawniał jak na co dzień skanujemy książki? Teraz czas na system, który pozwala wykorzystać zeskanowane materiały. Ngram Viewer, bo o nim mowa, stworzony został przez Google Labs i zawiera bazę ponad 5 milionów książek (zawierający 500 miliardów słów!) z lat 1800-2008, które poddano OCR-owaniu w firmie Larry’ego Page’a.

Wszystkie mole książkowe, którym zaświeciły się w tym miejscu oczy, na myśl o dostępie do tych wszystkich zbiorów, muszę ostrzec: Ngram Viewer służy głównie do badań statystycznych i językoznawczych. Nie ma możliwości przeczytania danego dzieła od deski do deski, można co najwyżej podejrzeć pewne fragmenty. 

Jak to działa?

Ale po kolei. Narzędzie Google służy do wyszukiwania pożądanych fraz, w danym przedziale czasowym i języku zeskanowanych publikacji. Dane zwracane są w formie wykresu, który prezentuje poziom częstotliwości występowania danego słowa na przestrzeni czasu. Możliwe jest wyszukiwanie złożonych fraz (np. atak terrorystyczny) jak i zestawianie ich ze sobą (np. Bóg i nauka jak na obrazku poniżej). 

Ponadto możliwe jest podejrzenie 40 wybranych przez system publikacji, które przedstawiać będą znalezione słowa. Dlaczego tylko tyle? Ponieważ w przypadku większych ilości Ngram Viewer mógłby dostać czkawki.

„Wszystko fajnie, tylko po co”?

Do czego można wykorzystać narzędzie Google Labs? Początkowy zamysł był taki, aby narzędzie służyło głównie historykom i językoznawcom. Ngram Viewer okazuje się bardzo przydatny w badaniach lingwistycznych i w prosty sposób pozwala na wychwycenie jak zmieniała się popularność poszczególnych słów, a co za tym idzie, jak zmieniał się sam język na przestrzeni lat. Co jeszcze można wycisnąć z tego narzędzia?

W bardzo przejrzysty sposób można zaobserwować np. trendy w postępie technologicznym. Zestawienie fraz tj.: statek, kolej, samolot pokaże stopień i skalę przemian. Z drugiej strony można zestawiać także mężczyzn i kobiety, marketing i innowacje, otyłość i fast food itd. Warto samemu spróbować i zobaczyć co wyjdzie. Oczywiście wyniki należy traktować raczej orientacyjnie, a nie jako ścisły dowód naukowy. 

Ngram Viewer na pewno przyda się także literaturoznawcom, którzy będą mieli możliwość np. zestawienia konkretnych wyrazów opisujących emocje z daną epoką. Możliwości jest sporo.

A błędy?

O tym, że OCR nie jest wolny od błędów wie na pewno każdy czytelnik niniejszego bloga. Co prawda 99%, a nawet 99,5% to sporo, ale margines błędu zawsze jest. Nie inaczej jest i w tym przypadku. Polecam prześledzenie case study słowa fuck/suck z tego linka. W skrócie rzecz rozbija się o pisownie „suck” w starych pismach, którą OCR interpretuje jako „fuck”, dając tym samym fałszywe wyniki wykorzystania słowa np. w XIX wieku. Swoją drogą, to nieco ironiczna pomyłka, prawda?

Takich błędów jest pewnie więcej, dlatego zawsze należy podchodzić do wyników z rezerwą. 

Co dalej?

Póki co system od Google Labs nie zachwyca, wziąwszy pod uwagę np. możliwość przeglądania książek, dokładność czy interfejs graficzny. Z pewnością natomiast drzemie w programie ogromny potencjał i jestem pewien, że w przyszłości będzie miał do zaoferowania dużo więcej. Ponadto jest żywym dowodem na to, że OCR to bardzo pożyteczna technologia, która zwyczajnie służy ludziom i zachowaniu ich dziedzictwa kulturowego w postaci książek. 

Na marginesie: Ngram Viewer nie jest dostępny niestety dla polskich zbiorów. Oferuje za to języki tj.: angielski, francuski, rosyjski, niemiecki, włoski, hiszpański, hebrajski i kilka innych. Może kiedyś się doczekamy się także i naszego ojczystego.

* Wpis o reCAPTCHY stał się zdecydowanym hitem tego bloga. Dzięki poleceniom, linkom i portalowi wykop.pl zobaczyło go ponad 10 000 osób. Dzięki!

Post Ngram Viewer – kolejny przykład wykorzystania OCR pojawił się poraz pierwszy w OCR w dokumentach.

Rejestrując się na stronie lub na forum, zazwyczaj na koniec tego procesu witryna zmusza Cię do udowodnienia, że nie jesteś botem do rozpowszechniania spamu. Co robisz? W 90% przypadków przepisujesz kod/wyraz z wyświetlonego obrazka obrazka. Tak działa m.in. reCAPTCHA.

Jak to się ma do OCR-a? Nawet najlepsze systemy nie są w stanie rozpoznać 100% skanowanych wyrazów. Obecnie skuteczność tego typu programów kształtuje się na poziomie 90-98%, w zależności od wykorzystywanych algorytmów i jakości skanowanego tekstu. To oznacza, że przy tekście zawierającym 20 000 słów, wciąż od 400 do 2000 pozostaje do rozpoznania przez człowieka.

Tymczasem na Uniwersytecie Carnegie-Mellona w Pittsburghu, zastanawiano się jak szybko i małym nakładem sił można digitalizować książki i stare egzemplarze gazet. Tak powstał projekt reCAPTCHA. Mechanizm jest w gruncie rzeczy bardzo prosty. Użytkownik, by zakończyć np. rejestrację, musi przepisać dwa słowa podane przez program. W przypadku rozwiązania naukowców z Pittsburga, jedno z nich jest słowem kontrolnym (znanym przez system), natomiast drugie, to słowo nieprawidłowo rozpoznane przez moduł OCR.

Kolejność wyrazów jest losowa, natomiast ich jakość zbliżona, dlatego internauta nigdy nie wie, które z nich stanowi zabezpieczenie. Jeśli dane słowo, przez różnych użytkowników, zostanie trzykrotnie jednakowo zweryfikowane, wówczas system przesyła je do źródła jako rozpoznane. W przypadku kiedy trzej pierwsi użytkownicy nie podali jednakowo brzmiących odpowiedzi, wówczas wyraz prezentowany jest większej ilości osób, a decyzja o jego ostatecznym brzmieniu podejmowana jest na podstawie najczęściej pojawiających się odpowiedzi. Skuteczność tej metody wynosi ponad 99,5%, co przy ilości rozpoznawanych słów jest wynikiem imponującym.

ReCAPTCHA funkcjonuje od 2009 roku i w pierwszych 12 miesiącach od wprowadzenia udało się zdigitalizować aż 17 tysięcy książek. Szacuje się, że aż 200 milionów kodów zabezpieczających CAPTCHA rozwiązywanych jest codziennie przez internautów na całym świecie. Proces ten zajmuje około 10 sekund, co daje sumarycznie niebagatelną ilość zrealizowanych 150 tysięcy roboczogodzin, każdego dnia.

Geniusz reCAPTCHY leży w kilku czynnikach. Przede wszystkim jest to rozwiązanie podwójnie pożyteczne. Z jednej strony webmasterzy zabezpieczają swoje strony i fora internetowe przed spamem. Z drugiej, rozpoznawane są słowa, z którymi nie radzi sobie OCR. Natomiast najlepszy w tym wszystkim jest fakt, że odbywa się w to sposób niemalże niezauważalny i nie wymagający wysiłku dla pojedynczego użytkownika. A do tego wszystkiego, reCAPTCHE można zaimplementować bardzo łatwo i zupełnie za darmo. Czego chcieć więcej?

Nie wiem jak Wy, ale według mnie twórcy (Luis von Ahn, Ben Maurer, Colin McMillen, David Abraham i Manuel Blum) powinni na stałe wpisać się w kanon osób, które pożytecznie przyczyniły się dla społeczeństwa światowego. ReCAPTCHA codziennie pozwala na utrwalenie kilkudziesięciu książek, które w przeciwnym przypadku już nigdy mogłyby nie być dostępne dla szerszej publiki.

Post Jak digitalizujemy książki nawet o tym nie wiedząc? pojawił się poraz pierwszy w OCR w dokumentach.