OCR dokumentumok szkennelése és feldolgozása egy helyen

OCR Parser magánügyfeleknek

Az OCR Parser akkor hasznos, amikor képből, szkennelt iratból vagy nem másolható dokumentumból kell tiszta, használható szöveget és rendezett adatot kinyerni. A lényeg egyszerű. A fájl ne csak olvasható legyen, hanem kereshető, javítható és tovább feldolgozható. Sok ügyfél nem új rendszert akar, hanem egy működő megoldást egy konkrét problémára. Például számlák, űrlapok, szerződések, igazolások, régi levelek vagy képernyőképek szövegét szeretné táblázatba, adatbázisba vagy szerkeszthető dokumentumba áttenni.

Én azt látom, hogy a legtöbb ilyen feladat nem maga a felismerés miatt nehéz. Az alap OCR sok eszközben elérhető. A gond ott kezdődik, amikor a felismert szöveg zajos, a sorok elcsúsznak, a táblák szétesnek, a dátumok más formában jelennek meg, vagy ugyanaz az adat többféle helyen szerepel. Ilyenkor egy online szakember nemcsak szövegfelismerést futtat, hanem szabályokat, ellenőrzést és kimeneti formát is készít. Ezért fontos előre tisztázni, hogy a végeredmény sima szöveg, kereshető PDF, Excel, CSV, adatmező lista vagy automatizált feldolgozó legyen.

OCR dokumentum parser feladatok

Az OCR dokumentum parser feladata nem áll meg annál, hogy a képen lévő betűket felismeri. A megbízás gyakran arról szól, hogy a nyers iratból értelmezhető adat készüljön. Ez lehet név, dátum, összeg, cím, cikkszám, e-mail, ügyfélszám, rendelési azonosító vagy bármilyen ismétlődő mező. Egy magánügyfél például szeretné átnézhetővé tenni a saját iratait, régi papírjait, garanciális dokumentumait vagy vállalkozáshoz kapcsolódó anyagait, de nem akar kézzel másolni több száz oldalt.

A jó megoldás az anyag minőségétől függ. Egy tiszta, gépelt PDF gyorsabban feldolgozható, mint egy ferde, fotózott oldal. A kézírás még külön kérdés, mert ott a pontosság sokkal változóbb. Tapasztalatom szerint a legjobb eredmény akkor születik, ha az ügyfél ad néhány mintafájlt, és a szakember ezek alapján készít egy rövid próbakimenetet. Ebből már látszik, hogy milyen pontosság várható, mennyi javítás kell, és érdemes-e teljes automatizálást kérni.

Volt olyan eset, amikor egy ügyfél több évnyi beszkennelt bizonylatot szeretett volna dátum és összeg szerint kereshetővé tenni. Elsőre csak szövegfelismerést kért. A próba után kiderült, hogy neki valójában egy táblázat kell, ahol külön oszlopban szerepel a dátum, a partner neve, az összeg és a fájl neve. A feladat így nem lett bonyolultabb, csak pontosabb. És a végeredmény sokkal használhatóbb lett.

OCR Parser árak

Az árak főleg a dokumentumok számától, minőségétől, a kinyerendő mezők mennyiségétől és az ellenőrzés mélységétől függenek. Egy egyszerű kereshető PDF készítése olcsóbb, mint egy egyedi szabályokkal működő adatkinyerő. Szerintem a túl olcsó munka ezen a területen gyakran gyengébb minőséget jelent, mert a felismerés után valakinek ellenőriznie kell a hibákat. Ha ez kimarad, a fájl elsőre késznek tűnik, de később pont a fontos adatoknál lesz gond.

Az ár akkor reális, ha az ügyfél pontosan látja, mit kap. Nem mindegy, hogy a szakember csak átalakítja a fájlokat, vagy javítja is a hibákat. Nem mindegy az sem, hogy a végeredmény egy kézzel átnézendő lista, vagy egy már használható adatállomány. Nagyobb mennyiségnél sokszor érdemes először kis mintán kezdeni. Így nem a teljes csomagnál derül ki, hogy a fájlok minősége gyengébb a vártnál.

OCR feldolgozás online munkamenetben

Az OCR feldolgozás teljesen távolról is megoldható. A megbízó feltölti a mintafájlokat, leírja, milyen adatokat szeretne kinyerni, majd a szakember visszaküld egy mintát. Ezután lehet pontosítani a szabályokat. Például melyik mező legyen kötelező, milyen legyen a dátumformátum, kell-e fájlnév szerinti azonosítás, és mi történjen akkor, ha egy adat nem olvasható.

A kommunikáció itt különösen fontos. Nem elég azt írni, hogy minden szöveg kell. Jobb megadni, hogy a teljes dokumentum legyen szerkeszthető, vagy csak bizonyos mezők kerüljenek táblázatba. A határidő is ettől függ. Tíz tiszta oldal akár gyorsan elkészülhet. Több száz vegyes minőségű oldalnál viszont próba, szabályozás, futtatás és ellenőrzés is kell. És néha a leglassabb rész nem a technika, hanem a hibás forrásanyag értelmezése.

A végeredmény átadása történhet Excel, CSV, TXT, Word, kereshető PDF vagy strukturált adatfájl formájában. Ha később újabb dokumentumokat is fel kell dolgozni, akkor célszerű olyan megoldást kérni, amely ismételhető. Egy egyszeri kézi javítás olcsóbb lehet, de hosszabb távon az automatizált adatkinyerés sok időt spórol.

OCR Parser szakember választása

OCR Parser szakember választásakor nem az a legfontosabb, hogy valaki ismer egy népszerű felismerő programot. Az számít, hogy érti-e a dokumentum szerkezetét, tud-e hibákat kezelni, és képes-e a kimenetet olyan formába rendezni, amelyet az ügyfél tényleg használni fog. Egy jó szakember rákérdez a fájlok típusára, a minták számára, a kívánt mezőkre és az elfogadható hibahatárra.

Érdemes portfólió vagy legalább rövid példa alapján dönteni. Ha a feladat adatkinyerés, akkor kérhető egy próbasor vagy mintatáblázat. Ha kereshető PDF a cél, akkor elég lehet néhány oldal ellenőrzése. A Qjob.hu felületén magánszemélyek is találhatnak olyan online szakembert, aki egyedi dokumentumfeldolgozással, szövegfelismeréssel vagy adatkinyeréssel foglalkozik. Utána ezen az oldalon már a részletek és a feltételek tisztázása a lényeg.

Sokan ott hibáznak, hogy csak árat kérdeznek, de nem mutatnak mintát. Így a szakember találgat. Egy fotózott számla, egy rosszul szkennelt szerződés és egy tiszta digitális PDF teljesen más munka. Ha a megbízó előre elküld 3-5 jellemző fájlt, a becslés sokkal pontosabb lesz. Szerintem ez a legjobb szűrő is. Aki minta nélkül biztos árat ígér egy összetett feladatra, annál érdemes óvatosnak lenni.

OCR adatkinyerés minősége

Az OCR adatkinyerés minősége nem csak a használt eszköztől függ. Számít a felbontás, a kontraszt, a betűtípus, a nyelv, a táblázatok elrendezése és az is, hogy a dokumentum mennyire egységes. A magyar ékezetes karakterek, a régi nyomtatványok és a rosszul fotózott oldalak gyakrabban adnak hibát. Ez nem feltétlenül jelenti azt, hogy a feladat nem oldható meg. Inkább azt jelenti, hogy több ellenőrzés kell.

A megbízható feldolgozásnál hasznos a mezők ellenőrzése. Például az összeg csak szám lehet, a dátum csak ismert formátumban jelenhet meg, az e-mail címnek tartalmaznia kell a megfelelő jeleket. Ilyen szabályokkal sok hiba kiszűrhető. De az OCR nem varázslat. Ha a forrás olvashatatlan, a rendszer sem fog pontos adatot adni. Ilyenkor a szakember megjelölheti a bizonytalan sorokat, és külön listát adhat róluk.

Az ügyfél szempontjából a minőség akkor jó, ha a kapott anyaggal már lehet dolgozni. Nem kell minden sort újra átnézni, nem vesznek el fontos mezők, és a fájl szerkezete követhető marad. Ez különösen fontos akkor, ha az eredményt könyveléshez, kereséshez, archiváláshoz vagy későbbi elemzéshez használják.

Tipikus hibák OCR Parser megbízásnál

A leggyakoribb hiba, hogy az ügyfél túl általánosan fogalmazza meg a feladatot. Azt írja, hogy legyen felismerve a dokumentum, de nem mondja meg, mire kell az eredmény. Más kell olvasáshoz, más kereséshez, és megint más adatimporthoz. Ha ez nincs tisztázva, a szakember elkészíthet egy technikailag helyes fájlt, amely mégsem jó a valódi célra.

Másik gond a rendezetlen fájlátadás. Vegyes néven mentett képek, duplikált dokumentumok, hiányzó oldalak és eltérő minőségű fotók lassítják a munkát. Ilyenkor nem maga az OCR Parser a szűk keresztmetszet, hanem az előkészítés. Jobb egy rövid mappaszerkezetet adni, és jelezni, melyik fájl fontos, melyik csak példa, melyik ismétlődő anyag.

Gyakori az is, hogy az ügyfél teljes pontosságot vár nagyon rossz minőségű forrásból. Ez érthető, de nem mindig reális. A jó szakember ezt előre jelzi. Nem riogat, csak megmondja, hol lehet hiba. Tapasztalatom szerint az őszinte próba sok későbbi vitát megelőz. Ha a minta alapján 95 százalékos pontosság várható, akkor ezt érdemes elfogadni vagy külön ellenőrzést kérni.

OCR megoldás átadása és későbbi használata

A kész OCR megoldás akkor hasznos igazán, ha az ügyfél később is érti, mit kapott. Egy egyszeri adatkinyerésnél elég lehet a kész táblázat. Egy ismétlődő munkánál viszont jó, ha a szakember rövid leírást ad a használatról. Milyen fájlokat lehet betenni, milyen néven kell menteni őket, hol jelenik meg a kimenet, és mit kell tenni hiba esetén.

Az átadásnál érdemes kérni egy ellenőrző mintát is. Ez lehet néhány eredeti oldal és a hozzá tartozó feldolgozott sor. Így az ügyfél látja, hogy a rendszer mit olvasott ki, és hol volt bizonytalan. Ha a későbbi cél archiválás, akkor a kereshető PDF lehet a jobb irány. Ha elemzés vagy nyilvántartás a cél, akkor az Excel vagy CSV praktikusabb.

Szerintem az OCR munka értéke nem abban van, hogy a szöveg valahogy megjelenik egy fájlban. Az érték ott kezdődik, amikor a dokumentumokból időt takarító, rendezett és ellenőrizhető adat lesz. Egy magánügyfélnek ez sokszor azt jelenti, hogy nem kell órákig másolni, keresni és javítani. Csak megkapja az anyagot olyan formában, amelyet tovább tud használni.