Adatok kinyerése OpenOffice dokumentumokból innovatív megoldásokkal

OpenOffice Adatparszere magánügyfeleknek

Az OpenOffice Adatparszere akkor hasznos, amikor ODT vagy ODS fájlokból kell rendezett adatot kinyerni kézi másolgatás nélkül. A cél egyszerű. A dokumentumokban lévő nevek, címek, cikkszámok, dátumok, összegek, táblázatok vagy ismétlődő szövegrészek külön fájlba kerülnek, átlátható formában. Egy magánügyfélnek ez főleg akkor fontos, ha sok régi dokumentuma van, és nem akar órákat tölteni azzal, hogy soronként átnézi őket.

Én azt látom, hogy az ilyen feladat elsőre aprónak tűnik, de hamar bonyolult lesz. Egy dokumentumban még könnyű keresni. Több tucat fájlnál már nem. Ha a fájlok nem egyformák, vagy a táblázatokban összevont cellák vannak, az adatkinyerés külön figyelmet kér. Ilyenkor egy szabadúszó adatszakértő nem csak kimásolja az adatokat, hanem szabályt készít arra, hogyan kerüljenek ki a fontos mezők.

A Qjob.hu felületén olyan online szakembert lehet keresni, aki távolról vállal OpenOffice dokumentumok feldolgozását. A munka nem igényel személyes találkozót. A fájlokat el lehet küldeni, a részleteket írásban lehet pontosítani, a kész eredmény pedig visszakerül táblázatban, szövegfájlban vagy más egyeztetett formátumban.

OpenOffice adatkinyerés feladatai

Az OpenOffice adatkinyerés lényege, hogy a dokumentumban szétszórt információk használható adattá váljanak. Ez lehet egyszerű lista, több oszlopos táblázat, kapcsolati adatbázis, árlista vagy feldolgozható állomány. Az ODT fájl inkább szöveges szerkezetet ad, az ODS pedig táblázatos forrást. Mindkettő más típusú hibákat okozhat.

Szöveges fájlnál gyakori gond, hogy az adatok nem mindig ugyanott vannak. Az egyik dokumentumban a dátum a fejléc alatt áll, a másikban a bekezdés végén. Táblázatnál a cellaformátum, a rejtett sor, a kézzel beírt szóköz vagy a több munkalap miatt lehet nehéz a feldolgozás. Szerintem a jó megoldás nem az, hogy mindent azonnal automatizálunk. Először érdemes mintafájlokat nézni, majd azok alapján meghatározni, mi számít biztos adatnak.

Tipikus feladat lehet számlaadatok kinyerése, terméklisták egységesítése, régi nyilvántartások tisztítása, névjegyadatok kigyűjtése, oktatási anyagokból kérdések kiemelése, vagy családi és magánjellegű dokumentumok rendezése. A magánügyfélnek itt nem programnyelvre van szüksége, hanem érthető végeredményre. Legyen megnyitható. Legyen ellenőrizhető. És ne vesszen el semmi fontos.

Adatparszolás árak

Az adatparszolás ára főleg a fájlok számától, a szerkezet egységességétől és a várt eredmény pontosságától függ. A túl olcsó munka ezen a területen gyakran gyengébb minőséget jelent, mert az ellenőrzés marad ki belőle. Ez később sokkal drágább lehet, ha rossz adatok alapján kell dönteni vagy tovább dolgozni.

Tapasztalatom szerint akkor lehet korrekt árat kapni, ha az ügyfél legalább két mintafájlt és egy elvárt mintakimenetet is küld. Nem kell tökéletes leírás. Elég egy példa, hogy melyik adat hová kerüljön. Ez sok félreértést megelőz, és a szabadúszó is pontosabban látja, mennyi munka van a feladatban.

OpenOffice parser szakember választása

OpenOffice parser szakember választásakor nem elég azt nézni, hogy valaki tud táblázatot kezelni. Fontosabb, hogy érti-e a fájlok szerkezetét, tud-e minták alapján szabályt alkotni, és kérdez-e a bizonytalan mezőkről. A jó szakember nem ígéri meg azonnal, hogy minden adat hibátlan lesz. Előbb megnézi, mennyire egységes a forrás.

Érdemes olyan szabadúszót választani, aki kér mintafájlt, rákérdez az export formátumára, és külön beszél az ellenőrzésről. Ha csak annyit ír, hogy megoldom, az kevés. A magánügyfélnek fontos tudnia, hogy a végeredmény milyen fájl lesz, milyen oszlopnevekkel, milyen kódolással, és lesz-e lehetőség javításra, ha néhány mező rosszul értelmezhető.

Volt olyan eset, amikor egy ügyfél régi OpenOffice táblázatokból szeretett volna családi kiadásokat rendezni. A fájlokban az összegek hol számmal, hol szövegként voltak megadva. A munka nem a másolással kezdődött, hanem a szabályok tisztázásával. Mi számít dátumnak. Mi legyen az üres cellákkal. Hogyan különüljön el a megjegyzés és a tétel neve. A végén az ügyfél egy tiszta táblázatot kapott, de csak azért, mert az elején nem siették el a megbeszélést.

Távoli munka menete és fájlátadás

A távoli munka menete általában mintafájl küldésével indul. A szakember megnézi a dokumentumokat, jelzi a kockázatokat, majd javasol egy kimeneti formátumot. Ez lehet CSV, XLSX, ODS, egyszerű szövegfájl vagy strukturált adat. A lényeg az, hogy az ügyfél tovább tudjon dolgozni vele.

A kommunikáció online történik. Jó, ha minden fontos döntés írásban marad. Ilyen döntés például az oszlopok neve, az üres mezők kezelése, az ékezetek megtartása, a fájlnevek használata, vagy az, hogy több találat esetén melyik adat legyen az elsődleges. Rövid feladatnál ez néhány üzenet. Nagyobb munkánál érdemes próbakimenetet kérni az első néhány dokumentumból.

Az OpenOffice Adatparszere esetén a határidő nem csak a fájlok számától függ. Sokkal többet számít, hogy mennyire ismétlődik a szerkezet. Tíz egyforma ODS fájl gyorsabb lehet, mint három teljesen eltérő ODT dokumentum. Sokan ott hibáznak, hogy csak darabszám alapján kérnek árat. Pedig a dokumentum minősége legalább ennyire fontos.

Adatminőség és ellenőrzés

Az adatminőség nem a végén kezdődik. Már a feladat leírásánál eldől, mennyire lesz pontos a kimenet. Ha az ügyfél csak annyit ír, hogy minden adatot ki kell szedni, abból könnyen zavar lesz. Minden adat mást jelenthet. Lehet teljes szöveg, csak név és cím, csak táblázati érték, vagy bizonyos kulcsszavak környezete.

Szerintem a legjobb módszer az, ha a szakember először egy kis mintán dolgozik. Az ügyfél ezt megnézi, javítja az elvárást, majd csak utána indul a teljes feldolgozás. Ez lassabbnak tűnik, de a gyakorlatban gyorsabb. Kevesebb az utólagos vita, és nem kell mindent újra kezdeni.

Az ellenőrzés lehet automatikus és kézi is. Automatikus ellenőrzésnél kiszűrhető az üres sor, a hibás dátum, a túl rövid név vagy a nem várt karakter. Kézi ellenőrzésnél mintavétellel lehet megnézni, hogy a parser jól értelmezte-e a dokumentumot. Magánügyfeleknél gyakran elég a részleges kontroll, de érzékeny adatoknál jobb több időt hagyni rá.

Gyakori hibák OpenOffice adatfeldolgozásnál

Gyakori hiba, hogy az ügyfél csak a végső fájlt képzeli el, de a forrás állapotát nem nézi meg. Ha az OpenOffice dokumentumok régebbiek, több kézből származnak, vagy sok bennük a kézi formázás, akkor a feldolgozás nem lesz teljesen egyenes út. Az adatkinyerő munka ilyenkor részben tisztítás is.

Másik hiba a túl kevés információ. A szakembernek tudnia kell, hogy mi legyen a cél. Egy névlista más szabályt igényel, mint egy pénzügyi összesítő. Egy ODS munkafüzet több lapja közül nem biztos, hogy mind kell. Ha nincs megadva, melyik lap fontos, a szabadúszó találgatni fog. Ez ritkán vezet jó eredményre.

Az is gond, amikor az ügyfél nem számol a javításokkal. Nem azért, mert a munka rossz. Hanem azért, mert a forrásdokumentumok sokszor nem következetesek. Egy rövid javítási kör teljesen normális. Itt lehet pontosítani a mezők nevét, a sorrendet, a szűrést és a felesleges oszlopokat.

OpenOffice dokumentumok adatparszere eredményformátuma

Az OpenOffice dokumentumok adatparszere akkor ad jó eredményt, ha a kimenet egyszerűen használható. Nem elég, hogy az adatok valahol megvannak. Fontos, hogy az oszlopok érthetők legyenek, a fájl megnyíljon, és az ügyfél lássa, melyik adat melyik forrásból jött. Ha több dokumentumról van szó, hasznos lehet külön oszlopban megőrizni az eredeti fájl nevét.

A kész anyag lehet egyetlen táblázat vagy több részre bontott állomány. Ha az ügyfél később tovább szeretné rendezni, akkor a táblázatos forma a legkényelmesebb. Ha más rendszerbe kerül, akkor a strukturált export lehet jobb. A döntés nem technikai részlet. Ez határozza meg, hogy a munka tényleg használható lesz-e.

Az online adatfeldolgozásnál az átlátható átadás sokat számít. Jó, ha a szakember röviden leírja, mit csinált, mely fájlokat dolgozta fel, volt-e kihagyott vagy bizonytalan adat, és milyen formátumban adta át az eredményt. Ez nem hosszú jelentés. Inkább egy tiszta lezárás, amit később is vissza lehet keresni.