Felesleges rekordok eltávolítása az adatbázisból gyorsan és hatékonyan

Adatbázis tisztítás magánügyfeleknek

Az Adatbázis tisztítás akkor hasznos, ha egy táblázat, ügyféllista, webáruházi adatállomány vagy régi rendszerből exportált fájl már nem megbízható. A cél egyszerű. A felesleges sorok, duplikált bejegyzések, hibás mezők és zavaró eltérések kikerülnek, a megmaradó adatok pedig jobban használhatók lesznek kereséshez, importhoz, számlázáshoz, hírlevélhez, kimutatáshoz vagy további feldolgozáshoz. Egy magánszakember ezt a munkát távolról is el tudja végezni, ha pontosan megkapja a fájlt, a hibák leírását és azt, hogy milyen eredményt vár a megrendelő.

Én azt látom, hogy sok ügyfél nem azért keres adatkezeléssel foglalkozó szakembert, mert nagyon bonyolult rendszere van. Inkább azért, mert a lista évek alatt szétcsúszott. Van benne többféle névformátum, régi telefonszám, üres sor, rossz e-mail cím, ismétlődő ügyfél, eltérő azonosító, felesleges megjegyzés és olyan mező, amely már senkinek nem kell. Ez első ránézésre apróságnak tűnik, de amikor egy import elakad, egy kimutatás hibás eredményt ad, vagy egy ügyfél kétszer kap üzenetet, akkor gyorsan kiderül, hogy a tisztítás nem kényelmi feladat.

Az online adattisztítás előnye, hogy nem kell személyes egyeztetés. A megbízó feltölti vagy biztonságosan átadja az állományt, a szabadúszó átnézi a szerkezetet, visszakérdez a bizonytalan részekre, majd elkészíti a tisztított változatot. Tapasztalatom szerint a jó munka nem azzal kezdődik, hogy valaki azonnal törölni kezd. Előbb meg kell érteni, melyik adat valóban felesleges, és melyik csak elsőre tűnik annak.

Adattisztítás felesleges bejegyzések nélkül

Az adattisztítás egyik leggyakoribb része a duplikációk kezelése. Ez nem mindig egyszerű törlés. Két sor lehet ugyanannak az embernek a bejegyzése, de az egyik sorban frissebb telefonszám van, a másikban pontosabb e-mail cím. Ilyenkor a szakembernek nemcsak törölnie kell, hanem össze kell vezetnie az értékes adatokat. Szerintem ez az a pont, ahol sok olcsó munka elvérzik. Gyorsan eltűnnek sorok, de közben hasznos információ is elveszik.

Felesleges bejegyzés lehet egy próbarekord, egy üres sor, egy hibás exportból származó töredék, egy korábbi tesztfelhasználó, egy régi termék, egy megszűnt kategória vagy egy ismétlődő import eredménye. De nem minden régi adat felesleges. Egy korábbi rendelés, ügyfélkapcsolat vagy azonosító később még fontos lehet. Ezért a tisztítás előtt érdemes mentést készíteni, és külön fájlban jelölni, mi került törlésre vagy módosításra.

Volt olyan eset, amikor egy ügyfél egy több ezer soros ügyféllistát adott át. Azt kérte, hogy csak a duplikált e-mail címek maradjanak ki. A munka közben kiderült, hogy ugyanaz az ember több néven is szerepelt, és néhány cím elgépelés miatt nem látszott ismétlődésnek. A tisztítás után a hírlevélküldés pontosabb lett, és kevesebb visszapattanó levél érkezett. Nem volt látványos fejlesztés, mégis érezhető eredményt adott.

Adatbázis tisztítás árak

Az Adatbázis tisztítás ára főleg az állomány méretétől, a hibák típusától, a fájlformátumtól és az elvárt pontosságtól függ. Egy egyszerű táblázat tisztítása olcsóbb, mint egy több forrásból összerakott adatállomány javítása. A túl olcsó munka ezen a területen gyakran gyengébb minőséget jelent, mert a szakember nem szán elég időt az ellenőrzésre. És itt az ellenőrzés legalább olyan fontos, mint maga a javítás.

Az árnál fontosabb kérdés, hogy mi számít kész munkának. Elég egy tisztított Excel fájl, vagy kell külön hibalista is. Szükséges az eredeti és a javított állapot összehasonlítása. Kell-e importálható formátum. Ezeket érdemes már az elején tisztázni. Qjob.hu felületén a magánügyfél feladatként leírhatja a konkrét adatállományt, és több ajánlat alapján dönthet.

Adatkezelő szakember kiválasztása

Adatkezelő szakember választásakor nem elég azt nézni, hogy valaki tud táblázatot kezelni. A jó szabadúszó érti a mezők logikáját, észreveszi az eltérő formátumokat, óvatosan bánik a törléssel, és nem módosít olyan adatot, amelynek jelentése nem világos. Külön előny, ha dolgozott már Excel, CSV, Google táblázat, SQL export vagy ügyfélkezelő rendszerből származó fájlokkal.

Sokan ott hibáznak, hogy csak árat kérnek, de nem mutatnak mintát az állományból. Pedig egy tízsoros részletből már látszik, milyen típusú problémák vannak. A szakember így pontosabb ajánlatot adhat. Ha a fájl érzékeny adatot tartalmaz, akkor érdemes anonimizált mintát küldeni, vagy csak a szerkezetet megmutatni. A személyes adatok kezelése külön figyelmet igényel, még akkor is, ha a munka távolról történik.

Én olyan kivitelezőt választanék, aki kérdez. Nem baj, ha nem kezd azonnal. Inkább kérdezze meg, mi legyen a részben egyező rekordokkal, mi számít végleges törlésnek, melyik mező az elsődleges azonosító, és milyen formában kell visszaadni az eredményt. Aki mindenre azonnal igent mond, az nem biztos, hogy látja a kockázatokat.

Online adattisztítás menete

Az online adattisztítás általában rövid egyeztetéssel indul. A megrendelő leírja a célt, megadja a fájlformátumot, a sorok hozzávetőleges számát, a hibák típusát és a kívánt kimenetet. Ezután a szakember megnézi a mintát, becslést ad a munkára, majd jóváhagyás után elkészíti az első tisztított változatot. Nagyobb feladatnál hasznos lehet egy próbarész, mert ebből kiderül, hogy a két fél ugyanazt érti-e tiszta adat alatt.

A kommunikáció legtöbbször írásban történik. Ez jó, mert visszakereshető. A brief legyen rövid, de konkrét. Például mit kell törölni, mit kell javítani, milyen formátum maradjon meg, mi legyen az üres mezőkkel, kell-e egységes nagybetűzés, kell-e e-mail formátum ellenőrzés, és hogyan kell jelölni a bizonytalan rekordokat. Minél pontosabb a leírás, annál kevesebb javítási kör kell.

A kész eredmény átadása történhet táblázatként, CSV fájlként, importálható állományként vagy külön javítási listával együtt. A legjobb megoldás szerintem az, ha a tisztított adat mellett megmarad az eredeti verzió is. Így később visszanézhető, mi változott. Egy felelős szabadúszó nem törli véglegesen az adatokat úgy, hogy a megrendelő ne tudja ellenőrizni a folyamatot.

Hibák az adatbázis rendezésekor

Az adatbázis rendezésekor gyakori hiba, hogy a megrendelő csak azt mondja, hogy legyen rendben a fájl. Ez túl tág kérés. A rend minden projektnél mást jelent. Egy hírlevél listánál az e-mail cím és a név a fontos. Egy terméklistánál az ár, cikkszám, kategória és készlet. Egy ügyféladatbázisnál az azonosító, kapcsolatfelvételi adat és megjegyzés lehet döntő. A szakember akkor tud jól dolgozni, ha a cél világos.

Másik hiba a túl gyors törlés. Egy duplikált rekord nem mindig szemét. Lehet, hogy két forrásból érkezett, és mindkét sor tartalmaz valami fontosat. A rossz formátum sem mindig hibás adat. Előfordul, hogy egy mezőben azért van eltérő írásmód, mert több ország, több rendszer vagy több korábbi szabály találkozott ugyanabban a fájlban. Ilyenkor előbb szabály kell, csak utána javítás.

Az Adatbázis tisztítás akkor ad jó eredményt, ha a végén nemcsak kevesebb sor van, hanem használhatóbb adatállomány is. Ez nagy különbség. A puszta törlés ritkán elég. Kell egy logikus szerkezet, következetes mezőhasználat, érthető fájlnév, és olyan eredmény, amelyet a megrendelő később is tud használni. Szerintem ez a munka akkor sikeres, ha a tisztított fájl nem okoz új kérdéseket, hanem lezár egy korábbi problémát.