Hirdetésoldal parser készítése a profession.hu-ról

Álláshirdetés parser magánügyfeleknek

Az Álláshirdetés parser akkor hasznos, ha valaki nem kézzel szeretné gyűjteni a hirdetések adatait, hanem rendezett táblázatban vagy más átadható formában akarja látni az állásokat. A lényeg egyszerű. A megbízó megmondja, milyen hirdetések érdeklik, a szakember pedig elkészíti azt az eszközt, amely a megadott szabályok szerint összegyűjti és rendszerezi az adatokat. Ez lehet egyszeri adatkinyerés, rendszeres frissítés vagy egy kisebb belső segédeszköz is.

Én azt látom, hogy a legtöbb ügyfél nem magát a programot keresi, hanem egy érthető eredményt. Például állás neve, cég neve, munkavégzés módja, bérsáv, elvárások, jelentkezési feltételek, közzététel ideje és hivatkozás. Ha ezek egy Excel fájlban, Google táblázatban vagy más rendezett formában jelennek meg, akkor már sok kézi munka megspórolható. A parser fejlesztés itt nem látványos, de nagyon praktikus online szolgáltatás.

A Qjob.hu felületén magánszemélyek is kereshetnek olyan szabadúszó fejlesztőt, aki távolról dolgozik, egyeztet online, és a végén fájlban, dokumentációval vagy működő programként adja át az eredményt. Fontos, hogy nem céges csomagról van szó, hanem egy konkrét feladatról, amelyet egy magán szakember vállalhat el.

Álláshirdetés parser feladatok és adatok

Egy álláshirdetés gyűjtő eszköz általában többféle adatmezővel dolgozik. Nem elég csak a címet és a hivatkozást menteni. Sokszor a szűrési feltételek a legfontosabbak. Ilyen lehet a munkakör neve, a munkavégzés jellege, a tapasztalati szint, a nyelvtudás, a fizetési információ, a hirdetés állapota vagy az, hogy a pozíció frissnek számít-e.

Tapasztalatom szerint az első egyeztetésnél érdemes pontosan megmondani, mi számít hasznos találatnak. Ha az ügyfél csak annyit ír, hogy minden hirdetés kell egy adott területről, abból könnyen túl nagy és zajos adatlista lesz. Egy jó online adatgyűjtő munka inkább szűkebb, de használhatóbb eredményt ad. Például csak teljes munkaidős hirdetések, csak bizonyos kulcsszavakkal, csak friss bejegyzések, vagy csak azok, ahol szerepel valamilyen bérinformáció.

Volt olyan eset, amikor egy ügyfél minden nap kézzel nézte át ugyanazokat a hirdetési oldalakat. Nem volt szüksége bonyolult rendszerre. Csak azt akarta látni, milyen új állások jelentek meg, és melyik hirdetés felelt meg a saját feltételeinek. Egy egyszerű álláshirdetés adatkinyerő megoldás után a napi munka néhány perc lett. Szerintem ez jól mutatja, hogy a feladat értéke nem mindig a kód hosszában van, hanem abban, hogy mennyi ismétlődő munkát vesz le az ügyfélről.

Álláshirdetés parser árak

Az ár főleg attól függ, hogy egyszeri adatkinyerésről, újra futtatható eszközről vagy rendszeres frissítésre alkalmas megoldásról van szó. A túl olcsó munka ezen a területen gyakran gyengébb minőséget jelent, mert a fejlesztő kihagyja az ellenőrzést, nem kezeli a hibás mezőket, vagy nem készít érthető átadást. Ez később több időt visz el, mint amennyit az ügyfél az elején megtakarított.

Szerintem egy kisebb Álláshirdetés parser reális ára akkor jó, ha tartalmaz legalább egy tesztfuttatást és egy javítási kört. A magánügyfélnek nem kell technikai részletekben gondolkodnia, de azt érdemes előre tisztázni, hogy milyen fájlt szeretne a végén, milyen mezőkkel, milyen gyakran és milyen pontossággal.

Online munkafolyamat és átadás

Az ilyen munka távolról is jól kezelhető. Az ügyfél elküldi a céloldalt, a keresési feltételeket, a kívánt adatmezőket és a végeredmény formátumát. A szakember ezután megvizsgálja, hogy az adatok milyen módon érhetők el, majd készít egy próbamintát. Ez a próbaminta sok félreértést megelőz.

A munkafolyamat általában rövid brieffel indul. Ebben nem kell szakmai nyelvet használni. Elég leírni, hogy milyen állásokat kell figyelni, mely adatokat kell kimenteni, és mi számít felesleges találatnak. Ezután jöhet a fejlesztés, a tesztelés, az adatellenőrzés és az átadás. Az átadás lehet Excel fájl, CSV, Google táblázat, futtatható kód, egyszerű kezelőfelület vagy más megbeszélt formátum.

És fontos a kommunikáció. Ha a megbízó naponta változtatja a mezőket, a munka elcsúszik. Ha viszont az elején van egy világos lista, a fejlesztő gyorsabban tud haladni. Egy szabadúszó programozó ilyenkor nem csak kódot ír, hanem segít a feladat pontosításában is. Ez különösen akkor hasznos, ha az ügyfél először rendel online adatgyűjtési megoldást.

Álláshirdetés adatkinyerő szakember kiválasztása

A megfelelő szakember kiválasztásánál nem csak az ár számít. Érdemes megnézni, hogy az illető ért-e adatgyűjtéshez, táblázatos adatfeldolgozáshoz, hibakezeléshez és az online oldalak változó szerkezetéhez. Egy álláshirdetés oldal nem mindig ugyanúgy adja vissza az adatokat. Van, ahol hiányzik a bér, máshol a cég neve nem egyértelmű, vagy több azonos hirdetés is megjelenhet.

A jó fejlesztő kérdez. Megkérdezi, milyen mezőket kell menteni, mit kell kihagyni, kell-e duplikáció szűrés, mi legyen a régi hirdetésekkel, és hogyan történjen a frissítés. Ha valaki azonnal fix árat mond részletek nélkül, az nem mindig rossz jel, de óvatosságra adhat okot. A feladat néha egyszerűnek látszik, majd kiderül, hogy a hirdetések szerkezete eltérő, vagy a várt adat nem mindig érhető el.

Én azt javaslom, hogy a megbízó kérjen rövid mintát vagy legalább részletes leírást az átadásról. Nem kell hosszú portfóliót nézni, de jó, ha a szakember már dolgozott hasonló parser megoldással. A tiszta kommunikáció itt többet ér, mint egy túl szép ígéret.

Tipikus hibák álláshirdetés parser rendelésénél

Sokan ott hibáznak, hogy csak a végső táblázatot képzelik el, de nem gondolják végig az adatok minőségét. Pedig a nyers lista önmagában kevés. Ha tele van ismétléssel, hiányzó mezőkkel vagy rosszul szétválasztott adatokkal, akkor az ügyfél ugyanúgy kézzel javítgatja tovább. Ezért kell már az elején beszélni a tisztításról.

Másik gyakori hiba a túl tág kulcsszó. Ha minden olyan hirdetés bekerül, amelyben szerepel egy általános szó, a lista gyorsan használhatatlanná válik. Jobb több szűrési feltételt adni. Például munkakör, tapasztalati szint, foglalkoztatási forma, frissesség és kizáró kulcsszavak. Ezekkel az álláshirdetés gyűjtő pontosabb eredményt ad.

Van még egy kellemetlen pont. Az oldalak szerkezete időnként változhat. Ilyenkor egy korábban működő parser hibázni kezdhet. Ezt nem mindig lehet teljesen elkerülni, de lehet rá felkészülni. Hasznos a naplózás, a hibajelzés és egy rövid útmutató arról, mi a teendő, ha a program nem ad eredményt. Szerintem ez nem extra luxus, hanem alapvető biztonság egy komolyabb adatkinyerési munkánál.

Minőség, javítások és használható eredmény

A jó eredmény nem az, hogy a program egyszer lefut. A jó eredmény az, hogy az ügyfél érti, mit kapott, meg tudja nyitni, tudja szűrni, és nem kell minden sort ellenőriznie. Az Álláshirdetés parser akkor működik igazán, ha a végeredmény következetes. Ugyanaz az adat mindig ugyanabba az oszlopba kerül, a hivatkozások megnyithatók, a dátumok egységesek, és a hiányzó mezők is jelölve vannak.

A javítások számát érdemes előre rögzíteni. Egy próbaminta után sokszor kiderül, hogy az ügyfél más oszlopsorrendet szeretne, vagy néhány mező felesleges. Ez normális. De ha a teljes logika változik, az már új feladat lehet. Egy magán szakember általában rugalmasabb, de neki is pontos keretekre van szüksége.

A végén az ügyfélnek olyan anyagot kell kapnia, amelyet tényleg használni tud. Lehet ez egy letölthető táblázat, egy rendszeresen frissíthető fájl vagy egy futtatható megoldás rövid leírással. Nekem az a véleményem, hogy a parser fejlesztésnél a legjobb munka csendes. Nem kell magyarázni. Megnyitod az eredményt, és látszik, hogy az adatok rendben vannak.