Személyre szabott push-kampányok tesztelése felhasználói szegmensek alapján

Szegmensek szerinti tesztelés magánügyfeleknek

A Szegmensek szerinti tesztelés akkor hasznos, amikor egy alkalmazásban vagy online felületen nem elég azt látni, hogy egy üzenet működik-e, hanem azt is tudni kell, melyik felhasználói csoportnál működik jól. A válasz röviden az, hogy a tesztelést nem az egész közönségre kell egyszerre nézni, hanem kisebb, értelmes csoportokra bontva. Így egy magánügyfél is pontosabban érti, miért reagálnak másképp az új felhasználók, a régi ügyfelek, az inaktívak vagy azok, akik már vásároltak.

Ez a munka online is jól végezhető. A megbízó átadja a kampány célját, az alkalmazás vagy felület működésének rövid leírását, a mérési adatokat, a korábbi üzeneteket és a fontos képernyőképeket. A tesztelő vagy marketinges szakember ezek alapján megnézi, hogy a csoportok logikusan vannak-e kialakítva, a mérések értelmezhetők-e, és a kampány eredménye nem keveredik-e össze más hatásokkal. Én azt látom, hogy sok hiba nem magában az üzenetben van, hanem abban, hogy rossz embereknek, rossz időben vagy túl széles csoportban küldik ki.

A Qjob.hu oldalán olyan magánszakembert lehet keresni, aki távolról segít a kampányadatok, szegmensek, értesítések és mérési eredmények átnézésében. Itt nem nagy ügynökségi csomagról van szó, hanem konkrét feladatról. Például egy kampány logikájának ellenőrzéséről, egy tesztterv összeállításáról, vagy egy eredménytábla értelmezéséről.

Szegmens alapú tesztelés célja

A szegmens alapú tesztelés célja az, hogy a döntés ne érzésből történjen. Egy push kampány vagy más felhasználói értesítés első ránézésre sikeresnek tűnhet, ha sokan megnyitják. De ez kevés. Lehet, hogy csak egy kis csoport húzza fel az átlagot, miközben más felhasználók számára az üzenet zavaró. És az is lehet, hogy a kampány rövid távon kattintást hoz, de hosszabb távon rontja az alkalmazás használatát.

Tapasztalatom szerint a legjobb tesztelés nem túl bonyolult. Először meg kell mondani, milyen döntést akar meghozni a megbízó. Például azt, hogy melyik üzenetszöveg menjen ki, melyik csoport kapjon emlékeztetőt, vagy milyen gyakran szabad értesítést küldeni. Utána jön a szegmensek tisztázása. Új felhasználó, aktív felhasználó, régóta nem belépő felhasználó, vásárlás előtt álló érdeklődő, korábbi vásárló. Ezek nem dísznek vannak. Minden csoport más okból reagál.

Sokan ott hibáznak, hogy túl sok mindent akarnak egyszerre tesztelni. Más üzenetszöveg, más küldési idő, más kedvezmény, más célcsoport. Ilyenkor az eredmény zavaros lesz. Nem derül ki, mitől lett jobb vagy rosszabb a kampány. Egy jó online szakember ebben rendet tesz. Nem feltétlenül több adat kell, hanem tisztább mérési terv.

Szegmensek szerinti tesztelés ára

Az ár általában attól függ, hogy csak egy egyszerű kampány ellenőrzéséről van szó, vagy több felhasználói csoportról, mérési hibákról és részletes javaslatokról is. Szerintem a túl olcsó munka ezen a területen gyakran gyengébb minőséget jelent, mert a szakember ilyenkor csak gyorsan átnézi a számokat, de nem ellenőrzi a logikát. Pedig a hibás következtetés többe kerülhet, mint maga a tesztelés.

Az ár akkor lesz reális, ha a feladat határa világos. Nem mindegy, hogy a szakember csak megmondja, melyik kampányváltozat nyert, vagy azt is megvizsgálja, hogy a nyertes eredmény megbízható-e. Kisebb feladatnál elég lehet egy táblázat és néhány megjegyzés. Komolyabb döntésnél jobb írásos összefoglalót kérni, mert később vissza lehet nézni, mire épült a következtetés.

Szakember választása szegmens teszthez

A szakember választásánál nem az a legfontosabb, hogy sok divatos szót használjon. Inkább az számít, hogy érthetően tudjon kérdezni. Milyen felhasználókról van szó. Melyik esemény indítja a kampányt. Mi a siker mérőszáma. Van-e kontrollcsoport. Mi történik azokkal, akik több szegmensbe is beleillenek. Ezek egyszerű kérdéseknek tűnnek, de sok rossz mérés itt csúszik el.

Érdemes olyan tesztelőt vagy elemzőt választani, aki nem csak a kattintási arányt nézi. Egy értesítésnél fontos lehet a megnyitás, de a cél általában nem ez. Lehet vásárlás, visszatérés, űrlapkitöltés, időpontfoglalás, vagy csak az, hogy a felhasználó újra használja az alkalmazást. Ha a szakember csak egy számot emel ki, és nem kérdez rá a végső célra, az intő jel.

Volt olyan eset, amikor egy ügyfél azt hitte, hogy az új szöveg rosszabb lett, mert kevesebb megnyitást hozott. A részletesebb vizsgálatból kiderült, hogy a kisebb megnyitási arány mellett több felhasználó fejezte be a kívánt műveletet. A kampány tehát nem gyengébb volt, hanem pontosabb. Ezért kell a szegmens alapú tesztelésnél óvatosan bánni az első benyomással.

Online munkafolyamat és átadás

Az online munkafolyamat akkor gördülékeny, ha a megbízó már az elején átadja a szükséges anyagokat. Kell a kampány leírása, az üzenetek szövege, a célcsoportok meghatározása, a küldési időpontok, a mérési adatok és a kívánt üzleti vagy használati cél. Nem kell tökéletes dokumentáció. De a szakembernek látnia kell, miből dolgozik.

A munka általában rövid egyeztetéssel indul. Utána jön az adatok és a szegmensek átnézése. Ha valami hiányzik, azt jobb az elején tisztázni, nem a végén. A következő lépés a hibák és kockázatok jelölése. Például túl kicsi minta, átfedő csoportok, félreérthető mérőszám, túl rövid tesztidő, vagy olyan kampány, amely más akcióval fut egyszerre. A végén a megbízó kap egy rövid vagy részletes összegzést, a megállapodás szerint.

A határidő kisebb feladatnál gyakran 1 vagy 2 munkanap. Részletesebb elemzésnél 3 vagy 5 munkanap is indokolt lehet. Ha sok adat van, vagy több kampányt kell összevetni, akkor nem érdemes siettetni. A gyors válasz néha csak látszólagos előny. Egy elhamarkodott döntés rossz irányba viheti a következő kampányt.

Gyakori hibák a szegmensek tesztelésénél

A leggyakoribb hiba a túl széles célcsoport. Ha mindenki ugyanazt az üzenetet kapja, az eredmény átlagos lesz. Az átlag pedig sokszor eltakarja a lényeget. Egy új felhasználó lehet, hogy segítséget vár. Egy régi felhasználó inkább emlékeztetőt. Egy inaktív felhasználó pedig lehet, hogy már nem akar több értesítést. Ha ezeket egybe mérik, a következtetés gyenge lesz.

A másik gyakori probléma a rossz időzítés. Nem elég azt nézni, melyik üzenet volt jobb. Azt is látni kell, mikor ment ki, milyen más kommunikáció futott ugyanakkor, és volt-e valamilyen külső hatás. Sokan azt hiszik, hogy a szegmensek szerinti tesztelés csak táblázatokról szól. Szerintem inkább gondolkodási munka. A számok csak akkor segítenek, ha a kérdés jól van feltéve.

Az is gond, amikor a megbízó túl gyorsan akar dönteni. Kis mintánál egy jó eredmény könnyen véletlen lehet. A túl rövid tesztidő főleg akkor veszélyes, ha a felhasználók ritkán használják az alkalmazást. Ilyenkor a szakembernek nem az a dolga, hogy mindenáron biztos választ adjon. Inkább jeleznie kell, hogy az adat még gyenge, és óvatos döntés kell.

Minőség és javítási körök

A minőség ebben a munkában nem látványos, hanem követhető. Egy jó eredményátadásból kiderül, melyik szegmens hogyan teljesített, milyen korlátai vannak a mérésnek, és mit érdemes legközelebb változtatni. Nem elég annyit írni, hogy az A változat jobb. A megbízónak értenie kell, miért jobb, mennyire biztos az eredmény, és milyen feltételek mellett igaz.

A javítási körök általában nem a szöveg szépítéséről szólnak. Inkább arról, hogy a megbízó pontosítja a célt, új adatot ad át, vagy kiderül, hogy egy szegmens máshogy van beállítva, mint ahogy korábban gondolta. Ez normális. De a módosítások számát érdemes előre rögzíteni. Így nem lesz vita abból, hogy egy új kampány már külön feladat-e.

A szegmens alapú tesztelés akkor ad jó alapot, ha a végén nem csak egy döntés születik, hanem tanulás is. Melyik csoport érzékeny az ajánlatra. Melyik csoportnál túl sok az értesítés. Hol kell más üzenet. Hol kell kevesebb zaj. Ezek a válaszok később több kampánynál is hasznosak lehetnek.

Szegmensek szerinti tesztelés megrendelés előtt

Megrendelés előtt érdemes röviden leírni a feladatot. Milyen kampányról van szó, hány felhasználói csoportot kell vizsgálni, milyen adatok állnak rendelkezésre, és milyen döntést szeretne meghozni a megbízó. Ha ezek nincsenek meg, a szakember csak találgatni fog. Az pedig nem tesztelés.

Én azt javaslom, hogy a megbízó kérjen egy rövid módszertani választ is. Ne csak árat. A jó válaszból látszik, hogy a szakember érti-e a különbséget egyszerű kampányelemzés és valódi szegmens alapú tesztelés között. Ha rákérdez a mintaméretre, a mérőszámokra, a csoportok átfedésére és a kampány céljára, az jó jel. Ha azonnal kész eredményt ígér adatok nélkül, az kevésbé biztató.

A végeredmény akkor hasznos, ha a magánügyfél nem csak egy táblázatot kap, hanem érthető döntési alapot. Mit érdemes folytatni. Mit kell leállítani. Hol kell új teszt. Hol nem elég az adat. Ez a fajta online munka nem feltétlenül hosszú, de figyelmet kér. És ha jól van elvégezve, segít abban, hogy a következő kampány ne hangosabb legyen, hanem pontosabb.