Növekedés/személyre szabott első nap/Újoncfeladatok/Kísérletelemzés, 2020. november

Csoport:	Növekedés
Kezdés:	2019-11-21
Befejezés:	2020-05-14
Vezető:	Morten Warncke-Wang (Staff Data Scientist)

This page is a translated version of the page Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020 and the translation is 77% complete.

Outdated translations are marked like this.

Tracked in Phabricator
Task T230174

2019 novemberében a Növekedési csapat hozzáadta az "újoncfeladatok" funkciót a kezdők kezdőlapjához. A kezdők feladatai a szerkesztésre javasolt szócikkekből álló, az új belépő érdeklődési köréhez igazított csatornát biztosítanak. A cél az volt, hogy a kezdőknek olyan könnyű szerkesztési lehetőségeket biztosítsunk, melyek érdeklik őket, amikor először érkeznek a wikibe. Feltételezésünk az volt, hogy az eszközök segítségével a kezdők nagyobb valószínűséggel kezdenek el szerkeszteni, megtanulják a szerkesztési készségeket, látják azok hatását, majd folytatják a szerkesztést.

A funkciók hatásának megismerése érdekében a funkciókat egy ellenőrzött kísérletben alkalmaztuk: A kezdők 76%-a kapta meg a funkciókat, 24%-a pedig nem. A kísérlet hat hónapig tartott, és arab, vietnámi, cseh és koreai Wikipédiákról gyűjtöttünk adatokat.

Az eredmények összefoglalása

Az elemzés általánosságban azt mutatta, hogy a Növekedés funkciói javítják az új szerkesztők eredményeit. Az alábbiakban a legfontosabb pontok kerülnek bemutatásra.

Azok a kezdők, akik megkapják a Növekedés funkciókat, nagyobb valószínűséggel "aktiválódnak" (azaz elvégzik az első cikkszerkesztést).
Úgy véljük, hogy nagyobb valószínűséggel maradnak meg (azaz visszatérnek, és egy másik napon egy másik cikket szerkesztenek).
A funkciók emellett növelik a szerkesztési mennyiséget (azaz a szerkesztések számát) anélkül, hogy csökkentenék a konstruktivitást (azaz amikor a szerkesztéseket visszaállítják).

Úgy gondoljuk, hogy ezek az eredmények megerősítik, hogy a Növekedés funkciói, különösen az új szerkesztőknek szánt feladatok arra késztetik őket, hogy többet szerkesszenek, és hosszabb ideig maradjanak a wikin.

Ezen eredmények miatt úgy gondoljuk, hogy minden Wikipédiának fontolóra kellene vennie ezeknek a funkcióknak a bevezetését.

Úgy véljük továbbá, hogy ezek az eredmények azt is igazolják, hogy a növekedési csapatnak tovább kellene dolgoznia a strukturált feladatokon, hogy újfajta, egyszerű szerkesztési munkafolyamatokat hozzon létre az újoncok számára.

Szójegyzék

2020 novemberében tizenhét wiki rendelkezik a növekedési funkciókkal. Kísérletünkben azonban négy kísérleti wikit elemeztünk: Arab, vietnámi, cseh és koreai Wikipédiákat.
Nem minden új felhasználó kapja meg a növekedési funkciókat; 20%-uk véletlenszerűen kiválasztva kapja meg az alapértelmezett élményt. A funkciókkal rendelkező csoport a kezelési csoport, az alapértelmezett tapasztalatokkal rendelkező csoport pedig a kontrollcsoport. Az alapértelmezett tapasztalatokból származó számokat kiindulási számoknak nevezzük.
Aktiválás alatt azt értjük, ha egy új szerkesztő játékos a regisztrációtól számított 24 órán belül elvégzi első szerkesztését. Az alapszintű aktiválási arány az alapértelmezett jellemzőkkel való aktiválási arány, nem pedig a Növekedési jellemzőkkel.
A konstruktív aktiválás azt jelenti, hogy egy kezdő szerkesztő a regisztrációt követő 24 órán belül elvégzi első szerkesztését, és ezt a szerkesztést 48 órán belül nem vonják vissza. A konstruktív aktiválási arány az alapértelmezett funkciókkal rendelkező szerkesztők aránya, nem pedig a növekedési funkciókkal.
Megmaradás alatt azt értjük, ha egy új felhasználó az aktiválást követő két héten belül egy másik napon visszatér, és újabb szerkesztést végez. Az alapszintű megtartási arány az alapértelmezett funkciókkal rendelkező szerkesztők aránya, nem pedig a növekedési funkciókkal rendelkezőké.
A szerkesztési mennyiség a szerkesztő első két hetében végzett szerkesztések száma. Az alapértelmezett szerkesztési mennyiség az alapértelmezett funkciókkal rendelkező szerkesztők száma, nem pedig a Növekedési funkciókkal rendelkezőké.

Részletes eredmények

Az alábbiakban a kontrollált kísérlet általunk becsült konkrét hatásait mutatjuk be. Ezek mind 97 755 új fiók megfigyelésén alapulnak a kísérleti wikikben, 2019 novembere és 2020 májusa között. A módszertan további részleteiért lásd alább a "Módszertan" című részben.

Aktiválás

Ehhez az elemzéshez a szócikk és a Szócikkvita névtér szerkesztéseire összpontosítottunk.

Aktiválás: A növekedési jellemzőkkel rendelkező új felhasználók 11,6%-kal nagyobb valószínűséggel készítik el az első cikkszerkesztést. A négy kísérleti wikiben az alapszintű aktiválási arány 21,6%. A növekedési funkciók a becslések szerint 24,1%-ra növelik az aktiválást, ami 11,6%-os növekedést jelent az alapértékhez képest. On our four pilot wikis, the baseline activation rate is 21,6%. The Growth features are estimated to increase activation to 24,1%, which is an 11,6% increase over the baseline.
Konstruktív aktiválás: a hatás nagyobb, ha csak a konstruktív aktiválást vizsgáljuk. A Növekedési jellemzőkkel rendelkező új szerkesztők 26,7%-kal nagyobb valószínűséggel készítenek első, nem módosított cikkszerkesztést. A négy kísérleti wikin a konstruktív aktiválási arány alapesetben 16,1%. A növekedési funkciók a becslések szerint 20,4%-ra növelik ezt az arányt, ami 26,7%-os növekedést jelent az alapértékhez képest. Newcomers with Growth features are 26,7% more likely to make a first unreverted article edit. On our four pilot wikis, the baseline constructive activation rate is 16,1%. The Growth features are estimated to increase this to 20,4%, which is a 26,7% increase over the baseline.

Megtartás

Mivel a megtartás sokkal ritkább, mint az aktiválás, nehezebb a változásokat kimutatni. Ebben a kísérletben nem észleltünk közvetlenül semmilyen változást. Ehelyett úgy becsüljük, hogy a visszatartás hasonló mértékben nőtt, mint az aktiváció, azaz körülbelül 11,6%-kal. Ez abból az elképzelésből ered, hogy az első napi aktivitás befolyásolja a következő napok aktivitását, amit statisztikai modelljeinkben figyelembe veszünk. Mivel a Növekedési jellemzőkről kiderült, hogy növelik az első napon aktív szerkesztők számát, és nem találunk változást az aktivált felhasználók megtartásának valószínűségében, ebből az következik, hogy az aktiválás növekedése várhatóan a megtartás hasonló mértékű növekedését eredményezi. Más szóval, úgy tűnik, hogy a növekedési funkciók az aktiválás növekedése miatt a megtartás növekedéséhez vezetnek: a növekedési funkciók által aktivált szerkesztők egy része természetesen megtartásra kerül. In this experiment, we did not detect any changes directly. Instead, we estimate that retention is increased to a similar degree that activation is increased, i.e. by about 11,6%. This comes from the idea that activity during the first day affects activity on the following days, something we account for in our statistical models. Since the Growth features are found to increase the number of users who are active on their first day, and we find no change in the probability that activated users are retained, it follows that we can expect the increase in activation to translate into a similar increase in retention. In other words, the Growth features appear to lead to an increase in retention caused by the increase in activation: some of the users that the Growth features activated would naturally go on to being retained.

Az alapszintű megtartási arány a kísérletben részt vevő négy wiki esetében 3,2%. Becsléseink szerint a növekedési funkciók ezt 3,6%-ra növelik.

Szerkesztési mennyiség

A növekedési funkciók 22%-kal növelik a kezdők által az első két hétben szerkesztett szócikkek számát. Négy kísérleti wikiprogramunkban a szerkesztés becsült alapértéke 1,4, ami azt jelenti, hogy az új szerkesztők átlagosan 1,4 szerkesztést végeznek. A Növekedési funkciókkal rendelkező kezdők a becslések szerint átlagosan 1,7 cikkszerkesztést végeznek.

Más szavakkal:

A növekedési funkciók nélkül 1 000 új szerkesztő 1 400 szócikket szerkesztene.
1 000 új szerkesztő a növekedési funkciókkal együtt 1 700 szócikkszerkesztést végez.

Ez a növekedés egyrészt azt tükrözi, hogy a Növekedési funkciók növelik annak valószínűségét, hogy egy új szerkesztő cikkszerkesztést végez, másrészt azt, hogy egyes kezdők sok javasolt szerkesztést végeznek gyorsan. Néhányan közülük a regisztrációt követő két héten belül több mint 100 szerkesztést végeznek.

Egyéb mérőszámok

Számos más mérőszámot is megvizsgáltunk, kevésbé jelentős eredményekkel.

Visszavonások: azt vizsgáltuk, hogy a Növekedési funkciókkal rendelkező új szerkesztők esetében nagyobb vagy kisebb a valószínűsége annak, hogy a szerkesztéseiket visszavonják. Ez az elemzés nem mutatott nagy vagy egyértelmű eredményeket.
Magasan aktív új szerkesztők: eredményeink azt mutatják, hogy a Növekedési funkciók hatására több újonc válik aktívvá és végez több szerkesztést. Arra is kíváncsiak voltunk, hogy a funkciók hatására több kezdő válik-e rendkívül aktívvá. Őket úgy definiáltuk, hogy a szerkesztők az első 30 napban 50 szerkesztést végeznek. Ez az elemzés nem mutatott ki a növekedési funkciókból eredő különbségeket.
Köszönet: azt vizsgáltuk, hogy a Növekedési funkciókkal rendelkező kezdők több "köszönetet" kapnak-e, mint más szerkesztők. A megtartási elemzéshez hasonló eredményeket találtunk, miszerint arra számítunk, hogy a Növekedési funkciókkal valóban több köszönetet kapnak, de ez csak azért van, mert több szerkesztést okoznak. Ez nem azért lehetséges, mert a funkciók miatt a kezdők olyan szerkesztéseket végeznek, amik nagyobb valószínűséggel vonzanak köszönetet.
Wikik és platformok közötti különbségek: összehasonlítottuk a wikiket és a platformokat (mobil vs. asztali). Nem találtunk lényeges különbségeket a Növekedési jellemzők hatásában.

Következtetések és további lépések

Következtetések

A funkciók működnek: a Növekedési csapat funkciói a kezdők elkötelezettségének növelése érdekében működnek. Ez különösen igaz az "újoncfeladatok" komponensre, amely könnyű szerkesztést javasol.
Bizalom a strukturált feladatok építésében: ez bizalmat ad nekünk abban, hogy a jelenlegi munkánk, hogy többféle új szerkesztői feladatot készítsünk, mint például a "hivatkozás hozzáadása" feladat, növelni fogja a hatást.
A pozitív megerősítés szükségessége: az eredmények azt bizonyították, hogy a Növekedés jellemzői elsősorban az aktiválásra - az új belépők rávezetésére az első szerkesztésekre - vannak hatással, szemben a megtartással. Úgy tűnt, hogy a funkciók csak azért növelik a megtartást, mert fokozzák az aktiválást. A növekedési csapatnak el kellene gondolkodnia azon, hogy mit lehetne hozzáadni a funkciókhoz annak érdekében, hogy a kezdőket az első szerkesztésük után visszatérésre legyenek ösztönözve. Ezért idén a "pozitív megerősítéssel" kapcsolatos munkát tervezünk. Ez mérföldköveket és statisztikákat fog hozzáadni, hogy a kezdők lelkesedhessenek a fejlődésük és hatásuk miatt.

Következő lépések

Az ige terjesztése: most már nagyobb a bizalmunk a funkciók értékét illetően. Ezért a Növekedési csapat több wikit is arra fog ösztönözni, hogy olvassák el az eredményeket, és vegyék fontolóra a funkciók bevezetését.
Folytatjuk a munkát: idén továbbra is arra fogunk összpontosítani, hogy új típusú feladatokat adjunk hozzá, és pozitív megerősítést nyújtsunk, amikor a kezdők teljesítik a feladatokat.
Az elemzés kiterjesztése: most, hogy befejeztük ezt az elemzést, könnyebben lefuttathatjuk a jövőben újra. Meg tudjuk majd vizsgálni, hogy a funkciók hogyan hatnak több wikire, és megnézhetjük, hogy a fejlesztések hogyan változtatják meg a hatásukat.

Módszer

A Növekedési csapat 2019. november 21-én telepítette az újoncfeladatok modult a cseh, koreai, vietnámi és arab Wikipédia honlapjára. A kísérlet során a szerkesztőket véletlenszerűen osztották be egy kezelési vagy egy kontrollcsoportba. A kezelési csoportban a szerkesztők megkapták az összes Növekedés funkciót (kezdőlap, újoncfeladatok, súgó stb.), míg a kontrollcsoportban pedig egyiket sem.

November 21-től 2019. december 12-ig a kezelési csoportba kerülés esélye 50% volt. Ez december 12-én 80%-ra változott, amikor a csapat megkezdte az újoncfeladatok modul két változatának A/B tesztelését.

A szerkesztők a felhasználói beállítások között bármikor be- vagy kikapcsolhatják a Növekedési funkciót. Ha így tesznek, kizárják őket ebből az elemzésből. Kizártuk továbbá az ismert tesztfiókokat, az API-n keresztül regisztrált szerkesztőket (ezek főként alkalmazásfiókok) illetve az automatikusan létrehozott fiókokat.

Az elemzéshez használt adatállomány 97 755 fiókot tartalmaz, melyeket a kísérlet kezdete és 2020. május 14. között regisztráltak. Ebből 23 529 (24,1%) a kontrollcsoportba, 74 226 (75,9%) pedig a kezelési csoportba tartozik. Of these, 23 529 (24,1%) are in the control group and 74 226 (75,9%) are in the treatment group.

Elemzésünk széles körben használja a többszintű (hierarchikus) regressziós modelleket, a wikit csoportosító változóként használva. Ez lehetővé teszi, hogy elemzésünkben figyelembe vegyük a wikik közötti különbségeket. Az aktiválási modelljeink például többszintű logisztikus regressziós modellek, ami azt jelenti, hogy figyelembe veszik a wikik közötti aktiválási arányban rejlő különbségeket. Azt is tudjuk, hogy a szerkesztési aktivitás egy long tail eloszlást követ, ezért a szerkesztések számát egy zero-inflated modellel modellezzük. negatív binomiális eloszlás (ismét többszintű modellel). This allows us to account for differences between the wikis in our analysis. For example, our activation models are multilevel logistic regression models, which means that they account for the inherent differences in activation rate between the wikis. We also know that editing activity follows a long tail distribution, and therefore model number of edits made using a zero-inflated negative binomial distribution (again using a multilevel model).