Growth/Personalizovaný první den/Úkoly pro nováčky/Experimentální analýza, listopad 2020
 | Tato stránka ve zkratce: Analýza zjistila, že editační tipy přispěly k zvýšení následujících metrik:
|
|
Analýza experimentu s nově příchozími úlohami
Výsledky z kontrolovaného experimentu testování účinnosti funkcí Growth.
|
V listopadu 2019 Growth tým přidal funkcí editačních tipů do domovské stránky nováčka. Editační tipy poskytují seznam článků k editaci, upravený podle zájmů daného nováčka. Cílem bylo zajistit nováčkům jednoduché editace, na kterých by mohli pracovat, když jsou na wiki poprvé. Naší hypotézou bylo, že tento nástroj zvýší pravděpodobnost, že nováčci začnou editovat, naučí se dovednosti potřebné pro editování, zjistí, že jejich editace mají reálný dopad na Wikipedii, a následně budou pokračovat v editování.
Abychom se dozvěděli o dopadu našich funkcí, nasadili jsme je v rámci kontrolovaného experimentu: 76 % nováčků je mělo aktivováno, a zbývajících 24 % ne. Experiment trval šest měsíců a probíhal na arabské, vietnamské, české a korejské Wikipedii.
Shrnutí poznatků
Analýza prokázala, že funkce týmu Growth zlepšují výsledky práce nováčků. Níže shrnujeme ty nejdůležitější body.
- Nováčci, u kterých byly funkce týmu Growth aktivovány, se aktivují s větší pravděpodobností (tj. provedou první editaci v hlavním jmenném prostoru).
- Věříme, že funkce týmu Growth také zvyšují pravděpodobnost udržení nováčka (tj. pravděpodobnost, že se vrátí, a edituje článek v některém z dalších dnů).
- Naše funkce také zvyšují počet editací bez současného snížení konstruktivnosti editací (tj. počtu vracených editací).
Věříme, že tyto výsledky potvrzují, že funkce týmu Growth (zejména editační tipy) mají smysl, a přiměly nováčky u Wikipedie zůstat delší dobu.
Na základě těchto výsledků soudíme, že všechny jazykové verze Wikipedie by měli zvážit implementování těchto funkcí.
Věříme, že tyto výsledky prokazují, že by Growth tým měl pokračovat v práci na strukturovaných editacích, abychom vytvořili jednoduché editační postupy, které by nováčci mohli použít.
Slovník pojmů
- K lednu 2020 jsou funkce týmu Growth nasazeny na sedmnácti projektech. V našem experimentu jsme analyzovali pouze čtyři pilotní projekty: arabskou, vietnamskou, českou a korejskou Wikipedii.
- Ne všichni nováčci mají funkce týmu Growth aktivovány: 20 % náhodně vybraných nováčků tvoří kontrolní skupinu. Skupina s funkcemi je treatment group (skupina s úpravami) a skupina s výchozí zkušeností je control group (kontrolní skupina). Čísla, která pocházejí z výchozího prostředí, se nazývají baseline (základní) čísla.
- Aktivovaný nováček je definován jako nováček, který svou první editaci uloží do 24 hodin od registrace. Základní úroveň aktivace je úroveň aktivace s výchozím nastavením funkcí, bez nasazení funkcí týmu Growth.
- Konstruktivní aktivace je definována pomocí nováčka, který uloží svou první editaci v článku do 24 hodin od registrace, a tato editace není do dalších 48 hodin revertována. Základní úroveň konstruktivní aktivace je stejné číslo pro uživatele bez aktivovaných funkcí týmu Growth.
- Retence je definována pomocí nováčka, který uloží další editaci další den, během následujících dvou týdnů od aktivace. Základní úroveň retence je úroveň retence pro uživatele s výchozími funkcemi, tj. bez funkcí týmu Growth.
- Počet editací je celkový počtem editací, které uživatel uložil během prvních dvou týdnů od registrace. Základní počet editací je počet editací (viz definice výše) uložený uživateli s výchozími funkcemi, tj. bez funkcí týmu Growth
Podrobné výsledky
Níže jsou konkrétní výsledky plynoucí z našeho experimentu. Data jsou založená na celkem 97 755 účtech založených na našich pilotních projektech mezi listopadem 2019 a květnem 2020. Pro více informací si můžete přečíst sekci metodologie.
Aktivace
V rámci této analýzy jsme se soustředili na editace v hlavním jmenném prostoru, a přidružených diskusí.
- Aktivace: Nováčci s aktivovanými funkcemi týmu Growth mají o 11,6 % vyšší pravděpodobnost, že uloží svou první editaci. Na našich pilotních projektech je základní úroveň aktivace 21,6 %. funkce týmu Growth zvýšil aktivaci na 24,1 %, což je oproti základní úrovni zvýšení o 11,6 %.
- Konstruktivní aktivace: Efekt je vyšší, pokud se díváme jen na konstruktivní aktivaci. Nováčci s funkcemi růstu mají o 26,7 % vyšší pravděpodobnost, že provedou první nevrácenou úpravu článku. Na našich čtyřech pilotních wikinách je základní míra konstruktivní aktivace 16,1 %. Odhaduje se, že funkce růstu tuto hodnotu zvýší na 20,4 %, což je nárůst o 26,7 % oproti základní hodnotě.
Retence
Protože retence je výrazně méně častá, než aktivace, je obtížnější odhalit změny. V tomto experimentu jsme přímo nezjistili žádné změny. Místo toho odhadujeme, že retence se zvýší v podobné míře, jako se zvýší aktivace, tj. přibližně o 11,6 %. Vychází to z myšlenky, že aktivita během prvního dne ovlivňuje aktivitu v následujících dnech, což je něco, co zohledňujeme v našich statistických modelech. Vzhledem k tomu, že se zjistilo, že funkce růstu zvyšují počet uživatelů, kteří jsou aktivní první den, a v pravděpodobnosti, že aktivovaní uživatelé zůstanou zachováni, zjistíme, že "žádná změna", z toho vyplývá, že můžeme očekávat, že nárůst aktivace se projeví do podobného zvýšení retence. Jinými slovy, funkce růstu zřejmě vedou ke zvýšení retence způsobené zvýšením aktivace: někteří uživatelé, které funkce růstu aktivovaly, by přirozeně zůstali zachováni.
Základní úroveň retence je 3,2 %. Čekáme, že funkce týmu Growth tuto hodnotu navýší na 3,6 %.
Počet editací
Funkce týmu Growth zvýšily počet editací uložených nováčky o 22 %.
Jinými slovy:
- 1 000 nováčků bez funkcí týmu Growth by uložilo 1 400 editací v článcích
- 1 000 nováčků s funkcemi týmu Growth by uložilo 1 700 editací v článcích
Toto zvýšení reflektuje jak to, že funkce týmu Growth zvyšují pravděpodobnost, že nováček uloží editaci a zároveň, že někteří nováčci dokončí mnoho editačních tipů krátce po sobě.
Další metriky
Podívali jsme se také na některé další metriky, a nalezli jsme některé méně důležité poznatky.
- Reverty: Zjistili jsme, zda nováčci s funkcemi týmu Growth udělají pravděpodobněji editaci, která bude revertována.
- Velmi aktivní nováčci: Zjistili jsme, že funkce týmu Growth přiměly více nováčků, aby se stali aktivními editory, a uložili více editací.
- Poděkování: Zjišťovali jsme, zda nováčci s funkcemi týmu Growth dostávají více poděkování, než ostatní nováčci.
- Odlišnosti mezi projekty a platformami: Porovnali jsme jednotlivé projekty a platformy (mobil vs. desktop).
Co si z toho odnést & další kroky
Co si z toho odnést?
- Funkce fungují: Funkce týmu Growth vedou k zvýšení aktivity nováčků. To je zejména pravda pro editační tipy, které ukazují snadné editace.
- Jistota při tvorbě strukturovaných editací: Tento projekt nám dává jistotu, že právě vyvíjené další druhy editačních tipů, například "přidání odkazu", ještě zvýší dopad funkcí týmu Growth.
- Potřeba pozitivního posílení: Výsledky ukázaly, že funkce Growth primárně ovlivňuje aktivaci – přiměje nováčky provést první úpravy – na rozdíl od zachování.
Další kroky
- Šiřme to do světa: Jsme více a více přesvědčeni, že naše funkce mají svou cenu.
- Pokračovat v práci: Tento rok se budeme i nadále zaměřovat na přidávání nových typů úkolů a poskytování pozitivního posílení, když nováčci úkoly dokončí.
- Rozšíření analýzy: Nyní, když jsme tuto analýzu dokončili, jsme schopni ji v budoucnu snadněji spustit znovu.
Metodologie
Tým Growth nasadil modul úloh pro nováčky na domovskou stránku na české, korejské, vietnamské a arabské Wikipedii 21. listopadu 2019. Během experimentu byli uživatelé náhodně zařazeni do léčebné nebo kontrolní skupiny. V léčebné skupině uživatelé obdrželi všechny Growth funkce (domovská stránka, úkoly pro nováčky, panel nápovědy atd.), zatímco uživatelé v kontrolní skupině neobdrželi žádné.
Od 21. listopadu do 12. prosince 2019 byla šance být v léčebné skupině 50 %. To se změnilo na 80 % 12. prosince, kdy tým zahájil A/B test dvou variant modulu úloh pro nováčky.
Uživatelé mohou kdykoli zapnout nebo vypnout funkce Growth ve svých uživatelských preferencích. Pokud tak učiní, jsou z této analýzy vyloučeni. Vylučujeme také známé testovací účty, uživatele, kteří se zaregistrovali prostřednictvím rozhraní API (jedná se především o účty aplikací) a účty, které jsou vytvořeny automaticky.
Soubor dat pro tuto analýzu obsahuje 97 755 účtů registrovaných od začátku experimentu do 14. května 2020. Z nich je 23 529 (24,1 %) v kontrolní skupině a 74 226 (75,9 %) je v léčebné skupině.
Naše analýza široce využívá víceúrovňové (hierarchické) regresní modely, přičemž jako proměnnou seskupení používá wiki. To nám umožňuje zohlednit rozdíly mezi wikinami v naší analýze. Například naše aktivační modely jsou víceúrovňové modely logistické regrese, což znamená, že zohledňují inherentní rozdíly v rychlosti aktivace mezi wikinami. Víme také, že editační činnost se řídí distribucí dlouhého chvostu, a proto modelový počet úprav provedených pomocí nulově nafouknutý negativní binomické rozdělení (opět pomocí víceúrovňového modelu).