Growth/Analytické informace/Experimentální panel Potřebuji pomoc
Smyslem projektu panel Potřebuji pomoc je poskytnout uživatelům jednoduší cesty, jak získat pomoc, bez toho, aniž by museli opustit editační rozhraní. Toto jim umožňuje dokončit své úkoly, zatímco se seznámí i s komunitou Wikipedie pomocí otázek a odpovědí na stránce Potřebuji pomoc. Pomáhání nováčkům dokončit jejich úkoly také může vést ke zvýšení množství nováčků, kteří alespoň jednou editují (aktivace nováčka), a také k zvýšení množství těch, kteří editují alespoň dvakrát (udržení nováčka). Zvýšení druhé zmíněné sledované položky je hlavním cílem týmu Growth.
Abychom mohli zjistit, jaký má panel Potřebuji pomoc vliv na aktivaci a udržení nováčků, navrhli jsme šestiměsíční A/B testování. Během tohoto testování mělo 50 % nových účtů panel aktivováno a 50 % deaktivováno. Pravděpodobně bude na stejných cílových projektech spuštěno více experimentů tohoto druhu, kupř. testování variant uvítacího dotazníku. Pokud tyto experimenty vyžadují stratifikovaný výběr vzorků (druh náhodného vícestupňového výběru), zajistíme, aby byly odpovídajícím způsobem upraveny naše vzorkovací strategie.
Pro více informací o tom, na jaké otázky chceme pomocí panelu získat odpovědi, sledujte tuto sekci projektové stránky. Pro více informací o tom, jaká data zaznamenáváme, se podívejte na konfiguraci zaznamenávacího nástroje.
Varianty
Představujeme si, že během těchto šesti měsíců naše testování bude postaveno tak, abychom mohli pochopit, jak jednotlivé součásti rozhraní ovlivňují postup získávání pomoci. Také si musíme pamatovat, že čím více ovlivňují změny rozhraní aktivaci a udržení nováčka, tím více může tento test zmást náš dlouhodobý experiment aktivace a udržení.
Musíme nastavit jednotlivým testovacím scénářům různé priority, protože budeme testovat pouze jeden scénář najednou. Také nebudeme spouštět žádné testovací scénáře dříve než po měsíci běhu většího experimentu, bez pozměnění jakéhokoliv z těchto scénářů. Takto jsme se rozhodli proto, abychom mohli rozpoznat, zda má panel sám o sobě vliv na aktivaci nováčků.
Hlavní indikátory a plány
A/B testování provádíme po dobu šesti měsíců proto, že je nemožné detekovat změny v udržení nováčků na středně velkých Wikipediích (vyjma případů, kdy se tato metrika dramaticky změní, ale to vnímáme jako něco velmi nepravděpodobné). Během čekání na výsledky chceme být připraveni provést změny, pokud se domníváme, že to je třeba. Níže se nachází seznam různých možností. Pro každou možnost navrhujeme nápravné opatření.
| Indikátor | Návrh opatření |
|---|---|
| Neotevírání panelu Potřebuji pomoc | Pokud více než 75 % uživatelů, kteří uvidí panel Potřebuji pomoc ho také neotevřou, budeme testovat varianty panelu, u kterých uživatelé lépe pochopí jeho schopnosti.
|
| Nepoužívání panelu | Pokud více než 50 % uživatelů panel zavře bez toho, aniž by s ním interagovali, budeme zvažovat vývoj interaktivního průvodce, který panel po jeho otevření představí.
|
| Vypnutí panelu | Pokud si panel vypne více, než 10 % uživatelů, porovnáme data z panelu s daty z uvítacího dotazníku, abychom zjistili, zda uživatelé, kteří si vypínají panel, jsou také těmi, kteří nevyplňují dotazník. Pokud ne, budeme přemýšlet o lepším designu. |
| Neklikání na odkazy s nápovědou | Pokud bude některý z odkazů používán méně než z 10 %, kontaktujeme naše komunitní ambasadory a zeptáme se, zda by tento link neměl být odstraněn nebo nahrazen nějakým jiným linkem. |
| Nepokládání otázek | Pokud 25 % z uživatelů, kteří otevřou panel Potřebuji pomoc a nepoužijí některý z odkazů na nápovědu, nezačnou psát svou otázku, budeme zvažovat vytvoření interaktivního průvodce, který tuto možnost představí.
|
| Otázky nízké kvality | Pokud bude více než 50 % otázek kratších než 30 znaků (příp. jiný jazykově vhodný ekvivalent), budeme přemýšlet o způsobech, jak přimět nováčky psát otázky obsahující více detailů. |
| Neodpovídání na otázky | Pokud zůstane více než 10 % otázek bez odpovědi, kontaktujeme naše ambasadory, abychom zjistili proč a vyvineme systém, jak upozornit wikipedisty na otázky bez odpovědi. Také zvážíme, zda náhodou stránka Potřebuji pomoc není přetížená.
Pokud průměrný čas na odpověď překročí 24 hodin, kontaktujeme naše ambasadory, abychom zjistili proč. |
| Uživatelé si nepřečtou odpověď | Pokud si odpověď na svou otázku přečte méně, než 35 % lidí, budeme uvažovat o lepším systému získávání e-mailové adresy a notifikace. |
| Nepokračují v editaci po získání odpovědi | Pokud se více než 25 % uživatelů, kteří na panelu nápovědy položili otázku a dostali odpověď, vrátí na stránku, ale nepokusí se již více editovat, prozkoumáme náhodně vybraný vzorek těchto uživatelů a zjistíme, co bylo podstatou jejich dotazu, abychom pochopili, proč se už k editování nevrátili. |
Stav indikátorů po jednom měsíci
Panel Potřebuji pomoc byl nasazen na české a korejské Wikipedii dne 11. ledna 2019. O měsíc později jsme sesbírali data z obou projektů, abychom mohli prozkoumat výše zmíněné ukazatele a zjistit, zda by některá z funkcí neměla být pozměněna. Zkráceně, ačkoliv naše vyhodnocení ukazuje možnost pro zlepšení, myslíme si, že panel Potřebuji pomoc je zatím zdravý a že nemá negativní vliv na projekty, na kterých je nasazen.
Známé testovací účty byly odebrány, stejně jako uživatelé, kteří si panel Potřebuji pomoc vypnuli nebo zapnuli ve svém nastavení (to proto, že pak nebudeme moci předpokládat, že obě dvě skupiny by se průměrně chovaly stejně). Jak ale uvidíte v následujícím, velmi málo uživatelů si změnilo své nastavení.
| Indikátor | Limit | Česká Wikipedie | Korejská Wikipedie |
|---|---|---|---|
| Neotevření panelu Potřebuji pomoc | >75 % uživatelů, kteří vidí panel Potřebuji pomoc (tj. otevřeli editor) si tento panel neotevřeli. | 84,7% | 77,4% |
| Nepoužívání panelu | >50 % uživatelů, kteří otevřeli panel, ho zavřeli bez vzájemné vazby s ním. | 36,8% | 39,4% |
| Vypnutí panelu | >10 % uživatelů panel vypne | 0,5% | 0,3% |
| Neklikání na odkazy s nápovědou | Některý z odkazů je kliknut méně než z 10 % | 3 links | None |
| Nepokládání otázek | >25 % uživatelů, kteří otevřou panel nápovědy (bez použití některého z odkazů nápovědy), také nezačne pokládat otázky. | 69,2% | 93,7% |
| >15 % uživatelů, kteří začnou psát otázku, ji nedokončí | 21,7% | 37,5% | |
| Otázky nízké kvality | >50 % z otázek je kratších než 30 znaků (případně jiný jazykově vhodný ekvivalent) | 30,0% | 16,7% |
| Uživatelé se nevrací, aby si přečetli odpověď | <35 % uživatelů si přečte odpověď na svou otázku | 36,8% | 50,0% |
V této tabulce jsou 4 hodnoty způsobující obavy. Vysvětlíme náš názor.
- Neotevření panelu Potřebuji pomoc: Pro oba dva zkoumané projekty jsou vyhodnocené údaje o něco vyšší než původně stanovený práh, avšak tento rozdíl není alarmující. To znamená, že panel je otvírán dostatečně často, ale máme prostor pro zlepšení. Abychom tohoto zlepšení dosáhli, zobrazujme panel Potřebuji pomoc na více místech, aby uživatelé měli více příležitostí jej otevřít. Panel Potřebuji pomoc se nyní navíc zobrazuje ve čtecím módu pro stránky v jmenném prostoru Nápověda, Wikipedie a Wikipedista. Tato práce byla sledovaná v T215664 a dokončena dne 6. března 2019.
- Neklikání na odkazy s nápovědou: Protože analýza ukázala, že na tři české odkazy s nápovědou bylo málo klikáno, odebrali jsme odkaz s informacemi o encyklopedické významnosti a nahradili ho s odkazem na nápovědu o obrázcích, jelikož tato otázka byla nejčastější otázkou, na kterou se nováčci psali, a nejvíce klikaný odkaz v korejské Wikipedii. Také jsme změnili popis odkazu na průvodce na "Rychlý průvodce", protože tento popis je použit v korejské Wikipedii, kde je to druhý nejvíce používaný odkaz. Tato práce byla sledována v T217391 a dokončena 6. března 2019.
- Nepokládání otázek: Při zpětném pohledu bylo naše očekávání, že 75 % uživatelů, kteří otevřou panel Potřebuji pomoc (a nekliknou na žádný odkaz) položí nějakou otázku příliš ambiciózní. Jsme spokojení s množstvím otázek na české Wikipedii a snažíme se dozvědět, proč je na korejské Wikipedii pokládáno mnohem méně otázek. Toto je jeden z důvodů, proč jsme přidali možnost prohledávat nápovědu, aby uživatelé měli možnost najít odpověď na svou otázku tak, jak to vyhovuje jim samotným. Tato práce byla sledována v T209301 a dokončena 25. února 2019.
- Nedokončování otázek: Absolutní čísla pro toto sledování jsou stále příliš nízká, takže je obtížné s jistotou říci, zda jsme práh výrazně překročili. V čase psaní této analýzy, se pouze 25 uživatelů pokusilo položit otázku. V budoucnu tento indikátor znovu zanalyzujeme.