Growth/Aktualizace Analytics/Úvodní zpráva uvítacího průzkumu

Projekty Wikimedia Foundation Zpráva o výsledcích uvítacího dotazníku První publikovaná zpráva využívající data z projektu "Porozumění prvnímu dni" Skupina: Growth Začal: 2018-10-01 Skončil: 2018-12-21 Historie změn: #T206365 Vedoucí: Morten Warncke-Wang (datový analytik)

Jako součást projektu týmu Growth Porozumění prvnímu dni jsme 19. listopadu 2018 krátce po dvacáté hodině nasadili uvítací dotazník pro českou a korejskou Wikipedii. Účelem tohoto dotazníku je získání informací o nováčcích, abychom jim mohli pochopit jejich vstup na wiki a mohli jim usnadnit dosáhnout jejich cílů. Před zahájením jsme publikovali plán experimentu, ve kterém jsme detailně popsali, co budeme sledovat a proč. Tato stránka je prvotní zprávou o výsledcích dotazníku. Publikujeme i více detailní analýzu, která zodpovídá na mnohé otázky položené v plánu experimentu.

V této zprávě vám přinášíme rychlý přehled odpovědí na dotazník založený na účtech vytvořených mezi nasazením a 17. prosincem 2018. Nepočítali jsme ani interval spolehlivosti, ani statistickou významnost těchto dat. Netvrdíme nic o významných odlišnostech (kupř. mezi dvěma Wikipediemi nebo mezi skupinami uživatelů). Také jsme ještě neposuzovali otázky ve vzájemné souvislosti nebo v souvislosti s daty z cesty editora. Namísto toho prezentujeme tuto zprávu jako předběžné poznatky. Diskutujeme různé možné kroky, které tyto poznatky mohou napovídat. V následujícím čtvrtletí zpracujeme podrobnější analýzu.

Nejdůležitější poznatky

• Většina nováčků na dotazník odpovídá. Návratnost dotazníku je 67 % a 62 % na české i korejské Wikipedii.
• Nedomníváme se, že dotazník zapříčiňuje odchod některých nováčků.
• Nejčastějším důvodem, proč si korejští nováčci zakládají účet, je čtení článků - ne editování (29 %). V české Wikipedii tuto odpověď zvolilo 18 % lidí. Tento vysoký počet může znamenat příležitost sdělit těmto lidem, že je možné a snadné Wikipedii editovat.
• Většina respondentů v obou jazycích nikdy Wikipedii needitovala (51 % českých a 63 % korejských). Tato čísla ale také znamenají, že velká část nováčků již v minulosti editovala (ať již anonymně nebo na jiném účtu). Mají tedy určité znalosti o tom, jak Wikipedie funguje.
• Korejští respondenti častěji vyplňovali vlastní témata namísto používání jen těch předvyplněných, než čeští. 28 % korejských respondentů přidalo vlastní témata a jen 9 % českých.
• Překvapivě velký počet lidí uvítá, když jsou kontaktováni s nabídkou pomoci - 36 % českých a 53 % korejských. Tohle je silné potvrzení toho, že existuje prostor pro lidskou nápovědu.
• Několik lidí, kteří nepřidali svou e-mailovou adresu v registračním procesu, přidalo svou e-mailovou adresu uvnitř uvítacího dotazníku. Tato čísla jsou dostatečně velká, aby prokázala svůj potenciál (6 % korejských a 7 % českých), ale dostatečně malá, abychom zvažovali lepší způsob, jak nováčky přesvědčit ke sdělení své e-mailové adresy.

Pozadí

Původní motivací pro tento dotazník bylo sesbírat data o uživatelích, abychom mohli posoudit jejich vnímání. O našich názorech, jak tato data využít, si můžete více přečíst zde.

Během čtyř týdnů po nasazení byl dotazník zobrazen náhodně vybrané polovině nově vytvořených účtů (to znamená, že dotazník nebyl zobrazen uživatelům, kteří již účet měli jinde, tzv. "automaticky vytvořené účty"). Toto A/B testování mezi dotazníkovou a kontrolní skupinou bylo implementováno, abychom mohli zjistit, zda dotazník vede k nižšímu počtu nováčků, kteří udělají svou první editaci do 24 hodin od vytvoření účtu (což nazýváme "aktivací nováčka"). Analýza výsledků tohoto experimentu bude teprve vytvořena.

Jak dotazník vypadá si můžete nejrychleji zobrazit v našem grafickém návrhu. Dotazník je zobrazen v češtině, resp. v korejštině.

Počet odpovědí

Na české Wikipedii jsme dotazník ukázali 669 a na korejské 836 uživatelům. V okamžiku, kdy si uživatel zobrazí dotazník, dostane několik otázek ke zodpovězení. Všechny otázky jsou nepovinné. Poté mohou odeslat dotazník kliknutím na tlačítko "Dokončit" (i když neodpověděli na žádnou otázku), zahodit své dosavadní odpovědi kliknutím na tlačítko "Přeskočit dotazník" nebo udělat cokoli jiného, co způsobí odejití ze stránky s dotazníkem (např. kliknutí na odkaz v levém navigačním menu nebo zavření záložky v prohlížeči). To nazýváme "zrušením dotazníku". Rozložení těchto akcí pro posuzované wiki je následující:

Tabulka 1: Přehled počtu odpovědí

	čeština		korejština
Akce	počet	%	počet	%
Dotazník odeslán	451	67.4%	518	62.0%
Přeskočen	81	12.1%	99	11.8%
Zrušen	137	20.5%	219	26.2%

Tabulka 1 ukazuje, že většina uživatelů dotazník vyplní, což je skvělé! Jak uvidíme níže, uživatelé také na naše otázky odpovídají (namísto toho, aby odeslali dotazník bez odpovědí). Procento uživatelů nedokončujících dotazník vypadá, že je vcelku vysoké. Nejprve jsme si mysleli, že to znamená, že dotazník způsobuje, že nováčci Wikipedii zcela opouští, což by bylo kontraproduktivní. Abychom tuto obavu vyřešili, podívali jsme se na data, která náš tým nasbíral v rámci projektu Porozumění prvnímu dnu, který zaznamenává stránky navštívené nováčky v průběhu jejich prvních 24 hodin na Wikipedii. Zjistili jsme, že jen malé procento uživatelů zcela opouští Wikipedii - v češtině jde o pouhých 47 uživatelů (7,0 %) a v korejštině o 99 uživatelů (11,8 %). Obě dvě čísla jsou nižší než práh, který jsme nastavili pro možné změny dotazníku nebo dokonce k jeho vyputí. Tato otázka bude odpovězena přesněji, jakmile zanalyzujeme data pro kontrolní skupinu.

Je také možné rozdělit data podle toho, zda byl účet vytvořen na počítači nebo z mobilu, ale zjistili jsme, že v obou dvou případech jsou procenta prakticky stejná.

Proč jste si dnes vytvořili účet?

Proč jste si dnes vytvořili účet?

• Abych opravil(a) chybu v článku na Wikipedii
• Abych přidal(a) informace do článku na Wikipedii
• Abych do Wikipedie přidal(a) další článek
• Abych si mohl(a) ve Wikipedii číst
• Jiné (prosím, popište)

Naše první otázka se ptá na důvod, proč si uživatel vytvořil účet, a nabízí několik odpovědí, stejně jako možnost "Jiné", která uživateli nabídne textové pole pro bližší vysvětlení. Pro naše dvě cílové Wikipedie platí následující výsledky:

Tabulka 2: Proč jste si dnes vytvořili účet?

	čeština		korejština
Důvod	počet	%	počet	%
Vytvoření nového článku	147	32.6%	102	19.7%
Přidání informací do článku	110	24.4%	131	25.3%
K čtení ve Wikipedii	79	17.5%	149	28.8%
Oprava překlepu v článku	76	16.9%	90	17.4%
Bez odpovědi	21	4.7%	23	4.4%
Jiné	18	4.0%	23	4.4%

První věcí, které si můžete všimnout, asi je, že nejčastěji volená možnost se liší v závislosti na jazykové verzi. Čeští nováčci nejčastěji volí vytvoření nového článku (32,6 %), zatímco pro korejské nováčky je to čtení (28,8 %). V obou dvou jazycích je druhá možnost třetí položkou na seznamu nejčastějších - čtení bylo zvoleno 17,5 % českých respondentů a tvorba nového článku 19,7 % korejských nováčků. Je zajímavé zjistit, že nováčci si často vytvářejí uživatelský účet proto, aby mohli ve Wikipedii číst - jelikož zřízení účtu na čtení nic nemění. Toto nám může ukazovat, že nováčci nechápou, proč si mají na Wikipedii vytvořit uživatelský účet. Také to může být příležitost zaktivizovat uživatele nejen jako čtenáře, ale i jako potenciální autory.

Přidání informace do článku je shodné s druhou volenou možností (se srovnatelným množstvím nováčků volících tuto možnost - asi 25 %), a to v obou dvou jazycích. To samé platí o opravování chyby v článcích, což je shodné se čtvrtou položkou na seznamu s asi 17 % nováčků volícími tuto možnost.

Editovali jste již Wikipedii?

Editovali jste někdy Wikipedii?

• Ano, mockrát
• Ano, jednou či dvakrát
• Ne, nevěděl jsem, že to jde
• Ne, jiné důvody
• Nepamatuji si

Druhá otázka se ptá na to, zda uživatel někdy Wikipedii editoval. Obsahuje pět možných odpovědí. Někteří respondenti také dotazník potvrzují bez odpovědi na tuto otázku. Tabulka 3 obsahuje přehled odpovědí. Procenta jsou opět založená na celkovém počtu odpovědí.

Tabulka 3: Editovali jste někdy Wikipedii?

	čeština		korejština
Odpověď	počet	%	počet	%
Ne, nevěděl jsem, že to jde	125	27.7%	191	36.9%
Ne, jiné důvody	103	22.8%	136	26.3%
Ano, jednou nebo dvakrát	94	20.8%	62	12.0%
Nepamatuji si	52	11.5%	54	10.4%
Ano, mnohokrát	50	11.1%	44	8.5%
Bez odpovědi	27	6.0%	31	6.0%

Zjistili jsme, že v obou dvou jazycích je "Ne, nevěděl jsem, že mohu Wikipedii editovat" nejčastější odpovědí, a že většina uživatelů nikdy Wikipedii needitovala (sečtené dvě odpovědi "Ne": čeština 50,5 %, korejština 63,2 %). Vzhledem k tomu, že odpověď "Ne, nevěděl jsem, že mohu Wikipedii editovat" je tak častá, dává smysl, že většina nováčků si vytváří účet za účelem čtení. I tak nás ale překvapuje, že jsou tato čísla tak vysoká. Jedna hypotéza je, že tato otázka znamená pro různé respondenty různé věci. Jedna z možných interpretací je, že "Ne, nevěděl jsem, že mohu editovat Wikipedii do doby, než jsem narazil na tento dotazník" a druhá interpretace je "Ne, nevěděl jsem, že mohu Wikipedii editovat až do nedávné doby a jakmile jsem se to dozvěděl, rozhodl jsem se vytvořit tento účet". O tomhle se dozvíme něco více, jakmile zanalyzujeme data více do hloubky i v kontextu s ostatními odpovědmi. Poté se můžeme rozhodnout změnit některé otázky.

Je také vhodné zmínit, že pořadí odpovědí je v obou jazycích stejné a že je rozdílné od pořadí, v jakém jsou odpovědi uživatelům zobrazeny. To znamená, že nováčci prostě nevyberou první možnost ze seznamu, ale namísto toho nám aktivně sdělují, že nikdy Wikipedii needitovali.

Vyberte témata, které byste rádi editovali

Lidé mohou editovat články na Wikipedii týkající se témat o která se zajímají. Níže se nachází seznam populárních témat. Vyberte témata, která byste mohli editovat:

Výslovně vloženo jako zaškrtávací políčka: Umění, Věda, Geografie, Historie, Hudba, Sport, Literatura, Náboženství, Populární kultura.

Dostupné v rozbalovacím menu: Zábava, Jídlo a pití, Biografie, Vojenství, Ekonomie, Technologie, Film, Filozofie, Podnikání, Politika, Vláda, Strojírenství, Řemesla a koníčky, Hry, Zdraví, Společenské vědy, Doprava, Vzdělání.

Třetí část dotazníku žádá respondenty, aby vybrali témata, která chtějí editovat. Devět témat je dostupných jako zaškrtávací políčka a dalších 18 témat je předvyplněno v poli do kterého uživatel může napsat další témata. Toto pole umožňuje vložení jakéhokoli textu. Což dovoluje respondentům vložit jakékoli další téma. Respondenti si mohou vybrat a vložit libovolný počet témat.

Tato analýza pokrývá pouze námi poskytnutá témata. Další analýza se bude věnovat tématům poskytnutých samotnými uživateli. Což vyžaduje překlad těchto témat. Níže vám ukážeme jednu tabulku pro každý z testovaných jazyků. Tabulka uvádí způsob, jak si může uživatel toto téma vybrat. Buď jako "zaškrtávající políčko" - je součástí jednoho z devíti zaškrtávacích políček. Nebo "předvyplněné" - jde o jedno z osmnácti předvyplněných témat, která jsou k dispozici v políčku pro volný text. A nebo "jiné" - jde o téma přidané respondentem.

Tabulka 4: Česká témata

Zdroj	Téma	počet	%
zaškrtávací políčko	věda	198	43.9%
zaškrtávací políčko	historie	187	41.5%
zaškrtávací políčko	umění	152	33.7%
zaškrtávací políčko	hudba	146	32.4%
zaškrtávací políčko	sport	144	31.9%
zaškrtávací políčko	populární kultura	132	29.3%
zaškrtávací políčko	geografie	130	28.8%
zaškrtávací políčko	literatura	123	27.3%
zaškrtávací políčko	náboženství	94	20.8%
předvyplněné	zábava	16	3.5%
předvyplněné	hry	16	3.5%
předvyplněné	politika	13	2.9%
předvyplněné	film	13	2.9%
předvyplněné	ekonomie	10	2.2%
předvyplněné	jídlo a pití	8	1.8%
předvyplněné	společenské vědy	8	1.8%
předvyplněné	biografie	7	1.6%
předvyplněné	vzdělání	6	1.3%
předvyplněné	řemesla a koníčky	6	1.3%
předvyplněné	technologie	6	1.3%
předvyplněné	vojenství	4	0.9%
předvyplněné	filozofie	4	0.9%
předvyplněné	podnikání	3	0.7%
předvyplněné	vláda	2	0.4%
předvyplněné	zdraví	2	0.4%
předvyplněné	doprava	2	0.4%
jiné	jiné	41	9.1%

We can see that the dominating topics are all the ones listed in the checkboxes. The least frequent checkbox is selected by 20.8% of respondents, while the most frequent topic in the free-form field is only chosen by 3.5% of respondents. It is noteworthy that respondents are selecting multiple topics, as opposed to just one.

Tabulka 5: Korejská témata

Zdroj	Téma	počet	%
zaškrtávací políčko	umění	218	42.1%
zaškrtávací políčko	populární kultura	205	39.6%
zaškrtávací políčko	věda	197	38.0%
zaškrtávací políčko	historie	179	34.6%
zaškrtávací políčko	hudba	158	30.5%
zaškrtávací políčko	sport	114	22.0%
zaškrtávací políčko	literatura	96	18.5%
zaškrtávací políčko	náboženství	84	16.2%
zaškrtávací políčko	geografie	78	15.1%
předvyplněné	hry	21	4.1%
předvyplněné	zábava	13	2.5%
předvyplněné	podnikání	10	1.9%
předvyplněné	ekonomie	10	1.9%
předvyplněné	technologie	9	1.7%
předvyplněné	vzdělání	9	1.7%
předvyplněné	film	8	1.5%
předvyplněné	zdraví	8	1.5%
předvyplněné	filozofie	8	1.5%
předvyplněné	strojírenství	7	1.4%
předvyplněné	řemesla a koníčky	7	1.4%
předvyplněné	politika	7	1.4%
předvyplněné	jídlo a pití	6	1.2%
předvyplněné	vojenství	6	1.2%
předvyplněné	společenské vědy	6	1.2%
předvyplněné	biografie	6	1.2%
předvyplněné	vláda	4	0.8%
předvyplněné	doprava	2	0.4%
jiné	jiné	145	28.0%

Zjistili jsme obdobný trend jak v korejštině tak i v češtině: zaškrtávací políčka jsou populárnější, ačkoliv rozdíl mezi nejméně populárním zaškrtávacím políčkem a nejvíce populárním předvyplněným tématem je menší (11,0 %) v korejštině než v češtině (17,3 %).

Chtěli byste být kontaktováni s nabídkou pomoci s editováním?

Uvažujeme o spuštění projektu, který by umožnil propojit zkušené wikipedisty s nováčky. Chcete, aby vás v takovém případě zkušený wikipedista kontaktoval a pomohl vám s editováním?

Zjistili jsme, že v obou jazycích by nabídku pomoci s editováním ocenilo překvapivě velké množství nováčků. Jde o 164 uživatelů v češtině (36,4 % ze všech respondentů) a 273 uživatelů v korejštině (52,7 %). To znamená, že velké množství nováčků by ocenilo pomoc s editováním, což je prostor pro intervenci komunity. Jakmile se do dat z dotazníku ponoříme hlouběji, porovnáme závislosti odpovědí nováčků na otázku "Editovali jste již někdy na Wikipedii?", stejně jako na otázku "Proč jste si vytvořili uživatelský účet?".

Přidání emailové adresy

Uživatelům, kteří nepřidali emailovou adresu v průběhu vytvoření účtu, je umožněno učinit tak během vyplňování dotazníku. Zjistili jsme, že se k tomu rozhodlo jen velmi málo lidí - 13 na české a 20 na korejské Wikipedii. To odpovídá 6,5 % českých uživatelů, kteří při vyplňování dotazníku emailovou adresu vyplněnou neměli. Korejských uživatelů emailovou adresu poskytlo 5,7 %.

Opakované vyplnění dotazníku

Ačkoliv to není zřejmý postup, přesto uživatelé mohou dotazník vyplnit několikrát pomocí opětovného navštívení URL s dotazníkem. Ukládáme pouze nejnovější odpověď, což znamená, že považujeme jejich nejnovější odpovědi za nejpřesnější. Zároveň ukládáme počet vyplnění dotazníku. Příslušná čísla ukazuje tabulka 8.

Tabulka 8: Kolikrát byl dotazník vyplněn

	čeština		korejština
Počet odpovědí	počet	%	počet	%
1	512	96.2%	593	96.1%
2	14	2.6%	23	3.7%
3	4	0.8%	1	0.2%
4	2	0.4%

Zjistili jsme, že je poměrně nepravděpodobné, že uživatel dotazník vyplní vícekrát. Pokud už to někdo udělá, je to typicky pouze jednou. Nevidíme proto důvod mazat odpovědi lidí, kteří dotazník vyplnili vícekrát a možná změnili své odpovědi.

Kontrola logické správnosti

Abychom se ujistili, že věci fungují tak jak mají, provedli jsme na sebraných datech kontrolu logické správnosti. Spočítali jsme například procento uživatelů, kterým byl zobrazen dotazník, a počet uživatelů spadajících do kontrolní skupiny. Což by ideálně mělo vyjít půl na půl. Ukazuje se, že tak tomu je - na české Wikipedii jsou tyto procenta 49,7 %/50,3 % dotazník/kontrolní a na korejské Wikipedii je to obráceně. Narazili jsme na některé rozdíly s registracemi vytvořenými z počítače a z mobilu (v některých případech je to 47/53), ale není to tak velký rozdíl, u kterého bychom měli obavu z nesprávně fungujícího rozdělování do skupin.

Při připravování této zprávy jsme data neposuzovali tak pečlivě, abychom odhadovali, zda odpovědi mohou být pravdivé. Například, pokud uživatel řekl, že Wikipedii mnohokrát editoval, ale že nevěděl, že to jde, nejspíše bychom měli zahodit minimálně odpovědi na tyto dvě otázky. Možná i celý dotazník. O tomto možném problému víme a vyřešíme ho někdy v budoucnu při podrobnější analýze dat z dotazníku.

Příloha A: Emailové adresy přidané při registraci

Jak jsme rozpoznali, kolik uživatelů nevyplnilo svou emailovou adresu při registraci, abychom mohli vypočítat tuto hodnotu? Toto není jednoduché, protože v databázi MediaWiki není čas přidání emailové adresy uživatelem. Ani pro to neexistuje logovací schéma. Jedinou informací, kterou máme k dispozici, je čas vypršení ověřovacího odkazu, který je zaslán uživateli, pokud přidá nějakou emailovou adresu.

Prozkoumali jsme rozdíl mezi vytvořením účtu a odesláním ověřovacího odkazu pro účty vytvořené mezi 1. lednem a 1. červencem 2018 na obou Wikipediích a zjistili, že rozdíl je obvykle něco více než 7 dní. Jak moc je "něco více"? V drtivé většině případů méně než 10 sekund. Myslíme si, že rozdíl je způsoben rozdílem mezi časem registrace a časem zasílání ověřovacího odkazu (až v tuto chvíli je totiž čas odeslání nastaven na "sedm dní od tohoto okamžiku"). Poté jsme vytvořili jednoduché řešení pro rozpoznání, zda uživatel vložil emailovou adresu při registraci - pomocí zjišťování, zda je rozdíl mezi těmito časy menší než 1 týden a deset sekund.

Další věcí, kterou jsme museli zvážit, je fakt, že nevíme, zda uživatel náhodou nevložil svou emailovou adresu při registraci, ale poté se ji rozhodl smazat. To by znamenalo, že by se v naší statistice objevil jako "nepřidal email při registraci". Zjistili jsme, že takto se uživatelé nejspíše rozhodují jen málokdy, protože 64 % českých a 75 % korejských registrací nemělo ověřenou emailovou adresu. To znamená, že uživatelé buďto přidají adresu, kterou neruší, nebo se o ověření nestarají, což pro nás znamená, že je nepravděpodobné, že se tuto adresu rozhodnou vymazat.

Závěrem musíme upozornit na to, že přidání emailu nebylo časově omezené - to znamená, že lidé, kteří vyplnili dotazník krátce po jeho nasazení měli více času do svého nastavení přidat emailovou adresu. V budoucích analýzách toto omezení bude. Ale mezitím budeme počítat s tím, že uživatelé, kteří email nevyplnili, jej málokdy vyplní později (jinými slovy, že je nepravděpodobné, že uživatel přidá emailovou adresu později po registraci).