Growth/Personalizovaný první den/Strukturované úkoly
|
Newcomer tasks
 Recommend tasks to newcomers that help them start editing
|
Tato stránka popisuje práci týmu Growth na projektu strukturované úkoly. Tento projekt souvisí s dalšími projekty týmu Growth: S úlohami nováčků a s domovskou stránkou nováčka. Tato stránka obsahuje nejdůležitější informace, otevřené otázky a rozhodnutí. Více novinek týkajících se práce týmu Growth najdete na stránce s aktualizacemi rozvojového týmu. Závažné a větší aktuality budou pak vloženy i sem.
Tato stránka je o obecném konceptu "strukturovaného úkolu" s diskusí o konkrétních typech úkolů, které bychom mohli vytvořit. V návaznosti na tuto obecnou diskusi tým zahájil navrhování a konstrukci těchto konkrétních typů úkolů. Tyto typy úkolů mají své vlastní stránky projektu, kde se zveřejňuje většina nových informací:
Současný stav
- 2020-05-01: plánování a sepisování úvodních postřehů
- 2020-05-17: zahájení společné diskuse
- 2020-05-29: počáteční náčrty
- 2020-08-24: týden plánování schůzek
- 2020-09-08: výzva ke společné diskusi o nejnovějších návrzích
- 2020-10-21: uživatelské testování návrhů pro stolní počítače
- 2021-05-27: Nasadili jsme funkci "přidat odkaz" do našich čtyř pilotních Wikipedií (arabština, čeština, vietnamština, bengálština).
- 2021-07-21: pokračujte v škálování "přidat odkaz" (add a link) na další Wikipedie (T304110)
- 2022-08-20: začněte pracovat na řešení zpětné vazby patrolů ohledně strukturovaných úkolů (T315732)
- 2022-09-02: publikovat Analýza typu editace úkolu pro nováčka
Shrnutí
V listopadu 2019 tým Growth spustil "Editační tipy", čímž nováčkům ukázal na články, které by mohli editovat, na jejich Domovské stránce. V dubnu 2020 byly tyto články generovány pouze na základě údržbových šablon vložených zkušenými editory, což nováčkům neumožňuje přesně určit, jaké sekce, slova či sekce potřebují jejich pozornost. I přes to ale nadšeně pozorujeme, že nováčci produktivně editují.
Ačkoliv údržbové šablony poskytují nováčkům velké množství různých tipů, kterým by se mohli věnovat, jsou velmi obsáhlé, aby s nimi nováčci snadno uspěli. Na mobilních zařízeních je navíc velmi těžké používat jakýkoli editor - ať už vizuální nebo wikitextový.
Z tohoto důvodu jsme se rozhodli experimentovat s nápadem "strukturované editace". To znamená, že rozebereme každý editory používaný postup na jednotlivé kroky, které jsou pro nováčky snadno uchopitelné. Podle výsledků jazykového týmu a týmu pro Androidovou aplikaci soudíme, že to pomůže nováčkům snadno udělat více editací a to i na mobilu. Tato strukturovaná editace bude dostupná nováčkům jako součást editačních tipů.
Pozadí této aktivity
Editování je komplikované
Podle poznatků z naší předchozí práce soudíme, že první okamžiky nováčka rozhodují o tom, zda na projektu zůstane, či nikoliv. Věříme, že nováčci zůstávají, pokud dokáží rychle něco změnit a mít tak pozitivní zážitek. Bohužel, editování Wikipedie – téměř jakýkoliv typ příspěvku – je obtížné. Což znesnadňuje úspěch. Například, pokud chcete přidat do článku jedinou větu, musíte provést zhruba tucet kroků:
- Nalézt správný článek.
- Zjistit, zda náhodou tato informace již v článku není.
- Vybrat sekci, do které větu přidáte.
- Kliknout na tlačítko pro editaci.
- Vložit větu na správné místo.
- Kliknout na tlačítko pro citaci.
- Vrátit se na zdroj informace a zkopírovat si odkaz či získat informace o citaci.
- Vyplnit a uložit citační formulář.
- Kliknout na tlačítko pro zveřejnění změny.
- Vyplnit shrnutí editace.
- Zveřejnit.
Nováčci, kteří vidí editor poprvé v životě, neví, jaké jsou tyto kroky, v jakém pořadí by je měli dělat a jaká tlačítka přesně mají stisknout. Jinými slovy, jejich zážitek není strukturován. Nováček se může cítit přetížený a odejde. Nebo využije metody pokus-omyl, což má často za následek negativní zpětnou vazbu od dalších, zkušenějších, wikipedistů. Což nováčka rovněž může odradit. A o tom je tento projekt: Jak pomoci nováčkům dělat správné kroky ve správném pořadí?
Stavíme na znalostech ostatních týmů
Přidávání struktury do editačních postupů je již dlouhou dobu tradiční součástí kultury Wikimedie. Podívejte se na některé příklady:
- HotCat: Umožňuje uživatelům vybrat, které kategorie přidat na pár kliknutí, namísto manuální editace wikitextu.
- Commons Upload Wizard: Rozděluje proces nahrávání médií na Commons na řadu jednoduchých kroků.
- Citoid: Je k dispozici ve Visual Editoru. Rozděluje proces přidání citace na kroky, které zahrnují algoritmy pro automatické vytváření textu citace a šablony.
V poslední době se myšlenka "strukturovaných úkolů" osvědčila v aplikaci Android pro Wikipedii a v nástroji Překlad obsahu. Inspirujeme se jejich prací.
Se svým projektem "navrhovaných úprav" pro Android se změnil proces přidání popisu názvu k článku na Wikipedii do jednoho snadného kroku zápisem do textového pole. Od té doby udělali totéž s překladem popisů titulů napříč všemi jazyky. Aby mohli uživatelé provádět stejné úkoly bez strukturovaného pracovního postupu, museli by přejít na Wikidata a provést několik kroků k provedení stejných úprav. Náš tým zjistil, že tato metoda funguje: Mnoho uživatelů Androidu přináší stovky těchto malých příspěvků.
Jazykový tým vytvořil nástroj pro překlad obsahu, který dělá řadu věcí pro strukturování procesu překladu článku. Nabízí rozhraní vytvořená pro překlady, rozděluje překlad na části a automaticky používá algoritmy strojového překladu. Ačkoli Wikipedisté mohli překládat články i před existencí tohoto nástroje, množství požadovaných manuálních kroků to velmi ztěžovalo. Nástroj je úspěšný a jsou dokončeny stovky tisíc překladů. Zjistili jsme, že když je překlad článku rozdělen na kroky, přičemž o automatické části (např. spuštěný strojový překlad) je postaráno automaticky, bude přeloženo více článků.
Tým Growth přemýšlí o použití stejných zásad i na úpravy obsahu v článcích, jako je přidávání odkazů, přidávání obrázků, přidávání odkazů a přidávání vět.
-
Aplikace Wikipedie pro Android nabízí "navrhované úpravy", například překlad popisů titulů, které uživatelé mohou provést v jednom snadném kroku, místo aby procházeli Wikidata. -
Nástroj pro překlad obsahu umožňuje proces překládání článku v jedné sekci najednou, s automatickou pomocí algoritmů strojového překladu.
Návrh, jak by strukturované editace mohly vypadat
Nejlepším způsobem, jak ukázat, co tímto projektem sledujeme, je ukázka rychlého grafického návrhu. První ze strukturovaných editací, o kterých jsme přemýšleli, je "přidat (wiki)odkaz". Tatáž myšlenka se ale dá aplikovat i na "přidání obrázku", "přidání reference" nebo dokonce i na "přidání informace".
V editačních tipech je k dispozici úkol "přidání (wiki)odkazu" – v rámci něj mají uživatelé do článku přidat modrý vnitřní odkaz. To by mělo být jednoduché. Myslíme si, že nováčci nerozumí tomu, v jakém pořadí mají provést jednotlivé kroky vedoucí k přidání odkazu nebo nemusí vědět, jaká slova by měly být odkazem. Představujeme si rozhraní, které nováčky krok za krokem provede přidáním odkazu za pomocí algoritmu, který doporučí slova či fráze, která by měla být odkazem.
V návrhu níže vidíte nováčka, který si otevře článek k editaci a systém mu nabídne slovo, které by mohlo být dobrým (wiki)odkazem. Pokud souhlasí s tím, že by s tímto slovem měl být vytvořen odkaz, systém provede kroky pro vytvoření odkazu. Doufejme, že je to v budoucnu naučí přidávat odkazy samostatně – a možná se jim zalíbí i možnost nadále vyhodnocovat automatické návrhy na vložení odkazů. Pokud jde o algoritmus, tým výzkumníků WMF na toto téma napsal předběžnou práci, díky níž jsme si jisti, že takový algoritmus je možné vytvořit.
Když jsme o tomto nápadu dále přemýšleli, napadlo nás to vzít za jiný konec. Namísto učení nováčků, jak se ve vizuálním editoru přidávají odkazy, můžeme nováčkům předložit snadno použitelný nástroj, pomocí kterého nováčci pouze potvrdí či zamítnou návrhy předložené algoritmem a systém uloží editaci za ně. I když je to nenaučí, jak přidávat odkazy pomocí editoru, může to nováčkovi pomoci při velkém objemu úprav a může to být vhodnější pro uživatele, kteří chtějí pokračovat s jednoduchými úkoly. Může to také být dobré pro uživatele, kteří chtějí udělat pouze pár rychlých editací, podobně, jako má aplikace Androidu velké množství uživatelů, kteří chtějí pouze opravovat popisky článků.
Když jsme o strukturovaných editacích dále přemýšleli, uvědomili jsme si, že stojíme před zásadní otázkou: Měl by se náš produkt zaměřit na použití tradičních nástrojů nebo by měl umožnit nováčkům rychle uložit větší množství editací?
Proč je tento nápad upřednostňován
Myslíme si, že možnost rychle uložit produktivní editaci pomáhá nováčkům k úspěchu. Jakmile mají za sebou pár editací, zbytek z wiki-dovedností přichází snáze. Nováčci mohou snadno vidět výsledky jejich editací. Dostanou poděkování. Ptají se informovaně na otázky. Vytvoří si uživatelskou stránku apod. Proto chceme, aby většina nováčků rychle uložila nějakou editaci. Z projektu Editačních tipů je zřejmé, že nováčci hledají jednoduché úkoly, na kterých by mohli pracovat. Zároveň jsme ale pozorovali následující:
- Pouze 25 % nováčků skutečně edituje článek, který si vybrali
- Pouze 25 % z těch, kteří editují, přechází i na další článek
- Je zde i pár nováčků, kteří jsou Editačními tipy nadšeni - a každý den splní několik z nich. To umožňuje nováčkům udělat hodně wiki-práce.
- Během testování s uživateli jsme si všimli, že nováčky často zajímá, co konkrétního by měli v článku změnit. Jinými slovy, editování celého článku je příliš otevřeným úkolem.
Vezmeme-li v úvahu tyto body a zkušenosti popsané výše v týmech pro Android a Překlad obsahu, myslíme si, že bychom dokázali zvýšit počet nově příchozích, kteří budou chtít upravovat a pokračovat v úpravách, strukturováním některých pracovních toků pro úpravu obsahu ve Wikipedii.
Příležitosti pro strukturované editace
Rozdělením pracovního postupu při úpravách na jednotlivé kroky získáme "trukturované úkoly". Zde jsou některé z možných výhod, které by podle nás mohly vycházet ze strukturovaných úkolů:
- Nováčkům usnadňují vytvářet smysluplné příspěvky.
- Vyvíjejí pracovní postupy pro úpravy, které dávají smysl pro mobilní zařízení. Principy mobilního návrhu nám říkají, že uživatelé by měli vidět postupně jeden krok po druhém, nikoli komplikovaný pracovní postup.
- Umožňují nováčkům postupně zvyšovat své dovednosti, aby mohli úspěšně zvládnout náročnější typy úkolů.
- Umožňují lidem najít takový zážitek z úprav, který jim vyhovuje. Tím, že nováčkům poskytnete zdroj strukturovaných úkolů, mohou najít typ úkolů, který upřednostňují.
- Možná by se podobné pracovní postupy mohly v budoucnu otevřít i pro zkušené redaktory.
Obavy a stinné stránky strukturovaných úkolů
Kdykoli přidáme lidem nové způsoby úpravy Wikipedie, může dojít k mnoha chybám:
- Tím, že bude úprava příliš rychlá a snadná, můžeme přilákat vandaly nebo uživatele, kteří úpravám nevěnují dostatečnou péči.
- Poskytování jednoduchých pracovních postupů nováčkům může zabránit tomu, aby se naučili používat tradiční nástroje pro úpravy, které jsou zásadní pro práci s wiki a jsou nejrozsáhlejší.
- Strukturované úkoly nemusí vyhovovat při porovnávání rozdílů mezi jazyky, při vyjímečnostech ve wikitextu a mohou způsobovat různé druhy chyb.
- Algoritmy, které mapují strukturované úkoly, nemusí být dostatečně přesné a mohou vybízet nováčky k provádění úprav, které by se provádět neměly.
Komunitní diskuse
V květnu 2020 jsme vedli diskuse se členy komunity o výše uvedených nápadech na strukturované úkoly v šesti jazycích (angličtina, francouzština, korejština, arabština, vietnamština, čeština). Anglická diskuse se většinou odehrávala na této diskusní stránce. Další konverzace na anglické Wikipedii a místní jazykové konverzace na dalších pěti Wikipediích. Ozvalo se nám 35 členů komunity. Tato část shrnuje některé z nejpopulárnějších a nejzajímavějších myšlenek. Tyto diskuse silně ovlivnily naše další návrhy.
- Členové komunity obecně kladně hodnotili potenciál strukturovaných úkolů, které pomáhají nováčkům začít s úpravami. Byl ale také často vyjádřen názor, že je důležité, aby nováčci byli během tohoto procesu vystaveni i konvenčním zdrojovým a vizuálním editacím. Členové komunity se chtějí ujistit, že nováčci nebudou blokováni v samostatném prostředí úprav a že si najdou cestu i k hodnotnějším úpravám.
- Česká komunita hovořila o nápadech, jak se mohou strukturované úkoly umístit dovnitř vizuálního editoru tak, aby si nováčci začali zvykat na to, že jsou v editoru. Editační nástroje, které nejsou pro strukturovaný úkol nutné, mohou být zašedlé.
- Členové komunity se ptali, proč volíme "přidat odkaz" (add a link) jako náš první strukturovaný úkol, na rozdíl od typů úprav s vyšší hodnotou. Diskutovali jsme o tom, že je tento úkol pro nás na tvorbu jeden z nejjednodušších, což nám pomůže vyvíjet první vzorky a učit se ze strukturovaných úkolů spolu s vývojem s relativně nízkým rizikem a s menší možností pro nováčky poškodit články.
- Několik komunit uvedlo, že opravy pravopisu by byly obzvláště cenným úkolem. Hovořili jsme o technických možnostech, jak generovat seznamy potenciálních pravopisných chyb. Další podrobnosti najdete v poznámkách.
- Mluvili jsme také o tom, zda je návrat vandalismu vhodný pro nováčky. Nezdá se, že by odpověď byla jasná. O tom budeme muset v budoucnu více diskutovat.
- Myšlenka, která byla zmíněna několikrát, je, jak "přitáhnout nováčky" k postupně náročnějším úkolům. Možná je průběžně odměňovat za úspěšné dokončení jednodušších úkolů.
Typy úkolů
Existuje mnoho různých pracovních postupů pro úpravy, které mají potenciál stát se strukturovanými. Začali jsme vypisovat pracovní postupy, když jsme poprvé navrhli pracovní postup nových úkolů. Od té doby jsme je zúžili na kratší seznam typů úkolů, které se zdají být nejvhodnější pro strukturování. Níže uvedená tabulka obsahuje krátký seznam seřazený podle možného pořadí priorit.
| Priorita | Typ úkolu | Jak by to mohlo fungovat | Výhody | Obavy |
|---|---|---|---|---|
| 1 | Add a link | For articles without enough wikilinks, an algorithm (existing) suggests words or phrases that should become wikilinks, and the newcomer accepts or rejects the suggestions. | Linking is a quick and easy way to edit, and has low potential to damage articles. | Understanding when to add a link takes judgment, and we don't want articles to be overlinked. It is also not the most valuable type of edit. |
| 2 | Add an image | For articles without an illustration, an algorithm (potential) suggests an image from Commons. This might be a simple algorithm that just looks at what images are used on that article in other languages. The newcomer decides if the image belongs, and where in the article to add it. | Good images make a big difference in an article, and newcomers are interested in adding images. | Adding the wrong image to an article could damage the article in a very visible way. |
| 3 | Add a reference | Some sentences or paragraphs clearly need citations. An algorithm (in development) would point out which sentences likely need suggestions, and the newcomer would seek sources to add as citations in a step-by-step workflow. | References are of clear importance to the core of the encyclopedia. | This task may not be exciting to newcomers. They may also struggle to find and use sources without guidance. |
| 4 | Copyedit | Using open-source spellcheck dictionaries and code, or using Wiktionary, identify likely misspelled words, and point them out to newcomers, who can use the visual editor or wikitext editor to fix them one at a time. | Clearly valuable and needed in any wiki, satisfying to newcomers. Helps them start editing the main text of articles, as opposed to peripherals parts of the article. | Scaling to any language may be difficult, depending on the availability of good spellchecking algorithms. |
| 5 | Add a section | An algorithm detects when an article could use additional sections, based on the kinds of section headers that similar articles have (e.g. all biographies of scientists tend to have "Publications" sections). The newcomer is walked through producing a well-referenced paragraph. | Real content additions that could help close knowledge gaps. | A much more challenging task than the others, requiring many wiki skills to be used together. May produce low-quality content. |
Prioritizing "add a link"
The Growth team currently (May 2020) wants to prioritize the "add a link" workflow over the other ones listed in the table above. Although other workflows, such as "copyedit", seem to be more valuable, there are a set of reasons we would want to start first with "add a link":
- In the near term, the most important thing we would want to do first is to prove the concept that "structured tasks" can work. Therefore, we would want to build the simplest one, so that we can deploy to users and gain learnings, without having to invest too much in the first version. If the first version goes well, then we would have the confidence to invest in types of tasks that are more difficult to build.
- "Add a link" seems to be the simplest for us to build because there already exists an algorithm built by the WMF Research team that seems to do a good job of suggesting wikilinks (see the Algorithm section).
- Adding a wikilink doesn't usually require the newcomer to type anything of their own, which we think will make it particularly simple for us to design and build -- and for the newcomer to accomplish.
- Adding a wikilink seems to be a low-risk edit. In other words, the content of an article can't be as compromised through adding links incorrectly as it could through adding references or images incorrectly.
Notes on "copyedit"
In conversations with community members on this project's discussion page, many people brought up the question of how to make a structured task around copyediting. Correcting spelling, grammar, punctuation, and tone seemed to everyone to be a clearly useful task that should be prioritized. The Growth team initially shied away from this workflow because of scaling concerns: even if we were able to find or develop an algorithm that could reliably find copyedits in one language, would we be able to do that in dozens of other languages?
We began to learn more about this by talking with User:Beland, who developed the "moss" script for English Wikipedia's Typo Team. We wanted to understand how the process works, and what it might look like to do something similar in other languages. In short, it sounds like the most promising avenue is through existing open-source spellcheckers and dictionaries. Two examples are the aspell and hunspell libraries. Below are our notes from learning about "moss" with User:Beland.
- Prospects for doing something similar in other languages
- A process like this should theoretically work in other languages, given that other languages also have Wiktionaries and open-source spellcheckers.
- But it would not be possible to deploy in a new language without native speakers validating it. There would likely need to be customization for many languages.
- Likely more challenges for languages without word segmentation (e.g. Japanese).
- Likely more challenges for agglutinative languages.
- Different projects have differing manuals of style, which may cause issues.
- If an algorithm is performing poorly, it should always be possible to change its thresholds so that it identifies fewer potential errors, but with higher confidence.
- How does moss work?
- Download the dump files of all of English Wikipedia every two weeks.
- In order to cut down on false positives, remove templates and everything inside quotation marks, etc. Only want to work on the main text in the article: the things written “in Wikipedia’s voice”.
- Check that every word is in English Wiktionary.
- Uses Python NLTK (natural language toolkit) for word segmentation.
- Looks at edit distance to classify misspellings. e.g. “T1” is one edit distance (95% precision). Also classifies “TS” whitespace errors.
- Also includes an English open-source spellchecker to narrow the search space so that the algorithm can run faster.
- He has also started trying to add grammar rules (e.g. identifying passive voice), but that’s more experimental, and much more difficult than spelling.
- At the end of the process, it produces a list of articles and likely typos. The user opens the article and searches for the likely typo.
Many copyedit requests are also editors whose native language is not English, asking for English polishing. See WikiProject Guild of Copy Editors.