Zlepšení procesu kontroly změn

Skupina:	Collaboration
Začal:	2016-07-05
Členové týmu:	Development team - Stephane Bisson, Benoît Evellin, Matthew Flaschen, Pau Giner, Roan Kattouw, Joe Matazzoni, Moriel Schottlender, Elena Tonkovidova, Nick Wilson, Aaron Halfaker
Vedení:	Joe Matazzoni (product manager), Roan Kattouw (engineering manager)

This page is a translated version of the page Edit Review Improvements and the translation is 100% complete.

Zlepšením procesu kontroly změn (Edit Review Improvements) se zabývá tzv. Collaboration Team, který hledá cesty, jak minimalizovat negativní dopady, které má aktuální proces kontroly změn na příležitostné editory wiki stránek. Většina nástrojů, které hlídají revize změn, byla navržena tak, aby byla zajištěna maximální kvalita obsahu wiki a zároveň omezeny možnosti škůdců (vandalů) — v obou případech jde o velmi důležité úkoly. Z výsledků průzkumu však vyplývá, že použití automatů kontrolujících kvalitu příspěvků snižuje ochotu příležitostných editorů realizovat změnu - a dokonce jim v tom mohou integrované automatické, či poloautomatické nástroje aktivně bránit.

Collaboration Team se snaží tento problém vyřešit. Hledá cesty jak by se příležitostní editoři mohli obvyklému procesu kontroly změn vyhnout. Snaží se napomoci tomu, aby se z těchto vítaných nováčků časem stali produktivní přispěvatelé.

Problém

Výzkum ukázal že zejména u začínajících editorů "vrácení editace do původního stavu" vedlo k poklesu aktivity začínajících přispěvatelů a významně snížilo pravděpodobnost, že budou chtít dále pracovat jako stálí editoři.^[1]
Ve stejnou dobu, kdy se začaly intenzivněji využívat automatizované a poloautomatizované nástroje při kontrole ukládaných změn, začaly být ve zvýšené míře odmítány změny příležitostnými editory. Použití těchto nástrojů tedy "velice negativně ovlivňuje chuť příležitostných editorů něco dělat".^[2]
Bez ohledu na výše uvedené skutečnosti, však jsou nástroje pro kontrolu editačních změn zcela zásadní pro boj s vandalismem a k tomu, aby mohla být zachována integrita a kvalita obsahu wiki. Jak tedy pomoci příležitostným a začínajícím editorům a zároveň nezhoršit podmínky ostatním editorům a bojovníkům s vandaly?

Cíle

Především je třeba zajistit, aby mohli příležitostní editoři dělat konstruktivní změny v obsahu článku aniž by se cítili šikanováni procesem kontroly správnosti editace.
Poskytování podrobnějších informací o posledních změnách a sledování všech možných operací spojených s revizí změn a sledování další aspektů (důležitých např. pro boj s vandalismem a k podpoře začínajících uživatelů) je třeba řešit cíleně a efektivně.

V konečném důsledku si tento projekt klade za cíl ovlivnit editory tak, aby neodcházeli a jejich zájmy byly v souladu se záměry Výročního plánu Wikimedia Foundation 2016-17, který byl vypracován v úzké spolupráci s komunitou uživatelů.

Tento přístup sleduje zejména cíle, které roční plán stanoví pro produktový tým a které mimo jiné slibují "investovat do nových typů obsahu… nástrojů pro správu a spolupráci".

Řešení

Chceme-li začít tento problém řešit, je nutné v prvé řadě zajistit, aby kontroloři mohli změny příležitosných přispěvatelů najít. K tomu je nutné, analyzovat přehled posledních změn a při tom využívat i data z dalších zdrojů. Především data z aplikace ORES (Objective Revision Evaluation Service). ORES je program schopný strojového učení, který je vytrénován na lidech, kteří umí identifikovat a ověřit správnost až u 95% editací příležitostných editorů s 98% přesností. ORES také umí předvídat, které změny bude nejspíš nutné vrátit a změny které mají wiki nějakým způsobem poškodit.

Výzkumy ukazují, že noví editoři jsou zvláště náchylní k odmítnutí. Existují však důkazy, že revize úprav a dokonce i odmítnutí mohou být pro nováčky silným zážitkem v učení. ^[3] Doufáme, že pro recenzenty, kteří mají zájem o podporu nových uživatelů, bude záplava úprav, které budou a) pravděpodobně vráceny; ale které byly b) provedeny v dobré víře; představovat řadu poučných momentů.

Analýza editací, popsaná výše bude uživatelům zpřístupněna dvěma způsoby^[4]:

Na speciální stránce Poslední změny, kde bude nabídnuta jako beta verze sada nových filtrů (viz popisy nových plánovaných filtrů na speciální stránce)
Na novém strojově čitelném toku dat, nazývaném ReviewStream (informace k ReviewStreamu), který je vhodný pro zpracování pomocí nástrojů pro editaci a kontrolu.

Současné aktivity

Collaboration team na základě zkoumání řešených problémů navrhuje změny stávajího konceptu, které určují směr jakým by se měl ubírat další vývoj.
Aby bylo možné posoudit rozsah problému, a při tom sledovat postup práce, pracujeme na návrhu a vývoji metriky zaháčkování začínajících editorů.
Zkoumání návrhu je především záležitost aktivní komunikace s uživateli, kterých se tento problém nějakým způsobem týká. K lepšímu pochopení jejich motivací a pracovních postupů. Mezi skupiny, které budou dotazovány v nejbližší budoucnosti patří: Lidé hlídající aktivity vandalů, lidé kontrolující poslední změny, návštěvníci čajovny, členové "Uvítacího výboru" a kontroloři AfC.
Tým výzkumu a dat pracuje na zlepšování predikce a přesnosti jejího modelu.
Diskuze o tomto projektu proběhla v červnu 2016 během Wikimánie.

Vylepšené filtrování na stránce Posledních změn

Další informace

K filtrování posledních změn by měl být používán pouze jeden vstupní bod.

S cílem pomoci recenzentům snadno najít příspěvky, které hledají, plánujeme zlepšit způsob fungování filtrování na stránce Special:Poslední změny. Cílem je usnadnit filtrování příspěvků, umožnit více kritérií pro filtrování (zejména těch, která jsou důležitá pro pomoc nově příchozím) a usnadnit kombinování více filtrů pro různé účely.

Tento interaktivní prototyp ilustruje navrhovanou koncepci filtrování. Pro další kontext můžete zkontrolovat podporované scénáře.

Než se vše důkladně vyřeší, bude prováděno několik kroků ve verzi beta. Více podrobností níže.

První kroky

Nechceme tyto filtry integrovat do filtrovacího systému Jmenné prostory a tagy. Podporované budou filtry, které spolupracují s ORES. Jsou to tyto filtry:

Kontrola. Filtry který dovolí kontrolorům zaměřit pozornost na příspěvky, které dosud neprošly revizí nebo které již zrevidovali jiní kontroloři.
Kvalita příspěvku. Filtry které umožní rozlišit, zda-li jde o příspěvek vyhovující nebo potenciálně vadný.
Uživatelský záměr. Filtry, které umožní rozlišit, jestli byl příspěvek, který poškozuje wiki proveden neúmyslně nebo záměrně.
Úroveň uživatele. Filtry, které umožní třídit editace podle úrovně zkušeností jejich autorů.

Hlavní vstupní bod pro filtrování posledních změn.
Filtry lze nastavit napsáním (automatické doplňování) nebo výběrem z vygenerovaného seznamu filtrů.
Filtry, ať již vybrané nebo nevybrané, lze využít při kombinaci dle různých kritérií, zvýrazněním pomocí barev.
Filtry se nabízí jako součást vyhledávací pole a mohou rovnou označovat vyhledané příspěvky.

Plány do budoucnosti

Vytváření streamů/stránek "poučných momentů" popsaných výše, má potenciál vytvořit nový prostor pro instruktáž a podporu nových editorů.

Samotná existence takové platformy však sama o sobě nezajistí, aby tato nová praxe zakořenila. Aby byl skutečný dopad na udržení nově příchozího, mohou být vyžadovány intervence v několika bodech v editačních a revizních cyklech: Před zveřejněním zjistit problémy a umožnit autorům vyhledat pomoc. Během přezkumu usnadnit konstruktivní proces. A dokonce i po recenzi, pomoci novým uživatelům překonat odmítnutí a poučit se ze svých zkušeností.

Kromě zkoumání nápadů, jak zasahovat v různých bodech editací, sledujeme odpovědi na otázky:

Jak můžeme do této nové aktivity přivést recenzenty?
Co by umožnilo recenzentům co nejefektivnější práci při podpoře nováčků při revizi úprav?
Jak můžeme vytvořit proces odměňujícím recenzenty, aby zůstali zapojeni?

Komunita proti vandalismu také hraje na této scéně důležitou roli. Bohatější údaje o úpravách a editorech by měly tvořit kontroly všech typů. Musí nejen více rozlišovat, které úpravy mohou být v dobré víře. Musí být také účinnější v jejich práci v boji proti poškození. Bude důležité úzce spolupracovat s bojovníky proti vandalismu a dalšími, abychom pochopili, jak by jejich procesy a nástroje nejlépe přizpůsobit k realizaci těchto potenciálních cílů.

Principy

Při práci na tomto projektu, se naše plány řídí následujícími zásadami.

Chytré, ale lidské. Aplikované technologie nemají za cíl lidi nahrazovat, ale pomáhat jim. Umělá inteligence může nabízet výsledky analýz, ale na jejich základě by měli vždy rozhodovat lidé.
Pro všechny komunity. Výsledkem hledání řešení by neměly být speciální nástroje pro wiki, ale pokud možno univerzální řešení použitelné pro všechny jazykové skupiny a projekty.
Programově nezávislé. Výsledné řešení, musí být volně šiřitelné a použitelné jak se současnými, tak i budoucími nástroji vytvořenými komunitou či WMF.
Mobilní. Ačkoli proces editace-kontroly ještě není v současné době na mobilních zařízeních běžný, má do budoucna v našich plánech významnou roli.
Přijetí. Při tvorbě nových technologií, zaměřujme pozornost na hledání cest, jak povzbudit kontrolory, aby nové nástroje přijali a používali.
Integrace. Při hledání nových řešení, kdykoli je to jen možné, se snažíme i nové věci v maximální míře integrovat se stávajícími nástroji.
Dílčí postup. Tak jak se postupně dostáváme k dosud neprobádaným oblastem, snažíme se před každým dalším krokem vše nejprve zpracovat a vyhodnotit.
Spolupráce při návrhu. Vždy spolupracovat s editory a vývojáři nástrojů, kteří již v této oblasti pracují.

Související stránky

↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.
↑ “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
↑ "Zjistili jsme, že nově příchozí budou po návratu editace velmi pravděpodobně snižovat své příspěvky. Také máme důkazy, že se mohou co nejvíce naučit ze zpětného jednání. Je třeba oslovit nováčky, aby aktivně se mohli socializovat na Wikipedii." Halfaker, A., Kittur, A., & Riedl, J. Nezahrávejte si s nováčky: Jak vracení ovlivňuje množství a kvalitu práce na Wikipedii.
↑ Spolupráce Team Quarter Two FY2016-17 Cíle

[1] Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.

[2] “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.

[3] "Zjistili jsme, že nově příchozí budou po návratu editace velmi pravděpodobně snižovat své příspěvky. Také máme důkazy, že se mohou co nejvíce naučit ze zpětného jednání. Je třeba oslovit nováčky, aby aktivně se mohli socializovat na Wikipedii." Halfaker, A., Kittur, A., & Riedl, J. Nezahrávejte si s nováčky: Jak vracení ovlivňuje množství a kvalitu práce na Wikipedii.

[4] Spolupráce Team Quarter Two FY2016-17 Cíle

[1]

[2]

[3]

[4]