Növekedés/Személyre szabott első nap/Strukturált feladatok/Kép hozzáadása
|
Add an image
 Suggest images from Commons that newcomers could add to Wikipedia articles
|
Ez az oldal a "kép hozzáadása" strukturált feladattal kapcsolatos munkát írja le, mely a strukturált feladatok egy típusa, amit a Növekedési csapat a kezdők kezdőlapján keresztül kínál fel.
Ez az oldal tartalmazza a főbb eszközöket, terveket, nyitott kérdéseket és döntéseket.
 | Ez a projekt dióhéjban:
|
Az előrehaladásról szóló legtöbb apró frissítés az általános Növekedési csapat frissítések oldalára kerül, néhány nagyobb vagy részletes frissítés pedig ide.
Jelenlegi állapot
- 2020-06-22: kezdeti elképzelések a képek ajánlására szolgáló egyszerű algoritmus létrehozására
- 2020-09-08: első próbálkozás kiértékelése egy megfelelő algoritmusra angol, francia, arab, koreai, cseh és vietnámi nyelven
- 2020-09-30: egy második kísérlet kiértékelése egy megfelelő algoritmusra angol, francia, arab, koreai, cseh és vietnámi nyelven
- 2020-10-26: belső mérnöki megbeszélés a képajánló szolgáltatás lehetséges megvalósíthatóságáról
- 2020-12-15: felhasználói tesztek első körének lefuttatása annak megértése érdekében, hogy a kezdők sikeresen megoldhatják-e ezt a feladatot
- 2021-01-20: A platformmérnöki csapat megkezdi a képajánlásokhoz szükséges próba API létrehozását
- 2021-01-21: Az Android-csapat megkezdi a minimálisan életképes verzió kidolgozását tanulási célokra
- 2021-01-28: a felhasználói tesztek eredményeinek közzététele
- 2021-02-04: a közösségi viták és a lefedettségi statisztikák összefoglalása
- 2021-05-07: Az Android MVP kiadása a felhasználóknak
- 2021-08-06: az Android eredményeinek és az 1. ismétlés mockupjainak közzététele
- 2021-08-17: megkezdődik a backend munka az Iteration 1 kapcsán
- 2021-08-23: interaktív prototípusok közzététele és felhasználói tesztek megkezdése angol és spanyol nyelven
- 2021-10-07: a felhasználói tesztek eredményeinek és az eredményeken alapuló végleges terveknek a közzététele
- 2021-11-19: a nagykövetek megkezdik az eszköz tesztelését a produktív Wikipédiáikban
- 2021-11-22: a képjavaslatok adathalmazának frissítése az Iteration 1 felhasználók számára történő kiadása előtt
- 2021-11-29: Az 1. verziót az arab, cseh és bengáli Wikipédiákon a mobilfelhasználók 40%-a használta.
- 2021-12-22: közzétett vezető mutatók
- 2022-01-28: az asztali változatot az új fiókok 40%-ára telepítették az arab, cseh és bengáli Wikipediákon.
- 2022-02-16: A spanyol Wikipédia kezdő felhasználóinak "képet kell hozzáadniuk"
- 2022-03-22: A portugál, perzsa, francia és török Wikipédia kezdő felhasználóinak megjelenik a "kép hozzáadása" felirat
- 2023-02-07: Complete evaluation of section-level image suggestions (T316151)
- 2023-10-16: Image Recommendations added to the Android Wikipedia app
- 2024-04-11: Publish "Add an image" Experiment Analysis
- Tovább: Release "Add an image" to more Wikipedias
Összefoglaló
A strukturált feladatok célja, hogy a szerkesztési feladatokat lépésről lépésre olyan munkafolyamatokra bontsa, melyek értelmesek a kezdők számára és mobil eszközökön is jól használhatóak. A Növekedési csapat úgy véli, hogy az ilyen újfajta szerkesztési munkafolyamatok bevezetése lehetővé teszi, hogy több új szerkesztő vegyen részt a Wikipédia szerkesztésében, akik közül néhányan megtanulnak majd jelentősebb szerkesztéseket végezni, és bekapcsolódnak a közösségükbe. Miután megvitattuk a strukturált feladatok ötletét a közösségekkel, úgy döntöttünk, hogy létrehozzuk az első strukturált feladatot: "link hozzáadása". The Growth team believes that introducing these new kinds of editing workflows will allow more new people to begin participating on Wikipedia, some of whom will learn to do more substantial edits and get involved with their communities. After discussing the idea of structured tasks with communities, we decided to build the first structured task: "add a link".
A "link hozzáadása" 2021 májusában történő bevezetése után kezdeti adatokat gyűjtöttünk, melyek azt mutatták, hogy a feladat vonzó volt a kezdő felhasználók számára, és hogy alacsony visszaállítási arány mellett végeztek szerkesztéseket -- ami azt jelzi, hogy a strukturált feladatok értékesnek tűnnek az új szerkesztők és a wikik számára.
Már az első feladat megalkotása közben is gondolkodtunk azon, hogy mi lehetne a következő strukturált feladat, és úgy gondoljuk, hogy a képek hozzáadása jó választás lehet a kezdők számára. Az ötlet az, hogy egy egyszerű algoritmus képeket ajánlana a Commonsból olyan szócikkekhez, melyekben nincsenek képek. Kezdetben csak a Wikidatában fellelhető, meglévő kapcsolatokat használná, és a kezdők saját belátásuk szerint döntenék el, hogy a képet a cikkre helyezik-e vagy sem.
Tudjuk, hogy sok nyitott kérdés van azzal kapcsolatban, hogy ez hogyan működne, és sok lehetséges oka van annak, hogy ez nem fog jól működni. Ezért reméljük, hogy sok közösségi tagtól halljuk majd a véleményeket, és folyamatos vitát folytatunk, miközben eldöntjük, hogyan tovább.
Kapcsolódó projektek
Az Android-csapat egy hasonló feladat minimális változatán dolgozott a Wikipédia Android-alkalmazásához, mely ugyanazokat az alapkomponenseket használja.
Emellett a strukturált adatokkal foglalkozó csapat a kezdeti szakaszában van egy hasonló, tapasztaltabb felhasználóknak szánt, a Strukturált adatok a Commonson előnyét kihasználó fejlesztése.
Miért képek?
| Bővítsd ki a "Miért képek?" szakasz elolvasásához |
|---|
|
Jelentős szerkesztéseket keresünk Amikor először beszéltünk a strukturált feladatokról a közösség tagjaival, sokan rámutattak, hogy a wikilinkek hozzáadása nem egy különösen nagy értékű szerkesztési típus. A közösség tagjai ötleteket vetettek fel arra vonatkozóan, hogy a kezdők hogyan tudnának érdemibb szerkesztést nyújtani. Az egyik ötlet a képek. A Wikimédia Commons 65 millió képet tartalmaz, de sok Wikipédiában a cikkek több mint 50%-a nem tartalmaz képet. Úgy gondoljuk, hogy a Commonsból származó sok kép lényegesen illusztráltabbá teheti a Wikipédiát. Community members brought up ideas for how newcomers could make more substantial contributions. One idea is images. Wikimedia Commons contains 65 million images, but in many Wikipedias, over 50% of articles have no images. We believe that many images from Commons can make Wikipedia substantially more illustrated. A kezdők érdeklődése Tudjuk, hogy sok kezdő érdeklődik a Wikipédia képekkel való bővítése iránt. Az új belépők az üdvözlési kérdőívben gyakran válaszolták, hogy "képet szeretnék hozzáadni", amikor azt kérdezték, hogy miért hozták létre a fiókjukat. Azt is látjuk, hogy az egyik leggyakoribb kérdés a súgópanelen a képek hozzáadására vonatkozik, és ez az összes wikire igaz, amivel dolgozunk. Bár a legtöbb új felhasználó valószínűleg a saját képét hozza, amit hozzá szeretne adni, ez arra utal, hogy a képek hogyan lehetnek vonzóak és izgalmasak. Ennek van értelme, tekintve, hogy a többi platform, ahol a kezdők részt vesznek - mint például az Instagram és a Facebook -- kép-hangsúlyos elemeket tartalmaz. A képekkel való munka nehézségei A képekkel kapcsolatos számos súgópanel-kérdés azt tükrözi, hogy a képek szócikkekhez való hozzáadásának folyamata túl bonyolult. A kezdőknek meg kell érteniük a Wikipédia és a Commons közötti különbséget, a szerzői jogokra vonatkozó szabályokat, valamint a kép megfelelő helyre történő beillesztésének és feliratozásának technikai részét. Egy kép megtalálása a Commonsban egy illusztrálatlan cikkhez még több készséget igényel, például a Wikidata és a kategóriák ismeretét. A "Wikipedia Pages Wanting Photos" kampány sikere  A Wikipedia Pages Wanting Photos (WPWP) kampány meglepő sikert aratott: 600 felhasználó 85 000 oldalhoz adott hozzá képeket. Tették ezt néhány közösségi eszköz segítségével, melyek azonosították a kép nélküli oldalakat, és a Wikidata segítségével javasolták a lehetséges képeket. Bár még fontos tanulságokat lehet levonni arról, hogyan kell segíteni a kezdőknek a képek hozzáadásában, ez bizalmat ad nekünk abban, hogy a felhasználók lelkesedhetnek a képek hozzáadásáért, és hogy az eszközök segíthetnek nekik. Mindezt együttvéve Mindezeket az információkat együttesen végiggondolva úgy gondoljuk, hogy lehetséges lehet egy olyan strukturált "kép hozzáadása" feladatot létrehozni, amely egyszerre szórakoztató a kezdők számára és produktív a Wikipédia számára. |
Az ötlet jóváhagyása
2020 júniusától 2021 júliusáig a Növekedési csapat a "kép hozzáadása" feladat körüli közösségi megbeszéléseken, háttérkutatásokon, értékeléseken és koncepcióvizsgálatokon dolgozott. Ez vezetett ahhoz a döntéshez, hogy 2021 augusztusában elkezdjük az első iterációnk építését (lásd Iteration 1). Ez a szakasz tartalmazza mindazt a háttérmunkát, amely az Iteration 1-ig vezetett.
| Bővítsd ki az "Ötletérvényesítés" szakasz elolvasásához | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
AlgoritmusAz, hogy képesek vagyunk-e strukturált feladatot készíteni a képek hozzáadására, attól függ, hogy tudunk-e olyan algoritmust létrehozni, mely kellően jó ajánlásokat generál. Semmiképpen sem szeretnénk arra ösztönözni a kezdőket, hogy rossz képeket adjanak hozzá a szócikkekhez, ami munkát okozna a járőröknek, hogy utánuk takarítsanak. Ezért az egyik első dolog, amin dolgoztunk, hogy megpróbáljuk kideríteni, tudunk-e jó algoritmust készíteni.
LogikaEgyütt dolgoztunk a Wikimédia kutatócsoporttal, és eddig egy olyan algoritmust teszteltünk, mely a pontosságot és az emberi ítélőképességet helyezi előtérbe. Ahelyett, hogy bármilyen számítógépes látásmódot használna, ami váratlan eredményeket hozhat, egyszerűen a Wikidata meglévő információit összesíti, a tapasztalt közreműködők által létrehozott kapcsolatokra támaszkodva. Ez a három fő módja annak, ahogyan a nem illusztrált cikkekhez találatokat javasol:
Az algoritmus olyan logikát is tartalmaz, mely például kizárja azokat a képeket, amik valószínűleg ikonok, vagy a szócikkben egy navbox részeként vannak jelen.
Pontosság2021 augusztusáig az algoritmus három tesztelési fordulón ment keresztül, minden alkalommal hat nyelv szócikkeit vizsgáltuk: Angol, francia, arab, vietnámi, cseh és koreai. Az értékeléseket csapatunk nagykövetei és más szakértő wikimédiások végezték, akik anyanyelvi beszélők a tesztelt nyelveken. Az első két értékelés Az egyes nyelvek 50 javasolt találatát megvizsgálva átnéztük és az alábbi csoportokba soroltuk azokat:
Egy ilyen algoritmuson végzett munka során az a kérdés, hogy mennyire kell pontosnak lennie? Ha az egyezések 75%-a jó, az elégséges? Kell-e 90%-os pontosságúnak lennie? Vagy lehet akár 50%-os pontosságú is? Ez attól függ, hogy az algoritmust használó kezdők mennyire jó ítélőképességűek, és mennyi türelemmel rendelkeznek a gyenge találatokhoz. Erről többet fogunk megtudni, amikor az algoritmust valódi kezdőkkel teszteljük. Az első értékelés során a legfontosabb, hogy sok olyan egyszerű javítást találtunk az algoritmuson, amit könnyen el lehet végezni, beleértve a kizárandó szócikkek és képek típusait. Még ezen fejlesztések nélkül is a találatok körülbelül 20-40%-a "2-es" volt, ami azt jelenti, hogy a cikkhez nagyszerű találatok tartoznak (a wikitől függően). Az első értékelés teljes eredményeit és jegyzeteit itt találod. A második értékeléshez számos javítást építettünk be, és a találati pontosság nőtt. A találatok 50-70%-a "2-es" volt (a wikitől függően). A pontosság növelése azonban csökkentheti a lefedettséget, azaz azon cikkek számát, melyekre egyezést tudunk találni. Konzervatív kritériumokat alkalmazva az algoritmus csak tízezer találatot tud javasolni egy adott wikiben, még akkor is, ha az adott wikinek több százezer vagy millió cikke van. Úgy gondoljuk, hogy ez a fajta mennyiség elegendő lenne a funkció kezdeti változatának elkészítéséhez. A második értékelés teljes eredményeit és jegyzeteit itt tekintheted meg. Harmadik értékelés 2021 májusában a strukturált adatokkal foglalkozó csapat egy sokkal nagyobb léptékű tesztet végzett a képillesztési algoritmus (és a MediaSearch algoritmus) tesztelésére arab, cebuanói, angol, vietnámi, bengáli és cseh Wikipédiákon. Ebben a tesztben a képillesztési algoritmus és a MediaSearch mintegy 500 találatát értékelték az egyes nyelvek szakértői, akik jó esetben "Jó", "Rendben" vagy "Rossz" találatoknak minősíthették azokat. Az alább részletezett eredmények ezeket mutatják:
Az eredmények teljes adatkészlete itt található. LefedettségAz algoritmus pontossága egyértelműen nagyon fontos összetevő. Ugyanilyen fontos a "lefedettség" is -- ez arra utal, hogy hány képet tud egybevetni. A pontosság és a lefedettség általában fordítottan arányos: minél pontosabb egy algoritmus, annál kevesebb javaslatot tesz (mivel csak akkor tesz javaslatokat, ha biztos a dolgában). Ezekre a kérdésekre kell válaszolnunk: képes-e az algoritmus annyi találatot adni, hogy érdemes legyen vele egy eszközt létrehozni? Képes lenne-e érdemi hatást gyakorolni a wikire? Megnéztünk 22 Wikipédiát, hogy képet kapjunk a válaszokról. Az összefoglaló pontok alatt található a táblázat:
MediaSearchAmint arról már szó volt, a strukturált adatokkal foglalkozó csoport vizsgálja a MediaSearch algoritmus használatát a lefedettség növelése és több találati lehetőség biztosítása érdekében. A MediaSearch a hagyományos szövegalapú keresés és a strukturált adatok kombinálásával működik, hogy nyelvfüggetlen módon releváns találatokat adjon a keresésekhez. A Commonson található strukturált adatok részeként a képekhez hozzáadott Wikidata állítások keresési rangsorolási bemenetként való felhasználásával a MediaSearch képes kihasználni az aliasokat, a kapcsolódó fogalmakat és a többnyelvű címkéket, hogy növelje a képek találatainak relevanciáját. A MediaSearch működéséről további információ itt található. 2021 februárjától a csapat jelenleg azzal kísérletezik, hogyan lehet a MediaSearch találatokhoz egy olyan megbízhatósági pontszámot biztosítani, melyet a képajánló algoritmus felhasználhat, és ami alapján eldöntheti, hogy a MediaSearchből származó találat megfelelő minőségű-e a képillesztési feladatokban való felhasználáshoz. Biztosak akarunk lenni abban, hogy a szerkesztők bíznak a MediaSearch által adott ajánlásokban, mielőtt beépítenénk azokat a funkcióba. A strukturált adatokkal foglalkozó csoport azt is vizsgálja és prototípusokat készít, hogy a szerkesztők által generált botok hogyan használhatják a képajánló algoritmus és a MediaSearch által generált eredményeket arra, hogy automatikusan képeket adjanak hozzá a szócikkekhez. Ez egy kísérlet lesz a botoktól hemzsegő wikikben, a közösségi bot-írókkal együttműködve. Többet megtudhatsz erről az igyekezetről, vagy kifejezheted érdeklődésedet a phabricator feladatban való részvétel iránt. 2021 májusában a fenti "Pontosság" szakaszban idézett értékelés során a MediaSearch jóval kevésbé pontosnak bizonyult, mint a képillesztési algoritmus. Míg a képillesztési algoritmus körülbelül 78%-os pontosságú volt, addig a MediaSearch találatai körülbelül 38%-os pontosságúak voltak. Ezért a növekedési csapat nem tervezi a MediaSearch használatát a "kép hozzáadása" feladat első ismétlésében. Kérdések és megbeszélés
Nyitott kérdésekA képek fontos és látható részét képezik a Wikipédia-élménynek. Nagyon fontos, hogy alaposan átgondoljuk, hogyan működne egy olyan funkció, ami lehetővé tenné a képek egyszerű hozzáadását, mik lennének a lehetséges buktatók, és milyen következményekkel járna a közösség tagjaira nézve. Ebből a célból számos nyitott kérdésünk van, és szeretnénk, ha a közösség tagjai továbbiakat is felvetnének.
A közösségi megbeszélések jegyzetei 2021-02-042020 decemberétől kezdve öt nyelven (angol, bengáli, arab, vietnámi, cseh) hívtuk meg a közösség tagjait, hogy beszélgessenek a "kép hozzáadása" ötletéről. Az angol nyelvű megbeszélések többnyire az itteni vitalapon zajlottak, a helyi nyelvű beszélgetések pedig a másik négy Wikipédián. A közösség 28 tagjától hallottunk véleményt, és ez a rész összefoglalja a leggyakoribb és legérdekesebb gondolatokat. Ezek a beszélgetések nagyban befolyásolják a következő tervezési sorozatunkat.
Szerkesztői tesztelés tervezése A fenti nyitott kérdésekre gondolva, a közösség véleménye mellett szeretnénk néhány kvantitatív és kvalitatív információt is generálni, melyek segítségével értékelni tudjuk a "kép hozzáadása" funkció létrehozásának megvalósíthatóságát. Bár az algoritmust már értékeltük a munkatársak és a Wikimédiások körében, fontos látni, hogyan reagálnak rá a kezdők, és hogyan használják az ítélőképességüket, amikor arról döntenek, hogy egy kép beletartozik-e egy szócikkbe. Ebből a célból az usertesting.com segítségével teszteket fogunk futtatni, melyekben a Wikipédia-szerkesztésben járatlan szerkesztők egy prototípusban végigmehetnek a lehetséges képtalálatokon, és "Igen", "Nem" vagy "Bizonytalan" választ adhatnak. A teszthez készítettünk egy gyors prototípust, melyet a jelenlegi algoritmussal készült valódi találatokkal támasztunk alá. A prototípus csak az egyik találatot mutatja egymás után, mindezt egy feedben. A képek a Commons összes vonatkozó metaadatával együtt jelennek meg:
Bár lehet, hogy a jövőben nem ez lesz a munkafolyamat a valódi szerkesztők számára, a prototípus úgy készült, hogy a tesztelők sok potenciális találatot gyorsan át tudjanak nézni, sok információt generálva. Az interaktív prototípus kipróbálásához használd ezt a linket. Megjegyzendő, hogy ez a prototípus elsősorban az algoritmus találatainak megtekintésére szolgál -- a tényleges felhasználói élményen még nem gondolkodtunk sokat. Valójában nem hoz létre semmilyen szerkesztést. Az algoritmus által javasolt 60 valódi találatot tartalmaz. A következőkre fogunk figyelni a teszt során:
TervezésA koncepció vs. BA feladat tervezésén gondolkodva hasonló kérdés merült fel, mint a "link hozzáadása" esetében az A és a B koncepció tekintetében. Az A koncepcióban a szerkesztők a szócikk szerkesztését a cikknél végeznék el, míg a B koncepcióban több szerkesztést végeznének egymás után, mindegyiket egy feedből. Az A koncepció több kontextust ad a szerkesztőnek a szócikkhez és a szerkesztéshez, míg a B koncepció a hatékonyságot helyezi előtérbe. A fenti interaktív prototípusban a B koncepciót alkalmaztuk, melyben a szerkesztők egy javaslatokból álló csatornán keresztül haladnak. Ezt azért tettük, mert a szerkesztői tesztjeink során sok példát akartunk látni arra, hogy a felhasználók hogyan lépnek interakcióba a javaslatokkal. Ez az a fajta kialakítás, mely a legjobban működhet egy olyan platformon, mint a Wikipédia Android-alkalmazása. A Növekedési csapat kontextusában inkább az A. koncepcióban gondolkodunk, melyben a szerkesztő a szócikk szerkesztését a szócikknél végzi. Ezt az irányt választottuk a "link hozzáadása" esetében, és úgy gondoljuk, hogy ugyanezen okokból a "kép hozzáadása" esetében is megfelelő lehet. Egyetlen vs. többszörösEgy másik fontos tervezési kérdés, hogy egyetlen javasolt képillesztést mutassunk-e meg a felhasználónak, vagy több képillesztés közül választhat. Amennyiben több találatot adunk meg, nagyobb az esélye annak, hogy az egyik találat jó. De az is előfordulhat, hogy a szerkesztők azt gondolják, hogy az egyiket kell választaniuk, még akkor is, ha egyik sem jó. Emellett bonyolultabb lesz a tervezés és a kivitelezés, különösen a mobileszközök esetében. Három lehetséges munkafolyamatot modelleztünk:
   Szerkesztői tesztek 2020. decemberHáttér 2020 decemberében a usertesting.com segítségével 15 tesztet végeztünk a mobil interaktív prototípussal. A prototípus csak kezdetleges dizájnt, kevés kontextust vagy onboardingot tartalmazott, és csak angol nyelven teszteltük olyan szerkesztőkkel, akiknek kevés vagy semmilyen korábbi Wikipédia-szerkesztési tapasztalatuk sem volt. Szándékosan egy kezdetleges kialakítást teszteltünk a folyamat elején, hogy sok tanulságot gyűjthessünk. A teszteléssel elsősorban a funkció egészének megvalósíthatóságát akartuk megvizsgálni, nem pedig a tervezés finomabb részleteit:
A teszt során arra kértük a résztvevőket, hogy legalább 20 szócikk-kép egyezést kommentáljanak, miközben hangosan beszélnek. Amikor igennel koppintottak, a robot arra kérte őket, hogy írjanak egy képaláírást a szócikkben szereplő képhez. Összesen 399 megjegyzést gyűjtöttünk össze. Összefoglaló Úgy gondoljuk, hogy ezek a szerkesztői tesztek megerősítik, hogy sikeresen létrehozhatunk egy "kép hozzáadása" funkciót, de ez csak akkor fog működni, ha jól tervezzük meg. A tesztelők közül sokan jól megértették a feladatot, komolyan vették, és jó döntéseket hoztak -- ez bizalmat ad nekünk, hogy ez olyan ötlet, melyet érdemes megvalósítani. Másrészről viszont sok más szerkesztő nem értette a feladat lényegét, nem értékelte olyan kritikusan, és gyenge döntéseket hozott -- de ezeknek a zavarodott felhasználókat illetően könnyű volt meglátnunk, hogyan javíthatnánk a tervezésen, hogy megfelelő kontextust adjunk nekik és közvetítsük a feladat komolyságát. Megfigyelések A teljes megállapítássorozat megtekintéséhez bátran böngészd a diákat. A legfontosabb pontok a diák alatt vannak leírva. 
Metrikák
Tanulságok
MetaadatokA szerkesztői tesztek azt mutatták, hogy a Commonsból származó képi metaadatok (pl. fájlnév, leírás, képaláírás stb.) kritikus fontosságúak ahhoz, hogy a felhasználó magabiztosan elvégezze a keresést. Például, bár a szerkesztő látja, hogy a szócikk egy templomról szól, és hogy a fénykép egy templomot ábrázol, a metaadatok alapján meg tudja állapítani, hogy a cikkben tárgyalt templomról van-e szó. A szerkesztői tesztek során azt láttuk, hogy a metaadatoknak a következő elemei voltak a legfontosabbak: fájlnév, leírás, képaláírás, kategóriák. A nem hasznos elemek közé tartozott a méret, a feltöltés dátuma és a feltöltő felhasználóneve. Tekintettel arra, hogy a metaadatok fontos szerepet játszanak a határozott döntés meghozatalában, elgondolkodtunk azon, hogy a felhasználóknak szükségük lesz-e a metaadatokra a saját nyelvükön ahhoz, hogy ezt a feladatot elvégezhessék, különösen annak fényében, hogy a Commons metaadatok többsége angol nyelvű. 22 wiki esetében megnéztük, hogy az algoritmus által kapott képegyezések hány százaléka rendelkezik helyi nyelvű metaadatelemekkel. Más szóval, az arab Wikipédia illusztrálatlan szócikkeihez illeszthető képek közül hánynak van arab nyelvű leírása, felirata és ábrája? A táblázat ezen összefoglaló pontok alatt található:
Tekintettel arra, hogy a helyi nyelvű metaadatok lefedettsége alacsony, jelenlegi elképzelésünk az, hogy a képillesztési feladatot csak azoknak a szerkesztőknek ajánljuk fel, akik tudnak angolul olvasni, amit a feladat megkezdése előtt gyors kérdésként feltehetünk a felhasználónak. Ez sajnos korlátozza azt, hogy hány szerkesztő vehetne részt. Hasonló a helyzet, mint a tartalomfordító eszköz esetében, hogy a felhasználóknak ismerniük kell a forrás-wiki és a cél-wiki nyelvét ahhoz, hogy tartalmat tudjanak átvinni egyik wikiből a másikba. A Növekedési csapat üdvözlő felmérésének eredményei alapján is úgy gondoljuk, hogy elegendő számú ilyen szerkesztő lesz, akik megkérdezik a kezdőket, hogy milyen nyelveket ismernek. A wikitől függően a kezdők 20-50%-a választja az angol nyelvet. Android MVPAz Android MVP-vel kapcsolatos részleteket lásd ezen az oldalon. HáttérSok közösségi vita, számos belső megbeszélés és a fenti szerkesztői tesztek eredményei után úgy véljük, hogy ebben a "kép hozzáadása" ötletben van elég potenciál ahhoz, hogy tovább folytassuk. A közösségi tagok általában pozitívak, de egyben óvatosak is voltak -- azt is tudjuk, hogy még mindig sok aggály és ok van arra, hogy az ötlet esetleg nem működik a várt módon. A következő lépés, amit szeretnénk megtenni, hogy többet tudjunk meg, az egy "minimálisan életképes termék" (MVP) létrehozása a Wikipédia Android alkalmazáshoz. A legfontosabb dolog ezzel az MVP-vel kapcsolatban az, hogy nem fog elmenteni semmilyen szerkesztést a Wikipédián. Inkább csak arra fogjuk használni, hogy adatokat gyűjtsünk, javítsuk az algoritmusunkat, és javítsuk a tervezésünket. Az Android alkalmazás az, ahonnan a "javasolt szerkesztések" származnak, és az a csapat rendelkezik egy olyan keretrendszerrel, amely segítségével új feladattípusokat lehet könnyen létrehozni. Ezek a fő darabok:
EredményekAz Android-csapat 2021 májusában adta ki az alkalmazást, és több hét alatt több ezer szerkesztő értékelte a képillesztési algoritmus több tízezer képillesztését. Az így kapott adatok alapján a növekedési csapat úgy döntött, hogy folytatja a "kép hozzáadása" feladat 1. iterációját. Az adatok vizsgálata során két fontos kérdésre próbáltunk választ adni az "elkötelezettség" és a "hatékonyság" körül. Elkötelezettség: minden nyelvi szerkesztőjének tetszik ez a feladat, és meg szeretné is csinálni?
Hatékonyság: a kapott szerkesztések megfelelő minőségűek lesznek?
A teljes eredmény itt olvasható TervezésEz a rész linkeket tartalmaz arra vonatkozóan, hogy hogyan követheted a projekt technikai aspektusait: |
1. ismétlés
2021 júliusában a növekedési csapat úgy döntött, hogy továbblép a "kép hozzáadása" feladat első verziójának elkészítésében a webre. Ez nehéz döntés volt, mivel számos nyitott kérdés és kockázat merült fel azzal kapcsolatban, hogy a kezdőket arra ösztönözzük, hogy képeket adjanak hozzá a Wikipédia szócikkeihez. De miután egy éven át folytattuk az ötlet érvényesítését, és átnéztük az ezzel kapcsolatos közösségi vitákat, értékeléseket, teszteket és koncepcióbizonylatokat, úgy döntöttünk, hogy megépítjük az első iterációt, hogy tovább tanulhassunk. Ezek az ötlet validálási fázisának főbb megállapításai, melyek alapján továbblépünk:
- Visszafogott közösségi támogatás: a közösség tagjai óvatosan optimisták ezzel a feladattal kapcsolatban, egyetértenek abban, hogy értékes lenne, de számos kockázatra és buktatóra mutattak rá, melyeket szerintünk jó tervezéssel kezelni tudunk.
- Pontos algoritmus: a képillesztési algoritmus több különböző teszt során 65-80%-os pontosságot mutatott, és idővel sikerült finomítanunk.
- Szerkesztői tesztek: a prototípusokat megtapasztaló sok új felhasználó szórakoztatónak és magával ragadónak találta a feladatot.
- Android MVP: az Android MVP eredményei azt mutatták, hogy a kezdők általában jó ítélőképességet használtak a javaslatoknál, de ami még fontosabb, hogy támpontokat adtak arra vonatkozóan, hogyan javíthatnánk az eredményeiket a terveinkben. Az eredmények arra is utaltak, hogy a feladat nyelvek között is jól működhet.
- Általános tanulságok: Miután a különböző validálási lépések során számos buktatóba ütköztünk, a következő tervezéseink során képesek leszünk ezek ellen védekezni. Ez a háttérmunka rengeteg ötletet adott ahhoz, hogyan vezessük a kezdőket a jó ítélőképességre, és hogyan kerüljük el a káros szerkesztéseket.
Hipotézisek
Nem vagyunk biztosak abban, hogy ez a feladat jól fog működni -- ezért tervezzük, hogy kis ismétlésekben építjük fel, menet közben tanulva. Úgy gondoljuk, hogy az eddigi tanulságaink felhasználásával jó kísérletet tehetünk egy könnyű első iteráció megalkotására. Az egyik módja annak, hogy elgondolkodjunk azon, amit az iterációinkkal csinálunk, a hipotézisvizsgálat. Az alábbiakban öt optimista hipotézist mutatunk be a "kép hozzáadása" feladattal kapcsolatban. Az 1. iterációban az lesz a célunk, hogy megnézzük, igazak-e ezek a feltevések.
- Képaláírások: A szerkesztők képesek kielégítő képaláírásokat írni. Ez a legnagyobb nyitott kérdésünk, mivel a Wikipédia-szócikkekbe kerülő képekhez általában szükség van feliratokra, de az Android MVP nem tesztelte, hogy a kezdők képesek-e jól megírni azokat.
- Hatékonyság: a kezdők elég erős megítéléssel rendelkeznek ahhoz, hogy szerkesztéseiket a közösségek elfogadják.
- Elkötelezettség: a szerkesztők szeretik ezt a feladatot mobilon elvégezni, sokszor megteszik, és visszatérnek, hogy még többet szerkesszenek.
- Nyelvek: az angolul nem tudó szerkesztők is el tudják majd végezni ezt a feladatot. Ez egy fontos kérdés, mivel a Commons metaadatainak többsége angol nyelvű, és a felhasználók számára kritikus fontosságú, hogy a Commonsból el tudják olvasni a fájlnevet, a leírást és a feliratot, hogy magabiztosan megerősíthessék az egyezést.
- Párhuzam: a "link hozzáadása strukturált feladathoz" felépített tervezési paradigma a képekre is kiterjed.
Hatáskör
Mivel az 1. ismétléssel a fő célunk a tanulás, a lehető leghamarabb szeretnénk a szerkesztők elé tárni egy tapasztalatot. Ez azt jelenti, hogy korlátozni akarjuk az általunk épített elemek hatókörét, hogy gyorsan kiadhassuk. Az alábbiakban bemutatjuk a legfontosabb terjedelmi korlátozásokat, melyeket véleményünk szerint az 1. ismétléssel kapcsolatban meg kell határoznunk.
- Csak mobilra: míg sok tapasztalt wikimédiás a wikin végzett munka nagy részét asztali számítógépéről/laptopról végzi, a Wikipédiához való szerkesztéssel küszködő kezdők nagyrészt mobileszközöket használnak, és ők a fontosabb célközönség a Növekedés csapat munkája szempontjából. Ha az 1. verziót csak mobilra készítjük el, akkor erre a közönségre koncentrálunk, miközben megspóroljuk azt az időt, amit ugyanennek a munkafolyamatnak a megtervezése és felépítése az asztali számítógépre/laptopra is igénybe venne.
- Statikus javaslatok: ahelyett, hogy egy háttérszolgáltatást építenénk, mely folyamatosan futtatja és frissíti az elérhető képegyezéseket a képillesztési algoritmus segítségével, egyszer futtatjuk le az algoritmust, és a javaslatok statikus készletét használjuk az 1. ismétléshez. Bár így nem a legújabb képek és a legfrissebb adatok lesznek elérhetőek, úgy gondoljuk, hogy ez elegendő lesz a tanuláshoz.
- Link hozzáadásának paradigmája: A tervezésünk általában ugyanazokat a mintákat fogja követni, mint az előző strukturált feladatunk, a "link hozzáadása" tervezése.
- Illusztrálatlan szócikkek: a javaslatainkat csak azokra a szócikkekre korlátozzuk, melyekben egyáltalán nincsenek illusztrációk, szemben azokkal a cikkekkel, melyekben már van illusztráció, de még többre lenne szükség. Ez azt jelenti, hogy a munkafolyamatunknak nem kell lépéseket tartalmaznia, hogy a kezdők kiválaszthassák, hogy a szócikkben hol helyezzék el a képet. Mivel ez lesz az egyetlen kép, feltételezhető, hogy ez lesz a vezető kép a szócikk tetején.
- Nincsenek infoboxok: Javaslatainkat csak azokra a szócikkekre korlátozzuk, melyekben nincsenek infoboxok. Ez azért lehetséges, mert ha egy kép nélküli cikknek van infoboxa, akkor az első képet általában az infoboxban kell elhelyezni. De komoly technikai kihívást jelent annak biztosítása, hogy sok nyelven minden infoboxban azonosítani tudjuk a megfelelő képet és képfelirat-mezőt. Ezzel elkerülhetőek azok a cikkek is, melyeknek Wikidata infoboxuk van.
- Egyetlen kép: bár a képillesztési algoritmus több képjelöltet is javasolhat egyetlen illusztrálatlan szócikkhez, az 1. iterációt arra szűkítjük, hogy csak a legnagyobb megbízhatóságú jelöltet javasoljuk. Ez egyszerűbb élményt nyújt a kezdőknek, és könnyebbé teszi a csapat tervezési és mérnöki munkáját.
- Minőségi kapuk: úgy gondoljuk, hogy valamilyen automatikus mechanizmust kellene beépítenünk, amely megakadályozza, hogy egy szerkesztő rövid idő alatt nagyszámú rossz szerkesztést végezzen. Az erre vonatkozó ötletek közé tartozik (a) a felhasználók korlátozása egy bizonyos számú "kép hozzáadása" szerkesztésre naponta, (b) további utasítások adása a felhasználóknak, ha túl kevés időt töltenek az egyes javaslatokkal, (c) további utasítások adása a felhasználóknak, ha úgy tűnik, hogy túl sok képet fogadnak el. Ezt az ötletet az angol Wikipédia 2021-es, a Wikipedia Pages Wanting Photos kampányával kapcsolatos tapasztalatai ihlették.
- Kísérleti wikik: mint minden új Növekedési fejlesztést, először csak a négy kísérleti wikinkre fogjuk telepíteni, melyek az arab, vietnámi, bengáli és cseh wikipédiák. Ezek olyan közösségek, akik szorosan követik a Növekedés munkáját, és tisztában vannak azzal, hogy kísérletek részesei. A növekedés csapata közösségi nagyköveteket alkalmaz, akik segítenek nekünk abban, hogy gyors levelezést folytassunk ezekkel a közösségekkel. A következő évben a spanyol és portugál Wikipédiákat is felvehetjük a listára.
Kíváncsiak vagyunk a közösség tagjainak véleményére, hogy ezek a választási lehetőségek jónak tűnnek-e, vagy bármelyik úgy hangzik, mintha nagymértékben korlátozná az 1. ismétlés során szerzett tapasztalatainkat.
Tervezés
Mockupok és prototípusok
A korábbi szerkesztői tesztekből és az Android MVP alapján többféle tervezési koncepciót is fontolóra veszünk az 1. ismétléshez. A felhasználói folyamat öt részének mindegyikére vonatkozóan két alternatívánk van. Mindkettőt szerkesztői tesztelésnek vetjük alá, hogy információkat szerezzünk a kezdő felhasználóktól. Szerkesztői tesztjeink angol és spanyol nyelven zajlanak majd -- csapatunk először tesztel nem angol nyelven. Reméljük, hogy a közösség tagjai is megvizsgálják a terveket, és elmondják véleményüket a vitalapon.
Prototípusok felhasználói teszteléshez
A legkönnyebben az interaktív prototípusokon keresztül lehet megtapasztalni, hogy mit tervezünk építeni. Mind az "A koncepció", mind a "B koncepció" tervekhez készítettünk prototípusokat, és ezek angol és spanyol nyelven is elérhetőek. Ez nem tényleges wiki szoftver, hanem inkább annak szimulációja. Ami azt jelenti, hogy a szerkesztések nem kerülnek elmentésre, és nem minden gomb és interakció működik -- de a "kép hozzáadása" projekt szempontjából legfontosabbak működnek.
- A koncepció (angol nyelven)
- B koncepció (angol nyelven)
- A koncepció (spanyol nyelven)
- B koncepció (spanyol nyelven)
Mockupok felhasználói teszteléshez
Az alábbiakban statikus képek láthatóak a mockupokról, melyeket 2021 augusztusában használunk a felhasználói teszteléshez. A közösség tagjai szívesen felfedezik a Growth team designer's Figma file fájlt, amely tartalmazza az alábbi mockupokat a canvas jobb alsó részén, valamint a különböző inspirációkat és jegyzeteket, amelyek ezekhez vezettek.
Feed
Ezek a minták a munkafolyamat legelső részére vonatkoznak, melyben a szerkesztő kiválaszt egy szócikket, amin dolgozni szeretne a javasolt szerkesztési feedből. Azt szeretnénk, hogy a kártya vonzó legyen, de ne is zavarja össze a szerkesztőt.
-
A koncepció: a javasolt kép homályos miniatűr képét tartalmazza, mely a szerkesztőnek némi képet ad a közelgő feladatról. -
B koncepció: nem látható a kép miniatűrje, hogy a szerkesztő ne kezdje tévesen úgy érezni, hogy a javasolt kép "hozzátartozik" a szócikkhez.
Beépülés
Ezek a tervek arra vonatkoznak, amit a szerkesztő az első feladat megnyitása után lát, és arra szolgálnak, hogy elmagyarázzák, mi a feladat és hogyan kell jól elvégezni. Szeretnénk, ha a szerkesztő megértené, hogy a kép hozzáadása egy következetes szerkesztés, amit komolyan meg kell fontolni. Figyelembe kell venni, hogy ezt a pontos szöveget még nem terveztük meg gondosan -- inkább most gondolkodunk azon az élményen, amin keresztül átadjuk ezt a tartalmat.
-
A koncepció: teljes képernyős átfedések, melyek elmagyarázzák a kép hozzáadásának fogalmait és lépéseit. -
B koncepció: szekvenciális felugró ablakok, melyek a munkafolyamat különböző részeinek elemeire mutatnak.
A kép hozzáadása
Ezek a minták a munkafolyamat azon részére vonatkoznak, melyben a szerkesztő látja a javasolt képet, megnézi annak metaadatait a Commonsból, és eldönti, hogy hozzáadja-e a szócikkhez. A szerkesztői tesztekből tudjuk, hogy fontos, hogy a szerkesztő elolvassa a kép címét, a Commons leírását és a Commons feliratát ahhoz, hogy ezt a döntést helyesen hozza meg. A tervezésnek ez a kihívást jelentő része: mindezen információk elérhetővé tétele a mobil képernyőjén. We know from user tests that it is important for the user to read the image title, Commons description, and Commons caption in order to make this decision correctly. This is a challenging part of the design: making all that information available on the mobile screen.
-
A koncepció: a javasolt képet a szócikkbe való helyére mutatjuk, így a szerkesztő úgy érzi, hogy a kép hozzáadása valóban a cikkbe helyezi a képet. A szerkesztő felnagyíthatja a képet, hogy teljes képernyőn láthassa, és az "i"-re koppintva további metaadatokat láthat. -
B koncepció: a javasolt kép a "képellenőrző" kártyán jelenik meg, a képhez tartozó Commons metaadatokkal együtt. A szerkesztő felnagyíthatja a képet, hogy teljes képernyőn megtekinthesse.
Felirat és közzététel
Ezek a tervek a munkafolyamatnak arra a részére vonatkoznak, miután a szerkesztő úgy döntött, hogy képet ad a szócikkhez, és már írja a hozzá tartozó képaláírást. Ez lehet a legnagyobb kihívás a kezdők számára, és még gondolkodunk azon, hogyan segíthetnénk nekik megérteni, hogy milyen felirat a megfelelő.
-
A koncepció: a felirat hozzáadása a meglévő Visual Editor felirat párbeszédpanelen keresztül, saját képernyőn. -
B koncepció: a felirat a szócikk helyére kerül, segítve a szerkesztőt abban, hogy megértse a kontextust, ahol a felirat látható lesz.
Elutasítás
Amikor egy szerkesztő elutasít egy javaslatot, szeretnénk adatokat gyűjteni arról, hogy miért volt rossz a találat, hogy javítani tudjuk az algoritmust. Ez egyben lehetőség arra is, hogy folyamatosan emlékeztessük a szerkesztőt az értékelési kritériumokra, melyeket a képek értékelése során használnia kell.
-
A koncepció: a felhasználó csak egy lehetőséget választhat. -
B koncepció: a felhasználó több lehetőséget választhat.
Szerkesztői tesztek 2021. szeptember
In August 2021, we ran 32 user tests amongst people who were new to Wikipedia editing, using respondents from usertesting.com. Half the respondents walked through Concept A and half through Concept B. In order to represent more diverse perspectives, this was the first time that the Growth team ran user tests outside of English: 11 respondents took the test in Spanish, all of whom were located outside the United States. This will help us make sure we're building a feature that is valuable and understandable for populations around the world.
Our goals for the testing were to identify which parts of the design concepts worked best, and to surface any other potential improvements. These are our main findings and changes to the designs we plan to make.
- Findings
- Concept B clearly performed better for participants in both English and Spanish tests, particularly:
- Better understanding of the task. In Concept A, users sometimes thought the image was already in the article, because of its preview on the suggested edit card and the preview in the article.
- More careful engagement and consideration of article contents and image metadata when evaluating image suitability to an article. We suspect this is because the article and metadata areas were clearly separated.
- Greater use of image details and article contents during caption composition. The Concept B caption experience shows the full article text.
- Other notes
- Most people misunderstood the task initially as uploading images when they opened the Suggested edits module, regardless of design. But expectation about self-sourcing images was immediately corrected for almost all participants as soon as they opened the task, and overall, Design B evoked better task comprehension and successful image evaluation than Design A.
- Newcomers would benefit from more user education around Commons and use of images on Wikipedia articles in their understanding of the broader editing ecosystem of Wikipedia and its sister projects.
- Users understood the purpose of the caption, and understood that it would be displayed with the image in the Wikipedia article.
- Spanish participants were far more interwiki-attuned than English participants. Potentially explore ways to better cater to multilingual/cross-wiki users.
- Spanish participants needed to translate Commons metadata to themselves in order to write good captions in Spanish.
- The current task requires several different skills, such as image evaluation, caption writing, and translation (for reading Commons metadata from a non-English Wikipedia). There may be benefits and opportunities for separating out this task into multiple tasks in future so that users don't have to have all the skills in order to complete the task.
- Concept B clearly performed better for participants in both English and Spanish tests, particularly:
- Changes
- Do not show a preview of the suggested image on the card in the suggested edits feed.
- The onboarding tooltips worked well to help users understand the task. But they could be overwhelming or cluttering for smaller screens. Though we prefer to implement tooltips, we have decided to implement fullscreen overlays for onboarding in Iteration 1, because tooltips will take a substantially longer time to engineer well. We may implement tooltips in a future iteration.
- Image and image metadata need to be next to each other -- when they are in separate parts of the screen, users become confused.
- Because it is very important that users consider image metadata when making their decision and writing the caption, we need to increase the visibility of the metadata with clearer calls to read it.
- Include simple validation on the free-text caption, such as enforcing a minimum length for captions, or not allowing the filename to be part of the caption.
- Provide samples of good and bad captions in the explanation for the caption step.
- When users reject a suggestion and give the reason for the rejection, some of the reasons should not remove the suggestion from the queue, e.g. "I do not know this topic". Perhaps another user will be able to confidently make the match.
- Example captions: below are three image/article pairings used in the test and the actual captions written by user testers. This gives us a sense of the sorts of captions we can expect from newcomers. They all seem to be generally on the right track, though they range from more like "alt text" to more like captions. There are also a couple that miss the mark.
-
Article: Edward Edwards (Royal navy officer)
"Drawing of the HMS Pandora by Robert Batty"
"The HMS Pandora, of which Admiral Edward Edwards captained in order to catch mutineers."
"An 1831 depiction of the HMS Pandora sinking"
"Royal Navy"
"Illustration of HMS Pandora sinking" -
Article: Fiesque
"Edouard Lalo, composer of the music of the Fiesque opera"
"Photo of Edouard Lalo, composer of Fiesque"
"Edouard Lalo - 1865"
"Eduard Lalo, around 1865"
These captions were translated from Spanish. -
Article: Bahaettin Rahmi Bediz
"A photo of Bahaettin Rahmi Bediz taken on 1st January 1924, pictured with his bicycle"
"Bahaettin Radmi Bediz on 1 January 1924"
"Rahmizadephoto1869"
"Rahnizade Bahaeddin Bediz. in uniform, standing next to a bicycle"
Az 1. iteráció végső tervei
Based on the user test findings above, we created the set of designs that we are implementing for Iteration 1. The best way to explore those designs is here in the Figma file, which always contains the latest version.
Measurement
Leading indicators
Whenever we deploy new features, we define a set of "leading indicators" that we will keep track of during the early stages of the experiment. These help us quickly identify if the feature is generally behaving as expected and allow us to notice if it is causing any damage to the wikis. Each leading indicator comes with a plan of action in case the defined threshold is reached, so that the team knows what to do.
| Indicator | Plan of Action |
|---|---|
| Revert rate | This suggests that the community finds the "add an image" edits to be unconstructive. If the revert rate for "add an image" is substantially higher than that of unstructured tasks, we will analyze the reverts in order to understand what causes this increase, then adjust the task in order to reduce the likelihood of edits being reverted. |
| User rejection rate | This can indicate that we are suggesting a lot of images that are not good matches. If the rejection rate is above 40%, we will QA the image suggestion algorithm and adjust thresholds or make changes to improve the quality of the recommendations. |
| Over-acceptance rate | This might indicate that some users aren't actually applying judgment to their tasks, meaning we might want to implement different quality gates. (What percentage of users who have a complete session have never rejected or skipped an image? What percentage of users who have five or more complete sessions have never rejected or skipped an image? How many sessions across all users contained only acceptances?) |
| Task completion rate | This might indicate that there’s an issue with the editing workflow. If the proportion of users who start the "add an image" task and complete it is lower than 55% (completion rate for "add a link"), we investigate where in the workflow users leave and deploy design changes to enable them to continue. |
We collected data on usage of "add an image" from deployment on November 29, 2021 until December 14, 2021. "Add an image" has only been made available on the mobile website, and is given to a random 50% of registrations on that platform (excluding our 20% overall control group). We therefore focus on mobile users registered after deployment. This dataset excluded known test accounts, and does not contain data from users who block event logging (e.g. through their ad blocker).
Overall: The most notable thing about the leading indicator data is how few edits have been completed so far: only 89 edits over the first two weeks. Over the first two weeks of "add a link", almost 300 edits were made. That feature was deployed to both desktop and mobile users, but that alone is not enough to make up the difference. The leading indicators below give some clues. For instance, task completion rate is notably low. We also notice that people do not do many of these tasks in a row, whereas with "add a link", users do dozens in a row. This is a prime area for future investigation.
Revert rate: We use edit tags to identify edits and reverts, and reverts have to be done within 48 hours of the edit. The latter is in line with common practices for reverts.
| Task type | N edits | N reverts | Revert rate |
|---|---|---|---|
| Add an image | 69 | 13 | 18,8% |
| Add a link | 209 | 4 | 1,9% |
| Copyedit | 93 | 19 | 20,4% |
The "add an image" revert rate is comparable to the copyedit revert rate, and it’s significantly higher than "add a link" (using a test of proportions). Because "add an image" has a comparable revert rate to unstructured tasks, the threshold described in the leading indicator table is not met, and we do not have cause for alarm. That said, we are still looking into why reverts are occurring in order to make improvements. One issue we've noticed so far is a large number of users saving edits from outside the "add an image" workflow. They can do this by toggling to the visual editor, but it is happening so much more often than for "add a link" that we think there is something confusing about the "caption" step that is causing users to wander outside of it.
Rejection rate: We define an edit “session” as reaching the edit summary dialogue or the skip dialogue, at which point we count whether the recommended image was accepted, rejected, or skipped. Users can reach this dialogue multiple times, because we think that choosing to go back and review an image or edit the caption is a reasonable choice.
| N accepted | % | N rejected | % | N skipped | % | N total |
|---|---|---|---|---|---|---|
| 53 | 41,7 | 38 | 29,9 | 36 | 28,3 | 127 |
The threshold in the leading indicator table was a rejection rate of 40%, and this threshold has not been met. This means that users are rejecting suggestions at about the same rate as we expected, and we don't have reason to believe the algorithm is underperforming.
Over-acceptance rate: We reuse the concept of an "edit session" from the rejection rate analysis, and count the number of users who only have sessions where they accepted the image. In order to understand whether these users make many edits, we measure this for all users as well as for those with multiple edit sessions and five or more edit sessions. In the table below, the "N total" column shows the total number of users with that number of edit sessions, and "N accepted all" the number of users who only have edit sessions where they accepted all suggested images.
| Edits | N total | N accepted all | % |
|---|---|---|---|
| ≥1 edit | 97 | 34 | 35,1 |
| ≥2 edits | 21 | 8 | 38,1 |
| ≥5 edits | 0 | 0 | 0,0 |
It is clear that over-acceptance is not an issue in this dataset, because there are no users who have 5 or more completed image edits, and for those who have more than one, 38% of the users accepted all their suggestions. This is in the expected range, given that the algorithm is expected usually to make good suggestions.
Task completion rate: We define "starting a task" as having an impression of "machine suggestions mode". In other words, the user is loading the editor with an "add an image" task. Completing a task is defined as clicking to save the edit, or confirming that you skipped the suggested image.
| N Started a Task | N Completed 1+ Tasks | % |
|---|---|---|
| 313 | 96 | 30,7 |
The threshold defined in the leading indicator table is "lower than 55%", and this threshold has been met. This means we are concerned about why users do not make their way through the whole workflow, and we want to understand where they get stuck or drop out.
Add an Image Experiment Analysis
Review the full report: "Add an Image" Experiment Analysis, March 2024.
"Add an image" to a Section
On wikis where it is deployed, newcomers have access to the “add an image” structured task from their Newcomer homepage. The existing "add an image" task suggests article-level image suggestions for entirely unillustrated articles. The image is then added to the article's lead section to help illustrate the article's concept as a whole.
There will be onboarding for the task, followed by a specific suggestion (that includes the reason why the image is suggested). If the newcomer decides the image is a good fit for the article's section, then they receive guidance on caption writing. The structured task provides image details, further caption writing help if needed, and then prompts the newcomer to review and publish the edit.
A partnership with the Structured Data team
This is one aspect of the Structured Data Across Wikipedia project. This new task will provide image suggestions that are relevant to a particular section within an article. This section-level image suggestion task will be considered a more difficult task that will only be suggested to newcomers who are successful at the current article-level “add an image” task.
Read more about the Structured Data Across Wikimedia team’s work here: Section-level image suggestions.Hypotheses
- Structured editing experience will lower the barrier to entry and thereby engage more newcomers, and more kinds of newcomers than an unstructured experience.
- Newcomers with the workflow will complete more edits in their first session, and be more likely to return to complete more.
- Adding a new type of “add an image” task will increase the number of image suggestions available for each language.
Scope
Key deliverable: completion of the Section-Level Images (newcomer structured task) Epic (T321754).
Design
Screenshots from two mobile designs can be seen on the right. Section-level "add an image" designs are visible in this Figma file.
User testing
Initial user testing of designs was completed in April 2023 in English. Six testers were given instructions, asked to experiment with this section-level design prototype, and evaluate the easiness and enjoyableness of the task. Testers ranged in age from 18 to 55, were from 5 different countries, and most had not previously edited Wikipedia. Three of the testers were male, and three were female. They were asked to review two image suggestions, one was a "good" image suggestion and one was a "bad" image suggestion.
Some key take-aways from the user testing:
- The onboarding was understood by all participants: “Clear, easy to understand, straightforward.”
- Participants seemed to understand the task and that they needed to focus on the section when making their decision. One participant accepted a "bad" image suggestion:
- 2/6 participants accepted the "good" image suggestion (3 rejected the image, 1 participant skipped it).
- 5/6 participants rejected the "bad" image suggestion.
- Note: the algorithm that powers image suggestions should provide more "good" suggestions than "bad" suggestions, but the algorithm isn't perfect, which is why this task needs human review and is suitable for new editors.
- Some participants mentioned wanting more than one image to review per section: “One suggestion is not enough, maybe you can present more images to choose from so I can select the most appropriate image.”
Algorithm evaluation
The Growth team aims to ensure structured tasks for newcomers provide suggestions to newcomers that are accurate at least 70% of the time. We have conducted several rounds of evaluation to review the accuracy of the image suggestion algorithm.
In the initial evaluation, suggestions were still fairly inaccurate (T316151). Many images were suggested in sections that shouldn't have images, or the image related to one topic in the section but didn't represent the section as a whole. Based on feedback from this evaluation, the Structured Data team continued to work on logic and filtering improvements to ensure suggestions were more accurate (T311814).
In the second evaluation, on average, suggestions were much better (T330784). Of course results varied widely by language, but the average accuracy was fairly high for many wikis. However, there are some wikis in which the suggestions are still not good enough to present to newcomers, unless we only utilized the "good intersection" suggestions. That would severely limit the number of image suggestions available, so we are looking instead at increasing the confidence score of the suggestions we provide.
| wiki | % good alignment | % good intersection | % good p18/p373/lead image | total rated suggestions |
|---|---|---|---|---|
| arwiki | 71 | 91 | 54 | 511 |
| bnwiki | 28 | 86 | 26 | 204 |
| cswiki | 41 | 77 | 23 | 128 |
| enwiki | 76 | 96 | 75 | 75 |
| eswiki | 60 | 67 | 48 | 549 |
| frwiki | N.A. | N.A. | 100 | 3 |
| idwiki | 66 | 81 | 37 | 315 |
| ptwiki | 92 | 100 | 84 | 85 |
| ruwiki | 73 | 89 | 69 | 250 |
| overall | 64 | 86 | 57 | 2,120 |
It's good to note that this task will be Community configurable via Special:EditGrowthConfig. We hope to improve the task to the point that it can work well on all wikis, but communities will ultimately decide if this task is a good fit and should remain enabled.
Community consultation
A discussion with Growth pilot wikis is planned for May 2023 (T332530). We will post designs, plans, and questions at Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, Spanish Wikipedia, as well as share further details here on MediaWiki.
Measurement
We decided to not deploy this feature in an A/B test and instead allow users to opt in to using it through the task selection dialogue on the Newcomer Homepage, or through the "Try a new task" post-edit dialogue that's part of the Levelling Up features. This meant that we focused on measuring a set of leading indicators to understand if the task was performing well. More details about this can be found in T332344.
We pulled data from Growth's KPI Grafana board from 2023-07-31 to 2023-08-28 (available here) for Section-Level and Article-Level suggestions. This timeframe was chosen because it should not be as much affected by the June/July slump in activity that we often see on the wikis. The end date is limited by the team shutting off image suggestions in late August (see T345188 for more information). This data range covers four whole weeks of data. While this dataset does not allow us to separate it by platform (desktop and mobile web), nor does it allow us more fine-grained user filtering, it was easily available and provides us with a reasonably good picture that's sufficient for this kind of analysis at this time. Using this dataset we get the overview of task activity shown in Table 1.
| Task type | Task clicks | Saved edits | Reverts | Task completion rate | Revert rate |
|---|---|---|---|---|---|
| Section-level | 1 149 | 688 | 60 | 58,1% | 9,0% |
| Article-level | 6 800 | 2 414 | 105 | 35,5% | 4,3% |
We see from the table that the task completion rate for section-level image suggestions is high, on par with Add a Link (ref) when that was released. This is likely because the section-level task is something users either choose themselves in the task selection dialogue, or choose to try out after being asked through the "Try a new task" dialogue that's part of Levelling Up. Those users are therefore likely already experienced editors and don't have too many issues with completing this task.
The revert rate for the section-level task is higher than the article-level task. We don't think this difference is cause for concern for two reasons. First, it might be harder to agree that an article is clearly improved by adding a section-level image compared to adding an article-level image. Secondly, articles suggested for section-level images already have a lead image, which might mean that they're also longer and have more contributors scrutinizing the edit.