Moderator Tools/Automoderator/nl
|
Automoderator
|
Automoderator is een geautomatiseerd anti-vandalisme hulpmiddel dat wordt ontwikkeld door het team Moderator Tools. Het stelt moderators in staat om automatische preventie of omzetting van slechte bewerkingen op basis van een machine learning-model te configureren. Automoderator werkt als anti-vandalisme bots zoals ClueBot NG, SeroBOT, Dexbot en Salebot, maar maken deze beschikbaar voor alle taalgemeenschappen. Zie Extension:AutoModerator voor technische details over de extensie AutoModerator.
Dit werk wordt nu gevolgd als onderdeel van de WE1.3.1 WMF-hypothese: Als we extra aanpassing van het gedrag van Automoderator mogelijk maken en wijzigingen aanbrengen op basis van feedback van proefprojecten in Q1, zullen er meer moderators tevreden zijn met de functieset en betrouwbaarheid, en zullen ze ervoor kiezen om het op hun Wikimedia-project te gebruiken, waardoor de acceptatie van het product toeneemt.
Gemeenschappen kunnen nu aanvragen om Automoderator op hun Wikipedia te implementeren.
Updates
- oktober 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- oktober 2024 - We hebben nieuwe datasets gemaakt om het meertalige Revert Risk-model te testen. Wij verwachten dat dit model beter moet presteren dan het huidige model 'Language Agnostic', maar hebben uw feedback nodig om een betere beslissing te kunnen nemen.
- september 2024 - De Indonesische en Oekraïense Wikipedia's beginnen Automoderator te gebruiken (Indonesië en Oekraïne).
- juni 2024 - De Turkse Wikipedia begint met het gebruiken van Automoderator. (Otomoderatör).
- februari 2024 - Er zijn ontwerpen gepost voor de eerste versie van de landing- en configuratiepagina's. Wij krijgen graag ideeën en suggesties.
- februari 2024 - We hebben de eerste resultaten van ons testproces doorgegeven.
- oktober 2023 - We zijn op zoek naar input en feedback over ons meetplan, om te beslissen welke gegevens we moeten gebruiken om het succes van dit project te evalueren, we hebben testgegevens beschikbaar gesteld om input te verzamelen over de besluitvorming van Automoderator.
- augustus 2023 - We hebben dit project en andere projecten voor moderators onlangs op Wikimania gepresenteerd. U kunt de opgenomen sessie hier beluisteren.
Motivatie
Een aanzienlijk aantal bewerkingen zijn gedaan aan Wikimedia-projecten die zonder twijfel ongedaan gemaakt moeten worden, waardoor een pagina terugkeert naar haar vorige staat. Patrouilleurs en administrators moeten veel tijd besteden aan het handmatig beoordelen en omkeren van deze bewerkingen, wat bijdraagt aan een gevoel op veel grotere wiki's dat er een overweldigend aantal werkzaamheden zijn die aandacht vereisen in vergelijking met het aantal actieve moderators. Wij willen deze lasten verminderen en de moderator tijd geven om aan andere taken te werken.
Veel online community websites, waaronder Reddit, Twitch en Discord, bieden 'automatische moderatie' functionaliteit, waarbij community moderators een mix van specifieke en algoritmische geautomatiseerde moderatieacties kunnen opzetten. Op Wikipedia biedt AbuseFilter (Misbruikfilter) specifieke, op regels gebaseerde functionaliteit, maar kan frustrerend zijn wanneer moderators bijvoorbeeld nauwgezet een reguliere expressie moeten definiëren voor elke spellingsvariant van een scheldwoord. Het is ook ingewikkeld en gemakkelijk te breken, waardoor veel gemeenschappen het gebruik ervan vermijden. Minstens een dozijn gemeenschappen hebben anti-vandalisme bots, maar deze worden door de gemeenschap onderhouden, vereisen lokale technische expertise en hebben meestal ondoorzichtige configuraties. Deze bots zijn ook grotendeels gebaseerd op het ORES-schade model, dat al lang niet is getraind en beperkte taalondersteuning heeft.
Doelen
- Verminder achterstanden bij het modereren door te voorkomen dat slechte bewerkingen in de wachtrijen van de patrollers terechtkomen.
- Geef moderators vertrouwen dat automatische moderatie betrouwbaar is en geen significante valse positieve resultaten oplevert.
- Zorg ervoor dat redacteuren die in een vals positief zijn gevangen, duidelijke manieren hebben om de fout te markeren / hun bewerking opnieuw te laten instellen.
Ontwerponderzoek
Om meer te lezen over het onderzoeks- en ontwerpproces dat we hebben doorlopen om het gedrag en de interfaces van Automoderator te definiëren, zie /Design.
Model
Dit project maakt gebruik van de nieuwe modellen voor het 'terugdraairisico' die zijn ontwikkeld door het team Wikimedia Foundation Research. Er zijn twee versies van dit model:
- Een meertalig model, met ondersteuning voor 47 talen.
- Een taal-agnostisch model. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Deze modellen kunnen een score berekenen voor elke revisie die de kans geeft dat de bewerking moet worden teruggedraaid. Elke gemeenschap kan zijn eigen drempel voor deze score instellen, waarboven bewerkingen worden teruggedraaid (zie hieronder).
De modellen ondersteunen nu alleen Wikipedia, maar kunnen worden getraind op andere Wikimedia-projecten. Bovendien zijn zij nu alleen opgeleid op de hoofd namespace (article). We willen graag onderzoeken hoe we het model continu opnieuw kunnen trainen, zodra de gemeenschap valse positieve resultaten rapporteert. (T337501)
Voordat we verder gingen met dit project hebben we de mogelijkheden geboden om het model te testen met recente wijzigingen, zodat de patrouilleurs konden begrijpen hoe nauwkeurig het model is en of ze zich ervan overtuigd voelden om het te gebruiken op de manier die we hadden voorgesteld. De details en resultaten van deze test zijn te vinden op Moderator Tools/Automoderator/Testing/nl.
We testen ook het model 'Multilingual' om te begrijpen of het beter is om het te gebruiken in plaats van het model 'Language Agnostic'. Zie Moderator Tools/Automoderator/Multilingual testing/nl om ons te helpen de scores van het model te beoordelen.
Hoe het werkt
 | Om aan te vragen dat Automoderator wordt ingezet op uw Wikimedia-project, zie Extension:AutoModerator/Deploying. |
Automoderator geeft een score voor elke bewerking in de hoofd namespace op een Wikimedia-project, haalt een score op voor die bewerking op basis van hoe waarschijnlijk het is dat deze wordt teruggedraaid, en draait alle bewerkingen terug die boven een drempelwaarde scoren die kan worden geconfigureerd door lokale beheerders. Het terugdraaien wordt uitgevoerd door een systeemaccount, dus het ziet eruit en gedraagt zich als andere accounts - het heeft een bijdragepagina, gebruikerspagina, wordt weergegeven in de paginageschiedenis, enz.
Om valse positieven en ander ongewenste gedrag te verminderen, zal Automoderator nooit de volgende soorten bewerkingen terugdraaien:
- Een redacteur die een van zijn eigen bewerkingen ongedaan maakt
- Een actie van de Automoderator zelf terugdraaien
- De door beheerders of bots uitgevoerde bewerkingen
- Een nieuw aangemaakt pagina verwijderen
Configuratie
Automoderator wordt geconfigureerd via een formulier Community Configuration dat zich bevindt op Special:CommunityConfiguration/AutoModerator, die de pagina MediaWiki:AutoModeratorConfig.json bewerkt (de laatste kan op de volglijst worden gezet zodat updates in uw volglijst verschijnen). Na de implementatie zal Automoderator pas beginnen te werken als een lokale beheerder deze via de configuratiepagina inschakelt. Naast het aan- of uitzetten van Automoderator zijn er een reeks configuraties die kunnen worden aangepast aan de behoeften van uw gemeenschap, waaronder de terugdraai drempelwaarde, de kleine en bot-edit vlaggen en of Automoderator een overlegpagina bericht stuurt na het terugdraaien (zie hieronder).
Bepaalde configuraties, zoals de gebruikersnaam van Automoderator, kunnen alleen worden uitgevoerd door MediaWiki-ontwikkelaars. Om een dergelijke wijziging aan te vragen, of om andere soort aanpassing te vragen: aanmaken van een taak op Phabricator.
Lokalisatie van Automoderator moet voornamelijk worden uitgevoerd via TranslateWiki, maar lokale overrides kunnen ook worden gemaakt door het bewerken van de relevante Systeembericht (Automoderator's teksten beginnen allemaal met automoderator-).
Waarschuwingsniveaus
Een van de belangrijkste configuraties die moet worden ingesteld is het 'Caution level / Waarschuwingsniveau' of 'threshold / drempelwaarde' - dit bepaalt het compromis dat de Automoderator zal maken tussen de dekking (hoeveel slechte bewerkingen worden teruggedraaid) en de nauwkeurigheid (hoe vaak hij fouten maakt). Hoe hoger het waarschuwingsniveau, hoe minder bewerkingen er worden teruggedraaid, maar hoe hoger de nauwkeurigheid; Hoe lager het waarschuwingsniveau, hoe meer bewerkingen er worden teruggedraaid, maar hoe lager de nauwkeurigheid. We raden aan om met een hoog niveau te beginnen en het langzamerhand te verlagen naarmate uw gemeenschap zich comfortabel voelt met hoe Automoderator zich gedraagt.
Bericht overlegpagina
Om ervoor te zorgen dat redacteuren die te goede trouw een bewerking deden, goed begrijpen waarom een bewerking is teruggedraaid, en om valse positieve berichten te rapporteren, heeft Automoderator een optionele functie om bij een terugdraaiing een bericht te zetten op de overlegpagina van die redacteur.
Dit bericht kan in TranslateWiki worden vertaald en lokaal aangepast worden via het systeembericht Automoderator-wiki-revert-message.
De standaard (Engelse) tekst luidt als volgt:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
Als dezelfde gebruiker kort na de eerste een andere terugdraaiing ontvangt, krijgt die gebruiker een korter bericht ontvangen onder dezelfde sectiekop. Standaardtekst (Engels):
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Valse positieven
Omdat geen enkel zelflerend machine vertaalmodel perfect is, zal Automoderator soms per ongeluk goede bewerkingen terugdraaien. Als dit gebeurt willen we de ergernis voor de betreffende gebruiker verminderen en de volgende stappen duidelijk aangeven. Als zodanig is het maken van een fout-positieve rapportagepagina een belangrijke stap bij het configureren van Automoderator. Dit is een normale wikipagina, waarop Automoderator in het overlegpaginabericht en in de paginageschiedenis en de gebruikersbijdragen zal worden gekoppeld als een aanvullende mogelijke actie voor een bewerking, naast 'Ongedaan maken' en/of 'Bedanken'.
Meetgegevens
U kunt gegevens over hoe Automoderator zich gedraagt op Wikimedia-projecten volgen op dit Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.
Gebruik
Automoderator wordt nu ingezet op de volgende Wikimedia-projecten:
| Project | Verzoek tot inzet | Gebruikersnaam | Configuratie |
|---|---|---|---|
| Indonesische Wikipedia | T365792 | Automoderator | CommunityConfiguration |
| Turkse Wikipedia | T362622 | Otomoderatör | CommunityConfiguration |
| Oekraïense Wikipedia | T373823 | Автомодератор | CommunityConfiguration |
| Vietnamese Wikipedia | T378343 |