Ferramentas de moderação/Automoderador
|
Automoderator
|
Automoderator é uma ferramenta automatizada antivandalismo em desenvolvimento pela equipe Moderator Tools. Ele permite que os administradores habilitem a reversão automatizada de edições incorretas com base no modelo de aprendizado de máquina. O Automoderator se comporta de maneira semelhante aos bots antivandalismo, como ClueBot NG, SeroBOT, Dexbot e Salebot, mas é disponibilizado para todas as comunidades. Consulte Extension:AutoModerator para mais detalhes técnicos sobre a extensão AutoModerator.
Este trabalho está atualmente sendo acompanhado como parte da WE1.3.1 WMF hypothesis: Se permitirmos personalização adicional do comportamento do Automoderator e fizermos alterações com base no feedback do projeto piloto no primeiro trimestre, mais moderadores ficaram satisfeitos com os recursos e confiabilidade e optarão por usá-lo em seu projeto Wikimedia, aumentando assim a adoção do produto.
As comunidades podem solicitar que o Automoderator seja implantado em sua wiki.
Atualizações
- outubro de 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- outubro de 2024 - We have made new datasets available to test the Multilingual Revert Risk model. We anticipate that this model should have better performance than the Language Agnostic model which is currently in use, but need your feedback to make an informed decision.
- setembro de 2024 - As wikipédias indonésia, ucraniana e, turca ja começaram a usar o Automoderator.
- junho de 2024 - Turkish Wikipedia starts using Automoderator (Otomoderatör).
- fevereiro de 2024 - Os designs foram postados para a versão inicial das páginas iniciais e de configuração. Pensamentos e sugestões são bem-vindos!
- fevereiro de 2024 - Publicamos os resultados iniciais do processo de teste.
- outubro de 2023 - Buscamos informações e feedback para o plano de medição, e assim decidir quais dados devemos usar para avaliar este projeto e, testamos dados disponíveis para coletar informações sobre a tomada de decisões do Automoderator.
- agosto de 2023 - Recentemente apresentamos na Wikimania este projeto e outros focados em moderadores. Você pode encontrar a gravação aqui.
Motivação
Um número substancial de edições equivocadas são feitas em projetos da Wikimedia que deveriam ser desfeitas, assim revertendo a página ao seu estado anterior. Os patrulheiros e administradores gastam muito tempo revisando/revertendo manualmente essas edições, passando a sensação de haver nas wikis maiores mais trabalho que a quantidade de moderadores ativos. Gostaríamos de reduzir esses encargos, liberando tempo do moderador para trabalhar em outras tarefas.
Muitos sites de comunidades online, incluindo Reddit, Twitch e Discord, fornecem funcionalidade de “moderação automática”, por meio da qual os moderadores da comunidade podem configurar uma combinação de ações automatizadas específicas. Na Wikipedia, o AbuseFilter fornece funcionalidades específicas baseadas em regras, mas pode ser frustrante quando os moderadores precisam, por exemplo, definir dolorosamente uma expressão regular para cada variação ortográfica de um palavrão. Também este é fácil de quebrar, fazendo com que muitas comunidades evitem usá-lo. Pelo menos uma dúzia de comunidades possuem bots antivandalismo, mas estes são mantidos pela comunidade, exigindo conhecimento técnico local e geralmente com configurações obscuras. Esses bots também se baseiam em grande parte no modelo prejudicial ORES, que não é treinado há muito tempo e tem suporte linguístico limitado.
Metas
- Reduzir os atrasos de moderação evitando que edições incorretas entrem nas filas dos patrulheiros.
- Dar aos moderadores a confiança de que a moderação automática é respeitável e não produz falsos positivos significativos.
- Certifique-se de que os editores pegos em um falso positivo possam facilmente informar o erro e ter suas edições restabelecidas.
Pesquisa sobre design
Para saber mais sobre o processo de pesquisa e design pelo qual passamos para definir o comportamento e as interfaces do Automoderator, consulte /Design.
Modelo
O Automoderator usa modelos de aprendizado de máquina de 'risco de reversão' desenvolvidos pela equipe de pesquisa da Fundação Wikimedia. Existem duas versões deste modelo:
- O modelo multilíngue com suporte de 47 idiomas.
- Um modelo independente de linguagem. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Esses modelos podem calcular uma pontuação para cada revisão denotando a probabilidade de a edição ser revertida. Each community can set their own threshold for this score, above which edits are reverted (see below).
O modelo atualmente suporta apenas a Wikipédia, mas poderá ser treinado em outros projetos da Wikimedia no futuro. Além disso, atualmente eles são treinados apenas no namespace principal (artigo). We would like to investigate re-training the model on an ongoing basis as false positives are reported by the community. (T337501)
Antes de avançarmos com este projeto, oferecemos oportunidades para testar o modelo independente de linguagem em relação às edições recentes, para que os patrulheiros pudessem entender o quão preciso é o modelo e se eles se sentem confiantes em usá-lo da maneira que propusemos.
The details and results of this test can be found at Moderator Tools/Automoderator/Testando.
We are also testing the Multilingual model to understand if it is preferable to use it instead of the Language Agnostic model.
See Moderator Tools/Automoderator/Multilingual testing to help us review the model's scores.
Como funciona
 | To request that Automoderator be deployed on your Wikimedia project, please see Extensão:AutoModerador/Implantação. |
O Automoderator pontua cada edição de namespace principal em um projeto da Wikimedia, obtém uma pontuação para essa edição com base na probabilidade de ela ser revertida e reverte quaisquer edições cuja pontuação esteja acima de um limite que pode ser configurado pelos administradores locais. A reversão é realizada por uma conta do sistema, portanto ela se parece e se comporta como outras contas - possui uma página de Contribuições, uma página de Usuário, aparece no histórico da página, etc.
Para reduzir falsos positivos e outros comportamentos indesejáveis, o Automoderator nunca reverterá os seguintes tipos de edições:
- Um editor reverte uma de suas próprias edições
- Reverte uma das ações do Automoderator
- Aqueles feitos por administradores ou bots
- Novas páginas criadas
Configuração
Automoderator is configured via a Community Configuration form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). Após a implantação, o Automoderator ainda não começará a ser executado até que um administrador local o ative por meio da página de configuração. Além de ativar/desativar o Automoderator, há uma variedade de configurações que podem ser personalizadas para atender às necessidades da comunidade, incluindo o limite de reversão, sinalizadores de edição secundária e de bot e se o Automoderator envia uma mensagem da página de discussão após a reversão (veja abaixo) .
Certain configuration, such as Automoderator's username, can only be performed by MediaWiki developers. To request such a change, or to request other kinds of customisation, please file a task on Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant Mensagem do sistema (Automoderator's strings all begin with automoderator-).
Níveis de cuidado
Uma das configurações mais importantes a definir é o 'Nível de cuidado' ou 'limiar' - isso determina a compensação que o Automoderador fará entre cobertura (quantas edições incorretas serão revertidas) e precisão (com que frequência cometerá erros).
Quanto maior o nível de cuidado, menos edições serão revertidas, mas maior será a precisão; quanto menor o nível de cuidado, mais edições serão revertidas, mas menor será a precisão.
Recomendamos começar com um alto nível de cautela e diminuir gradualmente ao longo do tempo, à medida que sua comunidade se sentir confortável com o comportamento do Automoderator.
Mensagem na página de discussão
Para garantir que os editores revertidos que estavam fazendo uma mudança de boa fé estejam bem equipados para entender por que foram revertidos e para relatar falsos positivos, o Automoderator tem um recurso opcional para enviar a cada usuário revertido uma mensagem da página de discussão.
Esta mensagem pode ser traduzida no TranslateWiki e personalizada localmente através da mensagem do sistema Automoderator-wiki-revert-message.
O texto padrão (em inglês) é o seguinte:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
Se o mesmo usuário receber outra reversão logo após a primeira, ele receberá uma mensagem mais curta sob a mesma seção. Texto padrão (em inglês):
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Indicar falsos positivos
Como nenhum modelo de aprendizado de máquina é perfeito, o Automoderator às vezes reverte acidentalmente boas edições. Quando isso acontecer, queremos reduzir o atrito para o usuário que foi revertido e fornecer a ele as próximas etapas claras. As such, an important step in configuring Automoderator is creating a false positive reporting page.
Esta é uma página wiki normal, que será vinculada pelo Automoderator na mensagem da página de discussão e no histórico da página e nas contribuições do usuário, como uma ação adicional possível para uma edição, junto com Desfazer e/ou Agradecer.
Metrics
You can track data about how Automoderator is behaving on Wikimedia projects at the Activity Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.