Herramientas de moderación/Automoderador
|
Automoderator
|
Automoderador es una herramienta automática contra el vandalismo en desarrollo por el equipo de Moderator Tools. Permite a los administradores habilitar y configurar la reversión automática de las malas modificaciones basándose en la puntuación de un modelo de aprendizaje automático. Automoderador se comporta de manera similar a los bots anti-vandalismo como ClueBot NG, SeroBOT, Dexbot y Salebot, pero lo hace disponible para todas las comunidades de idiomas. Consulte Extension:AutoModerator para obtener detalles técnicos sobre la extensión AutoModerator.
Este trabajo se está estudiando actualmente como parte de la hipótesis WE1.3.1 WMF: Si permitimos personalizar el comportamiento de Automoderator y hacemos cambios basados en los comentarios del proyecto piloto en el Q1, más moderadores estarán satisfechos con su conjunto de características y confiabilidad, y optarán por usarlo en su proyecto de Wikimedia, aumentando así la adopción del producto.
Las comunidades ahora pueden solicitar que se implemente Automoderator en su Wikipedia.
Actualizaciones
- octubre de 2024 - A dashboard is now available to track metrics about Automoderator's behaviour on the projects on which it is deployed.
- octubre de 2024 - Hemos creado nuevas bases de datos disponibles para probar el riesgo del modelo multilingüe. Prevemos que este modelo debería ofrecer mejores resultados que el modelo de lenguaje agnóstico que se utiliza actualmente, pero necesitamos comentarios para tomar una decisión con fundamento.
- septiembre de 2024 - La Wikipedia en indonesio y la ucraniana han comenzado a utilizar Automoderator (Automoderator).
- junio de 2024 - La Wikipedia turca comienza a utilizar Automoderator (Otomoderatör).
- febrero de 2024 - Se han publicado Diseños para la versión inicial de las páginas de destino y configuración. ¡Los pensamientos y sugerencias son bienvenidos!
- febrero de 2024 - Hemos publicado resultados iniciales de nuestro proceso de prueba.
- octubre de 2023 - Estamos buscando aportes y comentarios sobre nuestro plan de medición, para decidir qué datos debemos usar para evaluar el éxito de este proyecto, y hemos puesto a disposición datos de prueba para recopilar aportes sobre la toma de decisiones de Automoderator.
- agosto de 2023 - Recientemente presentamos este proyecto, y otros proyectos centrados en los moderadores, en Wikimania. Puede encontrar la grabación de la sesión aquí.
Motivación
En los proyectos Wikimedia se realizan un número considerable de ediciones que deberían deshacerse sin ambigüedad, devolviendo una página a su estado anterior. Las personas patrulleras y administradoras tienen que dedicar mucho tiempo a revisar y revertir manualmente estas ediciones, lo que contribuye a que en muchas wikis grandes se tenga la sensación de que hay una cantidad abrumadora de trabajo que requiere atención en comparación con el número de personas moderadoras activas. Nos gustaría reducir estas cargas, liberando tiempo de las personas moderadoras para trabajar en otras tareas.
Muchos sitios web de comunidades en línea, como Reddit, Twitch y Discord, ofrecen funciones de "automoderación", mediante las cuales la comunidad puede configurar una combinación de acciones de moderación automatizada específicas y algorítmicas. En Wikipedia, AbuseFilter proporciona una funcionalidad específica basada en reglas, pero puede ser frustrante cuando quienes moderan tienen que, por ejemplo, definir minuciosamente una expresión regular para cada variación ortográfica de una grosería. También es complicado y fácil de romper, lo que hace que muchas comunidades eviten utilizarlo. Al menos una docena de comunidades disponen de bots antivandalismo, pero son mantenidos por la comunidad, requieren conocimientos técnicos locales y suelen tener configuraciones opacas. Estos bots también se basan en gran medida en el dañino modelo ORES, que no se ha entrenado en mucho tiempo y tiene un soporte lingüístico limitado.
Objetivos
- Reducir los retrasos en la moderación impidiendo que las malas ediciones entren en las colas de quienes las supervisan
- Dar confianza a quienes moderan de que la automoderación es fiable y no está produciendo falsos positivos significativos.
- Asegurarse de que las personas moderadoras, atrapadas en un falso positivo, tengan vías claras para señalar el error / que se restablezca su edición.
Investigación del diseño
Para conocer el proceso de investigación y diseño por el que hemos pasado para definir el comportamiento y las interfaces de Automoderador, consulta /Design.
Modelo
Automoderator utiliza los modelos de aprendizaje automático de "revertir el riesgo" desarrollados por el equipo de Wikimedia Foundation Research. Existen dos versiones de este modelo:
- Un modelo multilingüe, con soporte para 47 idiomas.
- Un modelo agnóstico del lenguaje. This is the model which Automoderator currently uses, while we test the Multilingual model to better understand its performance.
Estos modelos pueden calcular una puntuación para cada revisión que denota la probabilidad de que la edición deba revertirse. Each community can set their own threshold for this score, above which edits are reverted (see below).
Los modelos actualmente sólo apoyan Wikipedia, pero podrían ser entrenados en otros proyectos de Wikimedia en el futuro. Además, actualmente solo están capacitados para el espacio de nombres principal (artículos). Nos gustaría investigar la re-entrenamiento del modelo en una base continua como falsos positivos son reportados por la comunidad. (T337501)
Antes de avanzar con este proyecto, ofrecimos oportunidades para probar el modelo de lenguaje-agnóstico con las modificaciones recientes, para que los patrulleros pudieran entender cuán exacto es el modelo y si se sentían seguros de usarlo de la manera que propusimos. The details and results of this test can be found at Moderator Tools/Automoderator/Testing.
También estamos probando el modelo multilingüe para saber si es preferible utilizarlo en vez del modelo de lenguaje agnóstico.
See Moderator Tools/Automoderator/Multilingual testing to help us review the model's scores.
¿Cómo funciona?
 | To request that Automoderator be deployed on your Wikimedia project, please see Extension:AutoModerator/Deploying. |
Automoderador marca cada edición principal del espacio de nombres en un proyecto de Wikimedia, obtiene una puntuación para esa edición en función de la probabilidad de que se reverse, y revertir cualquier edición que tenga un puntaje por encima de un umbral que puede ser configurado por los administradores locales. La inversión se realiza por una cuenta del sistema, por lo que se ve y se comporta como otras cuentas: tiene una página de Contribuciones, página de usuario, aparece en los historias de páginas, etc.
Para reducir los falsos positivos y otros comportamientos indeseables, Automoderator nunca revertirá los siguientes tipos de modificaciones:
- Un editor que revoca una de sus propias ediciones
- Reversiones de una de las acciones del Automoderador
- Los hechos por administradores o bots
- Creación de nuevas páginas
Configuración
Automoderator is configured via a Configuración comunitaria 2.0 form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). Después de la implementación, Automoderator no comenzará a ejecutarse hasta que un administrador local lo active a través de la página de configuración. Además de activar o desactivar Automoderator, hay una serie de configuraciones que se pueden personalizar para satisfacer las necesidades de su comunidad, incluyendo el umbral de revertir, las banderas de edición minor y bot, y si Automoderator envía un mensaje de página de discusión después de revertir (ver más abajo).
Ciertas configuraciones, como el nombre de usuario de Automoderator, solo pueden ser realizadas por los desarrolladores de MediaWiki. Para solicitar dicho cambio, o para solicitar otros tipos de personalización, por favor archivo de una tarea en Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant Mensaje del sistema (Automoderator's strings all begin with automoderator-).
Niveles de precaución
Una de las configuraciones más importantes a establecer es el "nivel de precaución" o "umbral" - esto determina la compensación que el Automoderador hará entre la cobertura (cuántas malas modificaciones se revertiron) y la precisión (cuán frecuentemente cometerá errores). Cuanto mayor sea el nivel de precaución, menos ediciones serán revertidas, pero mayor será la precisión; cuanto menor sea el nivel, más ediciones serán invertidas, pero menor será la precision. Recomendamos comenzar con un alto nivel de precaución y disminuir gradualmente con el tiempo a medida que su comunidad se siente cómoda con cómo se comporta Automoderator.
Página de discusión
Para asegurar que los editores reversivos que estaban haciendo un cambio de buena fe están bien equipados para entender por qué fueron reversivos, y para informar falsos positivos, Automoderator tiene una característica opcional para enviar a cada usuario reversivo un mensaje de página de discusión.
Este mensaje se puede traducir en TranslateWiki y personalizar localmente a través del mensaje del sistema Automoderator-wiki-revert-message.
El texto predeterminado (en inglés) se lee de la siguiente manera:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
Si el mismo usuario recibe otra reversión poco después de la primera, se le enviará un mensaje más breve bajo el mismo encabezado de sección. Texto por defecto (en inglés):
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Informes de falsos positivos
Debido a que ningún modelo de aprendizaje automático es perfecto, Automoderator a veces accidentalmente revertirá las buenas ediciones. Cuando esto sucede queremos reducir la fricción para el usuario que fue revertido, y darles claros pasos siguientes. As such, an important step in configuring Automoderator is creating a false positive reporting page. Esta es una página wiki normal, a la que Automoderator se vinculará en el mensaje de la página de discusión, y en los historias de la página y las contribuciones del usuario, como una acción adicional posible para una edición, junto con Undo y / o Thank.
Metrics
You can track data about how Automoderator is behaving on Wikimedia projects at the Activity Dashboard.
For data on the expected number of reverts that Automoderator would make per day on your project, see the testing subpage. Similar data for the multilingual model (not currently in use) can be found at /Multilingual testing.
Usage
Automoderator is currently deployed on the following Wikimedia projects:
| Project | Deployment request | Username | Configuration |
|---|---|---|---|
| Wikipedia en indonesio | T365792 | Automoderator | CommunityConfiguration |
| Wikipedia en turco | T362622 | Otomoderatör | CommunityConfiguration |
| Wikipedia en ucraniano | T373823 | Автомодератор | CommunityConfiguration |
| Wikipedia en vietnamita | T378343 |