Croissance/Expérimentation de l'activation constructive
|
Expérimentation de l'activation constructive
 Expérimentation visant à augmenter le pourcentage de nouveaux titulaires de comptes qui contribuent de manière constructive
|
Dans le cadre du Plan annuel 2024/2025 de l'équipe Croissance, l'équipe explorera différentes manières d'« accroître l'activation constructive sur mobile ».
Cette page de projet documente l'expérimentation de l'équipe Croissance liée au Plan annuel 2024-2025 de la Fondation Wikimedia, en particulier le résultat clé Wiki Experiences 1.2.
État actuel
- juin 2024 - planification et partage de l'hypothèse initiale
- septembre 2024 - tests utilisateurs de prototypes de concept
- novembre 2024 - commencer une consultation communautaire avec nos wikis pilotes
- décembre 2024 - conduct a temporary test at pilot wikis
- Suivant - conduct A/B test at pilot wikis
Résumé
Les expériences actuelles d’édition de pages entières nécessitent trop de contexte, de patience, d’essais et d’erreurs pour que de nombreux novices puissent contribuer de manière constructive. To support a new generation of volunteers, we will increase the number and availability of smaller, structured, and more task-specific editing workflows (e.g. Vérification des modifications and Structured Tasks). The Growth team will primarily focus on Structured Tasks, while working closely with the Editing team to ensure our work integrates well with Edit Check.
Ce projet vise à résoudre le problème suivant des utilisateurs :
Commencer à contribuer sur Wikipédia est difficile et particulièrement frustrant sur les appareils mobiles. Je veux que l'interface d'édition fournisse la politique et les conseils techniques dont j'ai besoin, pour que mes efforts initiaux ne soient pas révoqués.
Ce projet vise à obtenir les résultats suivants :
En tant que novice bénévole de Wikipédia, je me sens en confiance et enthousiaste à l'idée de contribuer au mouvement Wikimedia en éditant des articles de Wikipédia. Les outils fournis me guident pas à pas, limitent les distractions et me permettent d'apprendre progressivement pour pouvoir contribuer avec succès sur mon appareil mobile.
Contexte
Comment ce travail s’inscrit-il dans le plan annuel de la Fondation Wikimedia ?
Wiki Experiences 1 : Objectif expérience du contributeur
Dans le cadre de l'Objectif d'infrastructure de la Fondation Wikimedia, et au sein du groupe d'objectifs axés sur les expériences Wiki, se trouve un objectif lié à l'amélioration de l'expérience des contributeurs :
- Wiki Experiences 1 : Objectif expérience du contributeur - Les contributeurs expérimentés et les novices se rassemblent en ligne pour créer une encyclopédie digne de confiance, avec plus de facilité et moins de frustration.
Résultat clé des Wiki Experiences 1.2
Dans le cadre de l'objectif Expérience du contributeur, un résultat clé est axé sur l'augmentation de l'activation constructive des novices sur mobile :
- Résultat clé des Wiki Experiences 1.2 (WE1.2) - Le déploiement généralisé des interventions a montré qu'il y avait une augmentation relative de 10% par rapport à l'année précédente du pourcentage de novices qui publiaient ≥1 contribution constructive dans l'espace de noms principal sur un appareil mobile, mesurée par des expériences contrôlées.
Plusieurs équipes de la Fondation Wikimedia se sont engagées à travailler sur des projets dans le cadre du résultat clé WE1.2 : Projet d'hypothèses.
Growth Team Hypotheses
L'objectif initial de l'équipe Croissance est de faire apparaître les tâches structurées aux novices de nouvelles manières :
| Hypothèse de l'équipe Croissance | Calendrier | Tâche principale Phabricator |
|---|---|---|
| Wiki Experiences 1.2.3 :
Si nous effectuons des tests utilisateurs sur deux prototypes de conception ou plus introduisant des tâches structurées aux novices dans/proximément à l'éditeur visuel, nous pouvons rapidement apprendre quels designs fonctionneront le mieux pour les nouveaux éditeurs, tout en permettant aux ingénieurs d'évaluer la faisabilité technique et d'estimer l'effort pour chaque approche. |
-
|
T362584 |
| Wiki Experienced 1.2.6 :
Si nous présentons aux nouveaux titulaires de comptes la tâche structurée « Ajouter un lien » dans les articles de Wikipédia, nous nous attendons à augmenter de 10% le pourcentage de novices qui s'activent de manière constructive sur mobile par rapport à la ligne de base. |
2024-10-01 -
2024-03-31 |
T368187 |
Les équipes de la Fondation Wikimedia abordent la planification annuelle de manière plus itérative cette année, donc plutôt que de s'engager dans des projets plus vastes sur un an, notre première hypothèse a une portée assez étroite. Cela devrait nous permettre de fournir de la valeur par petits incréments tout au long de l’année, tout en garantissant que nous avons la flexibilité de pivoter à mesure que nous apprenons.
WE1.2.3 n'est donc qu'une première étape, tandis que l'hypothèse WE1.2.6 concerne la mise en œuvre de ce que nous avons appris des tests utilisateurs WE1.2.3. L'expérience initiale aura pour objectif précis de cibler uniquement les nouveaux titulaires de compte sans aucune modification. Plus tard au cours de l'exercice, nous travaillerons peut-être à l'élaboration de nouveaux types de tâches structurées.
Comment définissons-nous « l’activation constructive » ?
Pour le WE1.2, nous nous concentrons sur les nouveaux titulaires de compte sur mobile, donc « l'activation constructive » est définie comme un novice effectuant au moins une modification d'un article dans l'espace de noms principal d'un projet Wikipédia sur un appareil mobile dans les 24 heures suivant son inscription sur un appareil mobile et cette modification n'étant pas annulée dans les 48 heures suivant sa publication. Cette activation sera mesurée sur une base par plateforme (nous mesurons séparément l'activation du web mobile et de l'application mobile).
Quelles recherches et données renseignent sur ces expériences ?
Ce travail est guidé par les observations suivantes et les données et recherches associées : La majorité des nouveaux titulaires de compte sur Wikipédia n'effectuent même jamais une première modification.
Les flux de travail structurés et spécifiques aux tâches incitent davantage de novices à publier une modification constructive.
- Recherche sur les tâches structurées - َAjouter un lien & Ajouter une image
- Recherche sur les pages de discussion - Outil de réponse & Outil nouveau sujet de discussion
- Analyse de l'expérience des tâches des novices
Les novices ont du mal à remarquer, à comprendre et à appliquer les règles qui façonnent Wikipédia.
- Rapport de l'impact de Vérification des modifications (Références)
- Résultats de la recherche des expériences sur les novices
De moins en moins des novices s'enregistrent sur Wikipédia.
- Statistiques de Wikimédia : novices enregistrés
- Enquếter sur le déclin du nombre des novices T351759
La majorité des vues des pages Wikipédia sont depuis le mobile.
Discussion communautaire
Nous avons discuté du concept plus large derrière ce projet avec les communautés dans le cadre de la discussion sur les OKR produits et technologies du plan annuel WMF, nous avons recueilli les commentaires des participants à Wikimania, et nous lancerons très prochainement une consultation communautaire plus détaillée avec nos wikis pilotes (Wikipédias en arabe égyptien, en français et en espagnol). (T372957)
Architecture
Nous avons exploré trois approches différentes pour faire apparaître des tâches structurées et avons considéré quels moments au cours du parcours d'édition étaient les plus appropriés pour présenter une suggestion de contribution. Nous avons décidé de tester et de passer à l'avant avec deux approches pendant l'expérience de lecture (captures d'écran 1 et 2), et une autre pendant le processus d'édition, à l'intérieur de l'éditeur visuel (3).
-
(1) -
(2) -
(3)
Nous avons mené des tests d'utilisateurs non modérés avec des participants familiers avec Wikipédia, mais avec une expérience limitée en matière d'édition et de contribution sur Wikipédia. Les principaux objectifs étaient de :
- comprendre lequel des trois modèles était le plus prometteur pour l'utilisation,
- confirmer si pendant l'utilisation on est plus ou moins susceptible d'envisager de contribuer à l'avenir en sachant que ce type d'aide est disponible, et
- identifier quelles sont les options de la copie finale qui résonnent le mieux auprès des personnes participantes.
Informations sur les tests utilisateurs
Dans l'ensemble, l'idée de proposer une suggestion de modification à côté ou dans l'éditeur visuel a été bien accueillie. Toutess les personnes participantes (6/6) ont indiqué qu'ils envisageraient probablement de procéder à une modification sachant que ce type d'aide est disponible et qu'elles se sentiraient motivées pour effectuer une modification. En ce qui concerne les différentes approches, « la première approche était la plus prometteuse pour la plupart des personnes participantes » (4/6).
« La première expérience est meilleure, elle fournit une aide en ligne pour l'édition. »
Cependant, beaucoup de questions se posaient sur la signification exacte de la balise jaune. Les personnes participantes ont supposé des significations différentes, par exemple que la balise représentait un lien cassé, un bot ou un texte récemment modifié.
Pour la deuxième approche, les personnes participantes ont apprécié les balises d'estimation de difficulté + temps.
« Si cela ne prend que 2 à 3 minutes, ce n'est pas grave. On dit que c'est facile, alors j'ai plus de chances de le faire. »
La troisième approche n'a pas rencontré un franc succès, mais les personnes participantes ont exprimé de très bons retours.
« Je ne l’ai pas trouvé [le modal] déroutant ou intrusif. Je pense qu’il était plutôt encourageant »
« Je me sentirais enclin [à éditer], surtout si c'était une situation où j'oubliais que j'étais en train d'éditer ou si je n'avais pas encore fini d'éditer. C'est donc certainement un bon rappel. »
« Je serais plus enclin à cliquer sur « Aider à ajouter un lien » car je pense que cela le ferait presque pour moi, et j’ai l’impression d’avoir accompli quelque chose. »
En termes de copie, nous avons présenté 4 options et demandé aux personnes participantes de mentionner la version du texte qui leur semblait la plus attrayante. Voici les deux options les plus réussies, décrites comme captivantes, concises et engageantes :
« Ce texte doit-il être un lien ? Cet article suggère une proposition d'amélioration simple : l'ajout d'un lien. Voulez-vous le vérifier ? » « Améliorez les connexions entre les articles de Wikipédia en créant un lien entre cet article et d'autres. »
Étapes suivantes
En planifiant à l'avance, ces tests nous ont aidés à comprendre et à reconnaître les améliorations possibles. Certains d'entre eux sont :
- Iteration sur copie
- Repenser à la balise jaune pour l'approche une
- Envisager d’ajouter des balises d’estimation de difficulté et de temps à toutes les approches
Mesures et résultats
Metrics grid from the Measurement Plan (T377096)
| Metric | Timeline | Metric type | Notes, questions, and documentation |
|---|---|---|---|
| Impressions a: views of articles where a “Add a link” task is surfaced. | Q2 Alpha test
Q3 experiment |
Secondary | On how many pages are tasks surfaced? |
| Impressions b: views of structured tasks on an article page. | Q2 Alpha test
Q3 experiment |
Secondary | How many tasks are being surfaced? |
| Task CTR: click/tap on the “YES" on the pop-up | Q2 Alpha test
Q3 experiment |
Primary | How many newcomers both SEE the initial highlighted suggestion, and click through to the "Add a link" task? (# of yes clicks / # task impressions b) *100 |
| Constructive Activation on mobile | Q2 Alpha - if time allows
Q3 experiment |
Primary | A newcomer making at least one edit to an article in the main namespace on a mobile device within 24 hours of registration, through the module, with that edit not being reverted within 48 hours of publication. Details: T360829#9903872 |
| Newcomer Retention | Q3 experiment | Secondary | If we increase constructive activation, but that doesn’t flow into retained users, then the impact of this work will be limited; Ensure newcomer retention remains stable or improves. |
| Revert Rate | Q3 experiment | Guardrail | |
| Task status | Q3 experiment | Guardrail |