Croissance/Premier jour personnalisé/Tâches des nouveaux venus/Analyse de l'expérience, novembre 2020
 | Résumé : cette analyse révèle que les fonctionnalités de Croissance entraînent une augmentation de :
|
|
Analyse de l'expérience des tâches des nouveaux venus
Résultats de l'expérience contrôlée du test de l'efficacité des fonctionnalités de Croissance.
|
En novembre 2019, l'équipe Croissance a ajouté la fonctionnalité des tâches des nouveaux venus à la page d'accueil des nouveaux venus. Les tâches du nouveau venu fournissent un flux d'articles suggérés à modifier, adapté à ses domaines d'intérêt. L'objectif était de donner aux nouveaux arrivants des modifications faciles qui les concernent lorsqu'ils arrivent pour la première fois sur le wiki. Notre hypothèse était que les outils rendraient plus probable le fait que les nouveaux arrivants commencent à éditer, à apprendre les compétences en édition et voient l'impact sur les lecteurs, pour ensuite qu'ils continuent à éditer.
Pour en savoir plus sur l'impact des fonctionnalités, nous avons déployé les fonctionnalités dans une expérience contrôlée : 76% des nouveaux arrivants ont obtenu les fonctionnalités et 24% ne les ont pas faites. L'expérience a duré six mois, et nous avons recueilli des données des Wikipédias arabe, vietnamienne, tchèque et coréenne.
Résumé des recherches
En général, l'analyse a montré que les caractéristiques de croissance améliorent les résultats pour les nouveaux arrivants. Voici les points les plus importants.
- Les nouveaux arrivants qui ont reçu les fonctionnalités Croissance sont plus enclins à devenir « actifs » (par exemple en faisant une première modification d'article).
- Nous pensons également qu'ils seront fidèles (c'est à dire qu'ils reviendront un autre jour pour faire d'autres modifications d'articles).
- Les fonctionnalités augmentent le volume des modifications également (c'est àdire le nombre d'éditions) sans réduire la robustesse (par exemple si des modifications sont annulées).
Nous pensons que ces résultats confirment que les fonctionnalités de Croissance, en particulier les tâches des nouveaux arrivants, incitent les nouveaux arrivants à éditer davantage et à rester plus longtemps sur le wiki.
En raison de ces résultats, nous pensons que toutes les Wikipédia devraient envisager de mettre en œuvre ces fonctionnalités.
Nous pensons également que ces résultats valident le fait que l'équipe Croissance doit continuer à travailler sur les tâches structurées, pour créer de nouvelles formes faciles de flux de travail d'édition pour les nouveaux arrivants.
Glossaire
- En novembre 2020, dix sept wikis avaient les fonctionnalités de Croissance. Cependant, dans notre expérience, nous avons analysé quatre wikis pilotes: les Wikipedias arabe, vietnamienne, tchèque et coréenne.
- Tous les nouveaux arrivants ne reçoivent pas les fonctionnalités Croissance; 20 % d'entre-eux sont choisis au hasard pour recevoir l'expérience par défaut. Le groupe ayant les fonctionnalités est nommé groupe de traitement et le groupe qui a l'expérience par défaut est le groupe de contrôle. Les chiffres issus de l'expérience par défaut sont nommés chiffres de base (baseline).
- L'activation est définie par le nouvel arrivant qui fait sa première modification dans les 24 heures après s'être enregistré. Le taux d'activation de base est le taux d'activation avec les fonctionnalités par défaut, et pas celles de Croissance.
- L'activation constructive est le fait que le nouvel arrivant fait sa première modification dans les 24 heures après son inscription et que cette modification n'est pas annulée dans les 48 heures. Le taux de base de l'aspect constructif est le taux des utilisateurs ayant les fonctionnalités par défaut, et non de ceux qui ont les fonctionnalités Croissance.
- La rétention couvre tout ce qui fait qu'un nouvel arrivant revient un autre jour pour faire une nouvelle modification dans les deux semaines qui suivent l'activation de son compte. Le taux de base de rétention est le taux des utilisateurs ayant les fonctionnalités par défaut, et non de ceux qui ont les fonctionnalités Croissance.
- Le volume des modifications est le nombre total d'éditions faites par un utilisateur durant les deux premières semaines. Le taux de base du volume des modifications est le nombre pour les utilisateurs ayant les fonctionnalités par défaut et non ceux qui ont les fonctionnalités Croissance.
Recherches détaillées
Vous trouverez ci-dessous les impacts spécifiques que nous avons estimés à partir des expériences contrôlées. Ils sont tous basés sur l'observation de 97 755 nouveaux comptes des wikis pilotes, entre novembre 2019 et mai 2020. Pour plus de détails, voir la section Méthodologie ci-après.
Activation
Pour cette analyse, nous avons regardé les modifications des espaces de noms de l'article et de sa page de discussion.
- Activation : les nouveaux arrivant avec les fonctionnalités Croissance sont à 11,6% certains de poursuivre en faisant une première modification d'article. Sur nos quatre wikis pilotes, le taux d'activation de base est de 21,6%. Les fonctionnalités de Croissance sont estmées augmenter l'activation de 24,1%, soit une augmentation de 11,6% par rapport à la ligne de base.
- L'activation constructive : l'effet est plus grand si on ne regarde que l'activation constructive. Les nouveaux venus ayant les fonctionnalités Croissance ont 26,7% de chance de faire une première modification d'article non annulée. Sur nos quatre wikis pilotes, le taux d'activation constructif de base est de 16,1%. Les caractéristiques de croissance devraient augmenter ce montant à 20,4%, soit une augmentation de 26,7% par rapport à la ligne de base.
Rétention
Comme la rétention est beaucoup plus rare que l'activation, il est plus difficile de détecter les changements. Dans cette expérience, nous n'avons pas détecté de changements directement. Au lieu de cela, nous estimons que la rétention est augmentée dans un degré similaire à celui de l'activation, soit d'environ 11,6%. Cela vient de l'idée que l'activité du premier jour affecte l'activité des jours suivants, ce que nous expliquons dans nos modèles statistiques. Depuis que nous savons que les fonctionnalités de Croissance permettent d'augmenter le nombre d'utilisateurs actifs le premier jour et qu'il y a eu aucun changement dans la probabilité de retenir les utilisateurs activés, il en résulte que nous pouvons espérer que l'augmentation des activations se traduira par une augmentation similaire de la rétention. En d'autres termes, les fonctionnalités de Croissance semblent apporter une augmentation de la rétention causée par une augmentation de l'activation : certains des utilisateurs que les fonctionnalités de Croissance ont activés continueront naturellement en restant.
Le taux de rétention de base sur les quatre wikis de l'expérience est de 3,2%. Nous estimons que les caractéristiques de croissance augmentent ce pourcentage à 3,6%.
Volume des éditions
Les fonctionnalités Croissance ont apporté une augmentation de 22% du nombre d'articles mis à jour par les nouveaux arrivants au cours de leur deux premières semaines.
En d'autres termes :
- 1 000 nouveaux arrivants sans les fonctionnalités Croissance feraient 1 400 modifications d'articles.
- 1 000 nouveaux arrivants avec les fonctionnalités Croissance feraient 1 700 modifications d'articles.
Cette augmentation indique à la fois que les fonctionnalités Croissance augmentent la vraisemblance qu'un nouvel arrivant fera une modification d'article et que certains d'entre-eux feront rapidement plusieurs modifications suggérées.
Autres métriques
Nous avons également examiné plusieurs autres métriques, avec des résultats moins significatifs.
- Annulations : nous avons analysé la probabilité que les nouveaux arrivants dotés des fonctionnalités Croissance aient leurs modifications annulées.
- Nouveaux venus très actifs : nos résultats ont montré que les fonctionnalités Croissance font que les nouveaux venus sont plus actifs et réalisent davantage de modifications.
- Remerciements : nous avons regardé si les nouveaux venus dotés des fonctionnalités Croissance recevaient davantage de merci que les autres nouveaux venus.
- Différences entre les wikis et les plateformes : nous avons comparé les wikis et les plateformes (les mobiles par rapport aux ordinateurs de bureau).
Résultats et étapes suivantes
Résumé
- Le travail des fonctionnalités : le travail des fonctionnalités de l'équipe Croissance est d'accroître l'engagement des nouveaux arrivant. Ceci est particulièrement vrai pour le composant tâches des nouveaux venus, qui suggère des modifications faciles.
- Confiance dans la construction des tâches structurées : ceci nous conforte dans le fait que notre travail actuel pour concevoir d'autres types de tâches pour les nouveaux venus (tel que la tâche Ajouter un lien) va augmenter l'impact.
- Besoins pour le renforcement positif : les résultats ont montré que les fonctionnalités Croissance ont d'abord impacté l'activation – conduisant les nouveaux venus à faire leur première modification – par opposition à la rétention.
Étapes suivantes
- Extension au monde : nous avons augmenté notre foi dans la valeur de ces fonctionnalités.
- Continuer le travail : cette année, nous continuerons de nous focaliser sur l'ajout de nouveaux types de tâches et à fournir une présence positive lorsque les nouveaux venus terminent leurs tâches.
- Etendre l'analyse : maintenant que nous avons terminé cette analyse, nous pourrons plus facilement la réitérer à l'avenir.
Méthodologie
L'équipe Croissance a déployé le module des tâches pour les nouveaux arrivant sur lapage d'accueil des Wikipedias tchèque, coréenne, vietnamienne et arabe le 21 novembre 2019. Durant cette expérience, les utilisateurs se sont vus assignés au hasard soit au groupe de traitement, soit ou au groupe de contrôle. Dans le premier, ils ont reçu toutes les fonctionnalités de Croissance (page d'accueil, tâches des nouveaux venus, panneau d'aide, etc.), alors que dans le second ils n'ont reçu aucune de ces fonctionnalités.
Du 21 novembre au 12 décembre 2019, la probabilité d'être dans le groupe de traitement était de 50%. Cela a changé à 80% le 12 décembre, lorsque l'équipe a commencé un test A/B de deux variantes du module des tâches des nouveaux arrivants.
Les utilisateurs peuvent activer ou désactiver les fonctionnalités de Croissance dans les préférences utilisateur à tout moment. S'ils le font, ils sont exclus de cette analyse. Nous excluons également les comptes de test connus, les utilisateurs qui se sont inscritst via l'API (ce sont principalement des comptes d'applications) et les comptes qui sont créés automatiquement.
L'ensemble des données pour cette analyse couvre 97 755 comptes enregistrés entre le début de l'expérience et le 14 mai 2020. Parmi ceux-ci, 23 529 (soit 24,1%) appartiennent au groupe de contrôle et 74 226 (soit 75,9%) appartiennent au groupe de traitement.
Notre analyse fait l'utilisation extensive des modèles de régression multi-niveaux (hiérarchiques), en utilisant le wiki comme variable de groupement. Cela nous permet d'expliquer les différences entre les wikis dans notre analyse. Par exemple, nos modèles d'activation sont des modèles de régression logistique à plusieurs niveaux, ce qui signifie qu'ils représentent les différences inhérentes dans le taux d'activations entre les wikis. Nous savons aussi que l'activité d'édition suit une distribution à longue traîne, d'où le nombre de modèles de modifications faites qui utilisent une distribution binômiale négative avec excès de zéros (zero-inflated model) - (ici encore avec un modèle multi-niveaux).