Jump to content

Applications Wikimédia/Projet de modifications suggérées pour iOS/Expérience de texte alternatif

From mediawiki.org
This page is a translated version of the page Wikimedia Apps/iOS Suggested edits project/Alt Text Experiment and the translation is 86% complete.
Outdated translations are marked like this.
Languages:

Contexte

Pourquoi nous travaillons sur cela?

Les images sont de plus en plus présentes et peuvent fournir des informations: Des recherches récentes montrent que les images dans les articles Wikipédia génèrent des niveaux d'engagement plus élevés avec les articles, et fournissent des informations en plus de l'illustration.[1] Si un utilisateur ne peut pas voir l'image en raison d'une vision faible ou inexistante, ou de la connexion Internet, il peut utiliser le texte alternatif (ou alt text). Un texte alternatif est un texte associé à une image, poursuivant le même but et véhiculant les mêmes informations essentielles que cette dernière.[2]

De nombreuses images dans les articles Wikipédia manquent de texte alternatif: En 2021, des recherches ont montré que 46% des images sur Wikipédia en anglais avaient des légendes, 10% des images avaient un texte alternatif et seulement 3% avaient un texte alternatif efficace.[3] La question de l'absence de texte alternatif des images dans les articles de Wikipédia et sur Commons a longtemps été un sujet de discussion, de recherche et d'organisation. Divers événements d'édition de texte alternatif ont été organisés par les affiliés en Pologne, en Irlande, en Argentine et dans le cadre d'événements mondiaux tels que la semaine de la description d'images.

Améliorer l'accessibilité de Wikipédia: La recommandation n°2 de la stratégie du mouvement est d'améliorer l'expérience utilisateur en supportant le respect des directives d'accessibilité les plus avancées à l'aide de logiciels gratuits et open source (WCAG pour le Web , bonnes pratiques du Web mobile du W3C, etc.). Une étude récente sur l'accessibilité des images sur Wikipédia dans toutes les langues a suggéré qu'une partie de la solution consiste à investir dans des outils capables de faire apparaître des articles et des images sans couverture d'accessibilité.[4]

L'application iOS Wikipédia a été désignée par le choix de l'éditeur d'Apple en 2017 en raison de ses fonctionnalités d'accessibilité de l'application pour les utilisateurs. L'accessibilité est un facteur important dans notre processus de conception et de développement au sein des équipes d'applications, donc la tâche consistant à combler le manque d'images avec un texte alternatif de qualité convient à notre équipe.

Notre premier prototype s'est montré prometteur: Nous avons créé une version expérimentale de preuve de concept pour ajouter du texte alternatif aux images sur Wikipédia dans le contexte de leur article, et nous l'avons partagée avec les utilisateurs pendant la conférence GLAM 2023.

Après avoir reçu des retours, nous sommes confiants de pouvoir étendre notre expérience dans la version de production de l'application. Une partie de cette expérience s'appuie sur notre récent ajout à l'application iOS de la modification suggérée "Ajouter une image" .

User stories

  • As a Spanish Wikipedia editor in LATAM using the Add an Image feature for the first time on the Wikipedia iOS app, I would like to build confidence to add alt-text while on the bus, so that I can add alt-text to future image related tasks without concern of making the state of alt-text worse on Wikipedia for low vision users.
  • As a Portuguese Wikipedia editor in Brazil, I would like to become aware of opportunities to add alt-text to images in articles I care about, so that I can ensure all editors are able to gain the full context of those articles
  • As a user navigating articles with a screen reader, I want quality alt-text to be available , so that I have the same additional context about an article as users that are not using screen readers
  • As a user with limited data, I want to read alt-text, so even if images are not loaded, I am aware of what is in the image

Objectif

Si nous effectuons un test A/B/C avec le prototype de modifications suggérées par le texte alternatif dans la version de production de l'application iOS, nous pouvons savoir si l'ajout de texte alternatif aux images est une tâche que réussissent les nouveaux arrivants et, en fin de compte, décider si cela a un impact suffisant pour être mis en œuvre sous forme de modification suggérée sur le Web et/ou dans les applications.

Ce travail fait partie du Plan annuel 2024-2025 Wiki Experiences 1, axé sur l'expérience des contributeurs.

L’expérience à grande échelle ne sera pas un flux d’images nécessitant un texte alternatif. Au lieu de cela, nous allons inviter les utilisateurs à ajouter un texte alternatif aux images après avoir effectué une modification associée: Soit en ajoutant l'image à l'aide des recommandations d'image, soit après avoir modifié un article. Si l'utilisateur.trice accepte l'invite, il/elle sera dirigé(e) vers un flux dédié pour ajouter du texte alternatif à l'image, avec des conseils et des exemples.

À travers cette expérience, nous avons l'opportunité de:

  • Savoir si les nouveaux arrivants et les rédacteurs expérimentés peuvent réussir à ajouter du texte alternatif grâce à une tâche structurée avec des conseils
  •  Essayer deux moments différents pour suggérer des modifications supplémentaires aux utilisateurs:
    • Une fois qu'un utilisateur a terminé une modification suggérée
    • Une fois qu'un utilisateur a terminé la modification d'un article
  • Augmenter le nombre d'images contenant du texte alternatif utile sur les Wikipédias cibles

Conception de l'expérience

Questions de recherche

  • Est-ce-que le fait de rappeler aux utilisateurs d'ajouter du texte alternatif est un moyen efficace d'augmenter le nombre d'images avec du texte alternatif, ainsi que le nombre de modifications "Ajouter une image" avec un texte alternatif?
  • L'ajout de texte Alt pour les images dans les articles devrait-il être une modification suggérée séparée? (Et si oui, serait-ce une tâche appropriée pour les nouveaux arrivants?)
  • Est-ce que les utilisateurs apprécieraient d'être invités à apporter d'autres améliorations à l'article qu'ils sont en train de modifier?
  • Est-ce-que les recommandations aident les nouveaux arrivants et les rédacteurs expérimentés à accomplir la tâche?

Expérience B: Ajouter une invite de texte alternatif après le flux "Ajouter une image"

Actuellement, seulement environ 16% des modifications effectuées via les recommandations d'images ajoutent du texte alternatif. Nous voulons savoir si le fait de rappeler aux utilisateurs d'ajouter du texte alternatif s'avère un moyen efficace d'augmenter le nombre de modifications incluant ce texte. Les éditeurs ne verront l’invite qu’une seule fois.

  • Hypothèse: Si nous invitons les utilisateurs une fois à ajouter le texte alternatif manquant à leur image après l'avoir publiée à l'aide de la modification suggérée par les recommandations d'image, nous verrons 60% de rédacteurs choisir de publier le texte alternatif en plus, et 10% ajouteront un texte alternatif pour les prochaines modifications des recommandations d'images effectuées au cours des 15 jours suivants.
  • Public: Les rédacteurs connectés ayant effectué une modification dans la fonctionnalité "Ajouter une image" où alt texte = null, et qui n'ont pas déjà été triés dans le groupe expérimental C.
  • Groupe A= 50% des rédacteurs d'"Ajouter une image" sont triés dans le groupe de contrôle lorsqu'ils oublient le texte alternatif. Ils ne sont pas invités à ajouter le texte alternatif manquant.
  • Groupe B= 50% des rédacteurs d'"Ajouter une image" sont triés dans le groupe expérimental lorsqu'ils oublient le texte alternatif. Ils sont invités exactement une fois à ajouter le texte alternatif manquant.
  • L'affectation dans les groupes A/B s'effectue lorsqu'un utilisateur termine une modification suggérée "Ajouter une image" où texte alt = null.

Expérience C: Ajouter une invite de texte alternatif après le flux d'édition standard

Nous voulons savoir si les utilisateurs apprécieraient les invites pour d'autres améliorations qu'ils peuvent apporter à l'article qu'ils modifient. Il s'agit d'un type de modification suggérée à temps. Les rédacteurs ne verront l’invite qu’une seule fois.

  • Hypothèse: Si nous invitons les utilisateurs à ajouter un texte alternatif manquant après avoir publié une modification sur un article contenant une image nécessitant un texte alternatif, 4% d'entre eux ajouteront un texte alternatif à l'image.
  • Public: Les rédacteurs connectés ayant effectué tout type de modification sur un article avec une image dépourvue de texte alternatif et qui n'ont pas déjà été classés dans le groupe expérimental B.
  • Groupe D= 50% des rédacteurs sont triés dans le groupe de contrôle. Ils ne voient aucune invite après avoir terminé une modification éligible
  • Groupe C= 50% des rédacteurs sont triés dans le groupe expérimental. Ils voient exactement une seule invite de texte alternatif après avoir terminé une modification éligible.
  • L'échantillonnage dans les groupes D/C doit avoir lieu immédiatement après la publication d'une modification éligible à l'invite par l'utilisateur.trice.
  • Les modifications éligibles pour l'invite de suivi: Toute modification effectuée par un utilisateur connecté sur un article dans l'espace de noms principal.

Exigences des fonctionnalités

Incontournables

  • Le point d'entrée doit varier en fonction du groupe expérimental (voir ci-dessous)
  • Si un utilisateur répond "non" à l'invite "Ajouter un texte alternatif", demander la raison de ce choix
  • Des conseils importants pour rédiger un bon texte alternatif
  • Possibilité pour les utilisateurs d'obtenir le contexte de l'image de l'article
  • Capacité des utilisateurs à accéder aux métadonnées pertinentes (peut diriger l'utilisateur vers le Web)
  • Détection des images qui n'ont pas de texte alternatif
  • Possibilité de publier du texte alternatif
  •  La modification du texte alternatif doit être considérée comme une modification distincte UNIQUEMENT lorsqu'elle est soumise séparément.
  • Le texte alternatif est publié avec un résumé automatique de la modification
  • Les utilisateurs doivent être invités à fournir des commentaires sur la fonctionnalité
  • Avoir une instrumentation permettant d'évaluer le texte alternatif soumis
  • Champ de saisie pour le texte alternatif dans le contexte de l'image, aperçu du texte alternatif dans le contexte de du rédacteur existant
  • Avertissement lorsque le texte alternatif dépasse 125 caractères
  • Le champ de saisie ne doit pas permettre aux utilisateurs d'ajouter des sauts de ligne

Bien à avoir

  • Renforcement positif
  • Ne pas autoriser les utilisateurs à copier et coller dans la légende de l'image
  • Suggérer du texte alternatif (penser aux descriptions d'articles assistées par machine)
  • Pouvoir lire ce qui a été écrit en aperçu
  • Catégories de surface et représentations


Incontournables de l'expérience B Groupe expérimental B (50% des utilisateurs de modifications suggérées par des recommandations d’images). Ils entreront dans le flux dédié au texte alternatif APRÈS avoir ajouté une image à un article à l’aide des recommandations d’images.

Point d'entrée: Une fois la modification des recommandations d'image soumise; si alt-text = null:

  1. Apprendre à l'utilisateur l'importance du texte alternatif et lui demander s'il serait prêt à ajouter du texte alternatif à l'image
  2. Si l'utilisateur sélectionne oui; Lancer le flux d'ajout de texte alternatif pour l'image la plus récemment ajoutée

Une fois la tâche terminée:

  1. Afficher une enquête pour demander aux utilisateurs si cela doit être une tâche distincte
  2. Renvoyer les utilisateurs à la suggestion de recommandations d'image suivante


Incontournables de l'expérience C Groupe expérimental C: 50% de tous les rédacteurs sont encouragés à ajouter du texte alternatif à une image lors de la modification d'un article avec image

Point d'entrée:

  • Après modification lorsque l'une des conditions suivantes est vraie
  1. Aucune modification n'a été apportée à une image, mais il y a une image dans l'article sans texte alternatif
  2. Modification apportée à l'image mais alt-text = null
  • Afficher une invite indiquant qu'une image dans l'article a besoin d'un texte alternatif, expliquer l'importance de l'ajout d'un texte alternatif et demander aux utilisateurs s'ils sont prêts à ajouter un texte alternatif
  • Si les utilisateurs sélectionnent "Oui", lancer le flux d'ajout de texte alternatif pour une image dans l'article nécessitant ce texte

Après l'achèvement de la tâche

  1. Demander le niveau de satisfaction
  2. Demander si cela devrait être une tâche dédiée
  3. Ramener l'utilisateur à l'article qui était en train d'être lu

Biens à avoir dans l'expérience C

  • Possibilité de révéler/réviser le texte alternatif sur les images dans un article
  • Si quelqu'un abandonne une modification, lancer l'invite pour ajouter une image si cette personne a plus de 50 modifications.

Les wikis cibles

Bien que nous apprécions les commentaires de tous, nous sommes particulièrement intéressés à entendre des:

  • Hispanophones, francophones et lusophones dans les Amériques (Nord, Sud et Centrale) et Caraïbes
  •  Locuteurs chinois en Amérique du Nord

Nous prévoyons de mener cette expérience en partenariat avec les wikis suivantes:

  • Wikipédia en espagnol
  • Wikipédia en français
  • Wikipédia en portugais
  • Wikipédia en chinois

Comment saurons-nous que nous avons réussi?

Évaluer la qualité du texte alternatif:

Lors de nos recherches préliminaires, nous avons appris que les ajouts de texte alternatif ne sont pas formellement surveillés. Nous ne pourrons donc peut-être pas nous fier uniquement au taux de retour pour comprendre la qualité du texte alternatif ajouté. Nous prévoyons de nous associer à une organisation d'accessibilité pour évaluer la qualité du texte alternatif produit à travers cette expérience. Nous leur demanderons d'évaluer chaque entrée de texte alternatif de 1 à 5, 5 étant la qualité la plus élevée et 1 la qualité la plus basse. Ils fourniront également un score de retour prédit, répondant à la question: S'ils voyaient ce texte alternatif ajouté à une image, le supprimeraient-ils de Wikipédia?

Indicateurs principaux à mesurer après 15 jours

  1. Une augmentation de 10% du nombre moyen de modifications non annulées par nouveau utilisateur venu unique dans les groupes expérimentaux par rapport à ceux de contrôle*
  2. 100 modifications avec des valeurs de texte alternatif, provenant d'au moins 25 rédacteurs uniques. Au moins 25 modifications proviennent de nouveaux arrivants
  3. Plus de 15 rédacteurs uniques ont été affectés à chaque groupe expérimental
  4. Taux d'acceptation des tâches de 70% pour le groupe B, taux d'acceptation d'au moins 10% pour le groupe C (% de personnes qui entrent dans le flux / impressions d'invite)
  5. Le taux de retour pour les modifications des nouveaux arrivants dans les groupes A et B ne dépasse pas 18%
  1. More than 15 unique editors have been assigned to each experiment group
  1. 70% task acceptance rate for group B, at least 10% acceptance rate for group C (# of people who enter the flow / impressions of prompt)
  1. Revert rate for newer editors edits in any single group does not exceed 18%

Indicateurs clé

  1. 60% des rédacteurs du groupe B publient une modification supplémentaire avec un texte alternatif pour l'image sur laquelle ils ont été invités
  2. 4% des utilisateurs du groupe C ajoutent du texte alternatif lorsqu'ils y sont invités après avoir modifié un article
  3. Parmi les rédacteurs du groupe B qui effectuent une modification suivante de recommandations d'image au cours des 15 prochains jours, 10% ajoutent du texte alternatif dans le cadre de cette modification.
  4. 200 images sont améliorées avec du texte alternatif, par au moins 50 rédacteurs uniques
  1. Of group B editors who make a subsequent image recommendations edit in the next 15 days, 25% add alt-text as a part of that edit
  1. 200 images are improved with Alt text, by at least 50 unique editors

Matrice de décision pour les prochaines étapes

  1. If 71% of edits are scored a 3 or higher* we will scale the feature. If less than 70% of edits are scored a 3 or higher we will improve guidance or use AI to better assist users.
  2. If quality scores* for newer editors are more than 50% worse than quality scores for experienced editors, we will not recommend this task be available to newer editors.
  3. If we see at least 60% say they would use feature that provided a feed of images in need of alt text, then we will have the confidence to pursue a feed of alt-text suggested edits
  4. If 60% or more of respondents say they would be interested in similar edit notifications for articles they are working on, and 60% of respondents are satisfied with the feature (Group C survey responses), we share this information and consider future edit prompts.

Rambardes

  1. Le taux de retour des modifications des rédacteurs du groupe B ou C qui ont reçu une invite de texte alternatif ne diffère pas de plus de 10% des groupes de contrôle
  2. Le taux d'annulation des modifications des groupes expérimentaux ne dépasse pas celui des groupes de contrôle de plus de 5 points de pourcentage.
  3. Le taux de retour évalué par l'humain* ou réel pour les nouveaux arrivants dans les groupes expérimentaux ne dépasse pas 18%
  4. Le taux d'achèvement des tâches de texte alternatif pour les nouveaux arrivants est supérieur à 25% (Taux d'achèvement = nombre de modifications de texte alternatif publiées / ceux qui ont répondu "oui" à l'invite et ont démarré le flux)

Curiosités

  1. Comment se comparent le taux d'achèvement des tâches et le taux de retour pour les modifications de texte alternatif des nouveaux arrivants avec à ceux des rédacteurs expérimentés? Et avec des taux comparables des modifications suggérées par Growth?
  2. Comment se compare le taux de retour évalué par l'humain* à la modification suggérée des légendes d'images d'Android?
  3. Y a-t-il une différence dans les mesures selon la langue et la géographie? (par exemple, séparer les modifications de l'Amérique latine par rapport à l'Europe pour l'espagnol)
  4. Quelle est la raison la plus courante pour laquelle les utilisateurs décident de ne pas répondre à l'invite?

* Remarque: Pour les scores de qualité et les scores de retour évalués par l'humain, nous nous associerons à une organisation d'accessibilité qui examinera et notera le texte alternatif.

Definition of newer editors: Editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment

Conceptions

Expérience B (flux de recommandations d'images)

  • "Add an image" task for an image of a red Sebring car and the article Peter Ryan (racing driver), including image file name, image description, and Yes/No/Not sure options.
    Ajouter image?
  • Add image details screen showing opportunity to input caption and alt text for the image of the Sebring
    Ajouter des informations sur l'image
  • Keyboard active on screen as user types in caption for Sebring photo
    Ajouter une légende
  • Preview of Sebring image in article below infobox
    Aperçu
  • Edit summary of "Added image and caption", with keyboard active
    Résumé de modification
  • Image recommendation of a goat, with a confirmation toast: Edit published
    confirmation de la modification
  • Modal on screen asking "Add missing image alt text? The previous image is missing alt text. Add a description for visually impaired readers? Add / Do not add"
    Une invite pour ajouter un texte alternatif apparaît si l'utilisateur a oublié de l'ajouter à l'image précédente
  • Survey screen with options "I don't know this subject, Not enough information to decide, I don't have the time, Image is low quality, and Other"
    On demande la raison s'ils ferment ou choisissent "Ne pas ajouter"
  • How to write alt text for images
    Conseils d'introduction sur comment écrire un texte alternatif
  • Tooltip on image in article: "Review: Understand the image in the article context."
    Info-bulle: Révision
  • Tooltip on image file name link: "Inspect: View additional image information on Wikimedia Commons."
    Info-bulle: Inspection
  • Tooltip on input box for alt text: "Add description: Add description for visually impaired readers."
    Info-bulle: Ajouter une description
  • Alt text input box for Sebring image, with link to "guidance for writing alt text" below
    Ajouter un texte alternatif à partir d'une demi-page, avec l'article derrière
  • The view of the image in the article takes up the entire screen, and the "add alt text" half sheet is at the very bottom
    La demi-page peut être réduite au minimum pour examiner l'article
  • Wikimedia Commons page for the Sebring image
    Voir les informations de l'image
  • Sebring image in fullscreen gallery view, with description overlaid
    Voir l’image en plein écran
  • Keyboard active in alt text input box
    Écrire le texte alternatif
  • Warning appears in orange: "Try to keep alt text short so users can easily understand the image content"
    Avertissement pour plus de 125 caractères
  • Sebring image is at the top of the screen, then the Alt text that the user has entered, along with the caption for the image.
    Révision du texte alternatif entré et de la légende
  • A modal asking:"We need your feedback: Would you use a feature that provided a feed of images in need of alt text? Yes/No"
    Retour sur la modification suggérée
  • Image of goat is next suggestion, and "Feedback submitted" toast is shown
    Commentaires soumis et retour à la prochaine recommandation d'image

Expérience C (flux d'édition d'article)

  • Cactus article with "Edit published" confirmation at bottom
    Publier la confirmation de l'édition de l'article
  • Modal reading "Add missing image alt text? There is an image in this article that is missing alt text. Add a description for visually impaired readers?"
    Invite à ajouter un texte alternatif à l'image d'un article
  • How to write alt text for images
    Intégration
  • Half-sheet with alt text input box for image in Cactus article, with link to "guidance for writing alt text" below. The image in the article is visible in the background
    Page d'ajout du texte alternatif
  • arrow pointing up to Flow B
    Le flux se poursuit comme indiqué ci-dessus dans l'expérience B (écriture du texte alternatif, révision, publication)
  • Feedback prompt with "Help improve the feature: Are you satisfied with this feature? Satisfied / Neutral / Unsatisfied"
    Sondage sur la satisfaction
  • Feedback prompt with "We need your feedback: Would you be interested in receiving similar notifications about suggested edits on articles after you edit them? Yes/No"
    Sondage sur la réception de notifications similaires concernant les modifications proposées
  • Cactus article with confirmation at bottom "Feedback submitted"
    Commentaires envoyés et retour à la vue de l'article

Comment suivre

Nous avons créé T357437, "Alt-Text Suggested Edit Scaled Experiment sur iOS" en tant que notre epic Phabricator. Nous encourageons votre collaboration là-bas ou sur notre page de discussion. Cette page sera également mise à jour périodiquement au fur et à mesure que nous progressons dans l'expérience.

Mises à jour

Juin 2024

  • Nous avons terminé l'analyse des tests d'utilisabilité pour les flux B et C en anglais et mettrons à jour les conceptions en fonction de ces résultats et de l'examen de la conception. T360567
    • Résumé des résultats:
      • Il y avait une compréhension claire de ce que l'invite du texte alternatif leur demandait de faire
        • Pour le flux B: 5/5 ont compris qu'on leur demandait d'ajouter du texte alternatif à l'image précédente, car ce texte manquait
        • Pour le flux C: 5/5 ont compris qu'ils ajoutaient un texte alternatif pour une image de l'article dans lequel ils venaient de corriger le mot mal orthographié.
      • L'intégration, les info-bulles et les conseils étaient clairs et utiles pour les utilisateurs, avec quelques petites améliorations possibles.
        • 10/10 pensent que l'intégration était claire
        • 9/10 ont trouvé les info-bulles claires et utiles
      • Les utilisateurs pouvaient zoomer, mais leur premier choix n'était pas pris en charge
        • 5/10 ont d'abord cliqué sur l'image, puis pincé et zoomé
        • 5/10 pinçaient et zoomaient d'abord sur la vignette, puis appuyaient pour l'ouvrir.
      • La plupart des utilisateurs ont pu trouver les conseils dont ils avaient besoin
        • 6/10 ouvraient le lien "Conseils pour la rédaction de texte alternatif"
      • Les utilisateurs pouvaient trouver des informations supplémentaires sur l'image
        • 6/10 ont su cliquer sur l'info-i à côté de l'image, 1/10 l'a trouvé après y avoir été invité.
        • 1/10 a d'abord appuyé sur l'image, puis a trouvé le bouton info-i. La plupart des testeurs pensaient que les informations fournies sur l'image étaient complètes, tandis que d'autres ont noté de légères améliorations.
        • 6/10 ont estimé que les informations étaient complètes et qu'il ne manquait rien d'important
      • Les testeurs ont compris la tâche et ont pu la résumer avec succès par la suite
      • Tous les testeurs étaient convaincus de pouvoir ajouter du texte alternatif à une nouvelle image

novembre 2024

  • The alternative text experiment ended on November 4. We are analyzing the results, and the edits are being graded and reviewed by accessibility experts. The edits were also shared with moderators who are active on the iOS app for additional review and feedback.
  • For the duration of the experiment, all editors could access the “Add an image” feature on Spanish, French, Portuguese, and Chinese Wikipedias. The edit requirement has now been restored. Only users with more than 50 edits can access image recommendations in these languages.
  • We have preliminary analysis to share (full results to be shared in December updates
    • Our assumption was correct that users prompted on an image they have just added would be more likely to complete the alternative text task (18% completion rate), compared with users who were prompted on an unrelated image within the same article (6% completion rate).
    • The revert rate for Alt text edits was 3.4%, lower than iOS app’s overall revert rate during the same period of 8.1%. However we know that alt text edits are often less patrolled, so we will be calculating another revert rate based on grading results.
    • The completion rate for newer editors was 28% overall. We saw a lower completion rate for group C (article editing) for newcomers, compared to group B (add an image). Our KR was to see a completion rate above 25%.
    • We were curious to see if opening up Image Recommendations to editors with under 50 edits would impact constructive activation. We were not able to confirm if this was the case. There was only a difference of -0.13 percentage points between pre and post experiment overall iOS app constructive activation rate, however we did see an overall increase in total constructive activated users.

octobre 2024

  • The experiment continued to run on Spanish, French, Chinese, and Portuguese Wikipedias. After not seeing sufficient edits made at the 15 day point, we made adjustments to the experiment set-up to motivate more alt text edits including:
    • Showing the "Add an image" new feature announcement again for Alt text target audiences T375416
    • Updating the test logic so that all eligible users see the treatment T376229
    • Extending the Alt text experiment end date to 4 November (now 60 days in length instead of 30). T375452
  • We saw 16 successful alt-text edits from the first 30 days of the experiment, and we will do a full analysis after 60 days.

septembre 2024

  • The alternative text experiment is now live in production! You can view the work that went into this release on this task: T357440
  • Our preliminary 15-day analysis shows that:
    • 150 app users have been assigned into the experiment.
    • For those shown the prompt to add alt text, 55.3% are accepting the task after having completed an Image recommendation, and 16.0% are accepting the task after making an article edit. The acceptance rate for image recommendations was lower than we expected, but for article editing it was higher than expected.
    • 7 successful alternative text edits have been published by 7 unique users, and 0% have been reverted so far.
  • We are planning to extend the length of the experiment to 60-days, and to display another announcement about “Add an image” to motivate more users to enter the experiment. The experiment is now scheduled to run until 5 November.
  • We will be partnering with the accessibility organization, Fundación Dalat, for evaluating the results of the experiment. Native speakers for Chinese, French, Spanish, and Portuguese who will grade the respective alternative text entered, and review the edits.

août 2024 Special Update

  • The alt text experiment has been released to Beta Testers, on Spanish, Portuguese, French, and Chinese Wikipedias. Editors making edits on articles containing images without alt text, or adding images using “Add an Image” may see one prompt asking them to add alternative text to an image. The experiment will run until early November.
  • Check out a demo of the flow on Portuguese Wikipedia:
    Two A/B tests running in the iOS App that prompt users to add alternative text after a relevant edit
  • If you would like to download the beta version of the app to test, please follow these testing instructions.

août 2024

  • We began work on the Alternative Text experiment. We added a new capability in the app: developer settings. This will allow us to move quickly and deploy things behind feature flags more in the future. Tasks completed included:
    • Add developer settings option in the app. T334848
    • Add feature flag and toggle into Developer settings for alt text experiment. T370221
    • Update ABTestsController, Assign groups for alt text experiment. T370228
    • Publish Wikitext for Alt Text experiment - Flow B. T370236
    • Trigger Alt-Text task from Image Recommendations (flow B) and create Modal. T370229
    • Bypass edit count logic in existing explore feed card logic for target wikis. T370224
    • Add ability to send analytics events to wmflabs. T371412
  • All tasks are visible in Sub epic: T357437

juillet 2024

  • We held a Deep dive meeting with the team and stakeholders from the GLAM and Research teams to review the experiment plan, designs, and timeline. Most recent designs have been added above
  • We defined our comparison group for learning how newer editors performed on the task as: editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment. We’ll use the term “newer editors” to refer to this group, as not to confuse them with brand new accounts.
  • The team began development on the Alt text experiment, you can follow our work on the Engineering Epic: T357440
  • We learned that in iOS, the baseline for image recommendation edits that contain alt text is 16%.
  • We reviewed a sample of the alt text that had been entered by users in Image Recommendations. We saw that 15% of edits evaluated repeated the exact same text in the image caption as in the alt text, and that only 14% of edits evaluated had alt text of reasonable quality. This stresses the importance of adding guidance for writing effective alt text in our flow, and for preventing users from copy / pasting between the fields.
  • We learned about a new form of AI that is creating alt text for images on the London Museum’s website. If results from this experiment show that users struggle with writing alt text, this could be an avenue to explore for adding AI assistance.

juin 2024

  • We completed analysis of usability testing for flows B and C in English, and will be updating the designs based on these results and design review. T360567
    • Summary of results:
      • There was clear understanding on what the alt text prompt was asking them to do
        • For flow B: 5/5 understood that they were being asked to add alt text to the previous image because it's missing
        • For flow C: 5/5 understood that they were adding alt text for an image from the article you just corrected the misspelled word in.
      • The onboarding, tooltips, and guidance were clear and helpful to users, with some room for small improvements
        • 10/10 thought the onboarding was clear
        • 9/10 thought the tooltips were clear and helpful
      • Users would be able to zoom, but their first choice was not supported
        • 5/10 tapped on the image first, then pinch and zoom
        • 5/10 would pinch and zoom first on thumbnail, then tap to open
      • Most users could find the guidance they needed
        • 6/10 would open the "Guidance for writing alt text" link
      • Users could find additional information about the image
        • 6/10 knew to click on the info-i next to the image, 1/10 found it after being prompted.
        • 1/10 tapped on the image first, then found the info-i button -Most testers thought the image information provided was complete, while others noted room for small improvements
        • 6/10 felt the information was complete and not missing anything important
      • Testers understood the task, and were able to successfully summarize it afterwards
      • All testers felt confident they could add alt text to a new image

mai 2024

  • L'analyse des tests utilisateurs est en cours en anglais et en chinois. Les tests ont été effectués avec deux prototypes de flux pour l'ajout de texte alternatif:
    • Flux B invitant les utilisateurs à ajouter du texte alternatif à l'image qu'ils viennent de terminer d'ajouter en utilisant "Ajouter une image"
      Prototype pour le flux B de l'expérience du texte alternatif
    • Flux C invitant les utilisateurs à ajouter du texte alternatif à une image dans un article auquel ils viennent de corriger une faute de frappe ou d'apporter une modification:
      Prototype pour le flux C de l'expérience du texte alternatif

Septembre 2023 - avril 2024

Pour les mises à jour antérieures sur la modification suggérée du texte alternatif, consultez la page d'aperçu des mises à jour.

Voici ci-dessous les conceptions de l’expérience à partir d’avril 2024:

  • Ajouter un modal de texte alternatif manquant
    Ajouter un modal de texte alternatif manquant
  • Conseils d'intégration (5 points)
    Conseils d'intégration (5 points)
  • Première info-bulle: Revision de l'article
    Première info-bulle: Revision de l'article
  • Deuxième info-bulle: Inspecter l'image
    Deuxième info-bulle: Inspecter l'image
  • Troisième info-bulle: Ajouter une description
    Troisième info-bulle: Ajouter une description
  • Vue initiale pour ajouter un texte alternatif
    Vue initiale pour ajouter un texte alternatif
  • L'icône info-i conduit à des informations d'image de la liste de Wikimedia Commons
    L'icône info-i conduit à des informations d'image de la liste de Wikimedia Commons
  • Guide pour écrire un texte alternatif
    Guide pour écrire un texte alternatif
  • Saisie du texte alternatif
    Saisie du texte alternatif
  • L'écran d'aperçu avec le texte alternatif sur l'image
    L'écran d'aperçu avec le texte alternatif sur l'image
  • Le résumé de modification automatique est ajouté, confirmation après publication
    Le résumé de modification automatique est ajouté, confirmation après publication

References

  1. ↑ https://epjdatascience.springeropen.com/articles/10.1140/epjds/s13688-021-00312-8
  2. ↑ https://www.w3.org/TR/2008/NOTE-WCAG20-TECHS-20081211/G94
  3. ↑ https://techblog.wikimedia.org/2021/09/09/the-wikipedia-image-caption-matching-challenge-and-a-huge-release-of-image-data-for-research/
  4. ↑ https://wikiworkshop.org/2023/papers/WikiWorkshop2023_paper_25.pdf
Retrieved from "https://www.mediawiki.org/w/index.php?title=Wikimedia_Apps/iOS_Suggested_edits_project/Alt_Text_Experiment/fr&oldid=6890760"