Wikimedia Apps/iOS Proyecto de ediciones sugeridas/Experimento Alt Text

This page is a translated version of the page Wikimedia Apps/iOS Suggested edits project/Alt Text Experiment and the translation is 94% complete.

Outdated translations are marked like this.

Antecedentes

¿Por qué estamos trabajando en esto?

Las imágenes son cada vez más frecuentes y pueden aportar información: Estudios recientes demuestran que las imágenes en los artículos de Wikipedia aumentan el interés por los artículos y aportan información además de ilustraciones.^[1] Si un usuario no puede ver la imagen por falta de visión o conectividad a Internet, puede utilizar el texto alternativo (o alt text). El texto alternativo es un texto que puede asociarse a una imagen con el mismo propósito y que transmite la misma información esencial que la imagen.^[2]

Muchas imágenes de los artículos de Wikipedia carecen de texto alternativo: En 2021, una investigación demostró que el 46% de las imágenes de la Wikipedia en inglés tenían subtítulos, el 10% de las imágenes tenían texto alternativo y solo el 3% tenía un texto alternativo eficaz.^[3] La falta de texto alternativo en las imágenes de los artículos de Wikipedia y en Commons ha sido durante mucho tiempo un tema de debate, investigación y organización. Varios eventos de edición de texto alternativo han sido organizados por afiliados en Polonia, Irlanda, Argentina, y a través de eventos globales como Descripción de la imagen de la Semana 2022.

Mejorar la accesibilidad de Wikipedia: La recomendación nº 2 de la Estrategia del Movimiento es mejorar la experiencia del usuario apoyando el cumplimiento de las pautas de accesibilidad más avanzadas utilizando software libre y de código abierto (WCAG para web, mejores prácticas de web móvil del W3C, etc.). Un estudio reciente sobre la accesibilidad de las imágenes en Wikipedia en distintos idiomas sugiere que una parte de la solución consiste en invertir en herramientas que puedan sacar a la superficie artículos e imágenes sin cobertura de accesibilidad.^[4]

La aplicación de Wikipedia para iOS fue la elegida por los editores de Apple en 2017 gracias a sus funciones de accesibilidad para los usuarios. La accesibilidad es un factor importante para nuestro proceso de diseño y desarrollo en los equipos de aplicaciones, por lo que una tarea para llenar el vacío en las imágenes con texto alternativo de calidad es adecuado para nuestro equipo.

Nuestro primer prototipo era prometedor:Creamos una prueba de concepto experimental para añadir texto alternativo a las imágenes de Wikipedia en el contexto de su artículo, y lo compartimos con los usuarios en la conferencia GLAM 2023.

Después de recibir comentarios, nos sentimos seguros con la ampliación de nuestro experimento en la versión de producción de la aplicación. Parte de este experimento se basa en nuestra reciente adición a la aplicación iOS de la edición sugerida de «Añadir una imagen».

User stories

As a Spanish Wikipedia editor in LATAM using the Add an Image feature for the first time on the Wikipedia iOS app, I would like to build confidence to add alt-text while on the bus, so that I can add alt-text to future image related tasks without concern of making the state of alt-text worse on Wikipedia for low vision users.
As a Portuguese Wikipedia editor in Brazil, I would like to become aware of opportunities to add alt-text to images in articles I care about, so that I can ensure all editors are able to gain the full context of those articles
As a user navigating articles with a screen reader, I want quality alt-text to be available , so that I have the same additional context about an article as users that are not using screen readers
As a user with limited data, I want to read alt-text, so even if images are not loaded, I am aware of what is in the image

Objetivo

Si realizamos una prueba A/B/C con el prototipo de ediciones sugeridas de texto alternativo en la versión de producción de la aplicación para iOS, podremos saber si añadir texto alternativo a las imágenes es una tarea que los recién llegados realizan con éxito y, en última instancia, decidir si es lo suficientemente impactante como para implementarlo como edición sugerida en la Web y/o en las aplicaciones.

Este trabajo forma parte del 2024-2025 Plan anual Experiencias Wiki 1, centrado en la Experiencia del colaborador.

El experimento a escala no consistirá en un feed de imágenes que necesiten texto alternativo. En su lugar, pediremos a nuestros usuarios que añadan texto alternativo a las imágenes después de que hayan realizado una edición relacionada, ya sea añadiendo la imagen mediante las recomendaciones de imágenes o después de editar un artículo. Si el usuario acepta el aviso, se le guiará a través de un flujo específico para añadir texto alternativo a la imagen, con orientaciones y ejemplos.

A través de este experimento, tenemos la oportunidad de

Averiguar si los recién llegados y los editores experimentados pueden añadir texto alternativo con éxito mediante una tarea estructurada y guiada.
Probar 2 momentos diferentes para sugerir ediciones adicionales a los usuarios:
- Después de que un usuario complete una edición sugerida
- Después de que un usuario complete la edición de un artículo
Aumentar el número de imágenes en las Wikipedias de destino que contienen texto alternativo útil.

Diseño del experimento

Preguntas de la investigación

¿Recordar a usuarios que añadan texto alternativo resulta una forma efectiva de aumentar el número de imágenes con texto alternativo, y el número de ediciones «Añadir una imagen» que incluyen texto alternativo?
¿Debería ser una sugerencia de edición independiente añadir texto alternativo para las imágenes de los artículos? (Y si es así, ¿sería una tarea apropiada para los recién llegados?)
¿Los usuarios agradecerían que se les indicaran otras mejoras que pueden introducir en el artículo que están editando?
¿Una guía ayuda a los recién llegados y a los editores experimentados a completar la tarea?

Experimento B: Añadir texto alternativo después del flujo «Añadir una imagen» ==

Actualmente, solo alrededor del 16% de las ediciones realizadas a través de las recomendaciones de imágenes incluyen texto alternativo. Queremos saber si recordar a estos usuarios que añadan el texto alternativo es una forma eficaz de aumentar el número de ediciones que lo incluyen. A los editores únicamente se les mostrará el aviso una vez.

Hipótesis: si pedimos a los usuarios una vez que añadan el texto alternativo que falta a su imagen después de que hayan publicado una imagen utilizando la edición sugerida por las recomendaciones de imágenes, veremos que el 60% de los editores optan por publicar adicionalmente el texto alternativo, y el 10% añadirá el texto alternativo para las ediciones posteriores de recomendación de imágenes realizadas en los próximos 15 días.
Audiencia: editores registrados que han completado una edición en la función «Añadir una imagen» donde alt text = null, y que aún no han sido clasificados en el grupo de experimentos C
Grupo A = El 50% de los editores de «Añadir una imagen» se clasifican en el grupo de control cuando olvidan el texto alternativo. No se les pide que añadan el texto alternativo que falta.
Grupo B = El 50% de los editores de «Añadir una imagen» se clasifican en el grupo Experimento cuando olvidan el texto alternativo. Se les pide una vez que añadan el texto alternativo que falta.
Asignación al grupo A/B ocurre cuando un usuario completa una edición sugerida «Añadir una imagen» donde alt text = null.

Experimento C: Añadir texto alternativo después del flujo de edición estándar

Queremos saber si los usuarios agradecerían que se les indicaran otras mejoras que pueden introducir en el artículo que están editando. Se trata de un tipo de sugerencia de edición a tiempo. A los editores solo se les mostrará la sugerencia una vez.

Hipótesis: si pedimos a los usuarios que añadan el texto alternativo que falta después de que hayan publicado una edición en cualquier artículo que contenga una imagen que necesite texto alternativo, el 4% de los editores añadirán texto alternativo a la imagen.
Audiencia: editores registrados que hayan realizado cualquier tipo de edición en un artículo con una imagen que carezca de texto alternativo y que no hayan sido clasificados en el grupo B del experimento.
Grupo D = 50% de los editores están clasificados en el grupo de control, no ven ningún aviso después de completar una edición elegible.
Grupo C = 50% de los editores se clasifican en el grupo de Experimento, ven 1 aviso de texto alternativo después de completar una edición elegible.
El muestreo en el grupo D/C debería ocurrir inmediatamente después de que un usuario publique una edición que sea elegible para el aviso.
Ediciones elegibles para el seguimiento: cualquier edición hecha por un usuario conectado en un artículo en el espacio de nombres principal.

Requisitos técnicos

Imprescindible

El punto de entrada variará en función del grupo experimental (véase más abajo).
Si un usuario responde «no» a la pregunta «Añadir texto alternativo», explique por qué
Orientación destacada para escribir un buen texto alternativo.
Los usuarios pueden obtener contexto sobre la imagen a partir del artículo.
Capacidad de los usuarios para acceder a los metadatos relevantes (puede llevar al usuario a la Web).
Detección de las imágenes que no tienen texto alternativo
Posibilidad de publicar texto alternativo
La edición del texto alternativo debe contar como una edición separada SOLO cuando se envía por separado.
El texto alternativo se publica con el resumen de edición automático
Se debe pedir a los usuarios que den su opinión sobre la función.
Instrumentos que nos permitan evaluar el texto alternativo enviado.
Campo de entrada para el texto alternativo en el contexto de la imagen, vista previa del texto alternativo en el contexto de nuestro editor existente.
Advertencia cuando el texto alternativo supera los 125 caracteres.
El campo de entrada no debe permitir a los usuarios añadir saltos de línea

Agradable de tener

Refuerzo positivo
No permitir a los usuarios copiar y pegar en el pie de imagen
Sugerir texto alternativo (pensar en descripciones de artículos asistidas por máquina)
Puede reproducir lo que se escribió en la vista previa
Categorías de superficie y representaciones

Los imprescindibles del Experimento B Grupo de experimentación B (50% de los usuarios de Recomendaciones de imágenes y ediciones sugeridas). Entrarán en el flujo dedicado para Alt Text DESPUÉS de añadir una imagen a un artículo utilizando Recomendaciones de imágenes.

Punto de entrada: Después de que se envíen las recomendaciones de edición de imágenes; si alt-text = null:

Educar al usuario sobre la importancia del texto alternativo y preguntarle si estaría dispuesto a añadir texto alternativo a la imagen.
Si el usuario selecciona sí, se inicia el flujo de adición de texto alternativo para la imagen añadida más recientemente.

Una vez completada la tarea:

Mostrar una encuesta para preguntar a los usuarios si debería ser una tarea separada
Devolver a los usuarios a la siguiente sugerencia de recomendación de imágenes

'Experimento C: Lo que hay que tener Grupo de Experimento C: el 50% de los editores reciben estímulos para añadir texto alternativo a una imagen cuando editan un artículo con una imagen.

Punto de entrada:

Después de una edición en la que alguna de las siguientes situaciones era cierta

No se ha editado ninguna imagen, pero hay una imagen en el artículo sin texto alternativo.
Se ha editado la imagen pero el texto alternativo = null

Muestra un aviso de que una imagen del artículo necesita texto alternativo, explica la importancia de añadirlo y pregunta a los usuarios si están dispuestos a añadirlo.
Si los usuarios seleccionan Sí, inicie el flujo de adición de texto alternativo para una imagen del artículo que necesite texto alternativo.

Una vez finalizada la tarea

Preguntar satisfacción
Preguntar si esto debería ser una tarea dedicada
Devuelve al usuario al artículo que estaba leyendo

Experimento C Agradable de Tener

Posibilidad de mostrar/revisar el texto alternativo de las imágenes de un artículo.
Si alguien abandona una edición, lanzar la opción de añadir una imagen si tiene más de 50 ediciones.

Wikis Involucradas

Aunque agradecemos los comentarios de todo el mundo, estamos especialmente interesados en escuchar los de:

hablantes de español, francés y portugués en América (del Norte, del Sur y Central) y el Caribe
hablantes de chino en Norteamérica

Tenemos previsto llevar a cabo este experimento en colaboración con las siguientes wikis:

Wikipedia en español
Wikipedia en francés
Wikipedia en portugués
Wikipedia en chino

¿Cómo sabremos que hemos tenido éxito?

Evaluación de la calidad del Alt Text:

En nuestra investigación preliminar, descubrimos que las adiciones de texto alternativo no se patrullan formalmente, por lo que es posible que no podamos basarnos únicamente en la tasa de reversiones para comprender la calidad del texto alternativo que se está añadiendo. Tenemos previsto colaborar con una organización de accesibilidad para evaluar la calidad del texto alternativo producido a través de este experimento. Les pediremos que califiquen cada entrada de texto alternativo de 1 a 5, siendo 5 la calidad más alta y 1 la más baja. También proporcionarán una puntuación de reversión prevista, respondiendo a la pregunta: si vieran ese texto alternativo añadido a una imagen, ¿la eliminarían de Wikipedia?

Indicadores principales que se medirán a los 15 días

Hay un aumento del 10% en el número medio de ediciones no revertidas por usuario único recién llegado en los grupos del experimento en comparación con el grupo de control*.
100 ediciones con valores de texto alternativo, de al menos 25 editores únicos. Al menos 25 ediciones son de recién llegados.
Se han asignado más de 15 editores únicos a cada grupo experimental.
70% de tasa de aceptación de la tarea para el grupo B, al menos 10% de tasa de aceptación para el grupo C (% de personas que entran en el flujo / impresiones del prompt)
El índice de reversión de las ediciones de los recién llegados en los grupos A y B no supera el 18%.

More than 15 unique editors have been assigned to each experiment group

70% task acceptance rate for group B, at least 10% acceptance rate for group C (# of people who enter the flow / impressions of prompt)

Revert rate for newer editors edits in any single group does not exceed 18%

Indicadores clave

El 60% de los editores del grupo B publican una edición adicional con un texto alternativo para la imagen sobre la que se les ha preguntado.
4% de los usuarios del grupo C añaden texto alternativo cuando se les pide después de editar un artículo
De los editores del grupo B que realizan una edición posterior de recomendaciones de imagen en los próximos 15 días, el 25% añade texto alternativo como parte de esa edición.
200 imágenes mejoradas con texto Alt, por al menos 50 editores únicos

Matriz de decisiones para los próximos pasos

If 71% of edits are scored a 3 or higher* we will scale the feature. If less than 70% of edits are scored a 3 or higher we will improve guidance or use AI to better assist users.
If quality scores* for newer editors are more than 50% worse than quality scores for experienced editors, we will not recommend this task be available to newer editors.
If we see at least 60% say they would use feature that provided a feed of images in need of alt text, then we will have the confidence to pursue a feed of alt-text suggested edits
If 60% or more of respondents say they would be interested in similar edit notifications for articles they are working on, and 60% of respondents are satisfied with the feature (Group C survey responses), we share this information and consider future edit prompts.

Guardarraíles

La tasa de retorno de ediciones de los editores de los grupos B o C que han recibido un aviso de texto Alt no difiere de los controles en más de un 10%.
La tasa de reversión de las ediciones de los grupos experimentales no supera la de los controles en más de 5 puntos porcentuales.
La tasa de reversiones reales o calificadas por humanos de los recién llegados a los grupos experimentales no supera el 18%.
La tasa de finalización de la tarea de texto alternativo para los recién llegados es superior al 25% (tasa de finalización = número de ediciones de texto alternativo publicadas / los que dijeron «sí» a la pregunta e iniciaron el flujo).

Curiosidades

¿Cómo se compara la tasa de finalización de tareas y la tasa de reversión de las ediciones de texto alternativo de los recién llegados con la de los editores experimentados? ¿Con la de tasas comparables de ediciones sugeridas por Growth?
¿Cómo se compara la tasa de reversiones por humanos* con la de la edición sugerida de subtítulos de imágenes de Android?
¿Existe alguna diferencia en las métricas por idioma y geografía? (Por ejemplo, desglosando las ediciones de Latinoamérica frente a las de Europa para el español)
¿Cuál es la razón más común por la que los usuarios deciden no actuar?

* Nota: para las puntuaciones de calidad y las puntuaciones de reversión calificadas por humanos, nos asociaremos con una organización de accesibilidad que revisará y calificará el texto alternativo.

Definition of newer editors: Editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment

Diseños

Experimento B (Flujo de recomendaciones de imágenes)

¿Añadir una imagen?
Añadir detalles de la imagen
Añade un pie de foto
Vista previa
Resumen de edición
Confirmar edición
Si el usuario olvida añadir el texto alternativo a la imagen anterior, se le pedirá que lo añada.
Pregunta por el motivo si cierran o eligen «No añadir»
Orientación sobre cómo escribir texto alternativo
Tooltip: Revisión
Tooltip: Inspección
Tooltip: Añadir descripción
Añadir texto alternativo desde una hoja intermedia, con el artículo detrás
La media hoja puede minimizarse para revisar el artículo
Información de la página
Vea la imagen en pantalla completa
Escribir texto alternativo
Advertencia por superar los 125 caracteres
Revisar el texto alternativo y el pie de foto introducidos
Comentarios sobre la edición sugerida
Comentarios enviados y devueltos a la siguiente recomendación de imagen

Experimento C (Flujo de edición de artículos)

Confirmación de publicación desde la edición del artículo
Indicación para añadir texto alternativo a la imagen de un artículo
Incorporación
Añadir hoja de texto alternativo
El flujo continúa como se muestra arriba en el Experimento B (escribir texto alternativo, revisar, publicar)
Encuesta sobre satisfacción
Encuesta sobre la recepción de notificaciones similares sobre las ediciones sugeridas
Comentarios enviados y devueltos a la visualización del artículo

Cómo hacer el seguimiento

Hemos creado T357437, Experimento de edición a escala sugerido con texto alternativo en iOS como nuestra epopeya de Phabricator. Te animamos a colaborar allí o en nuestra página de discusión. También habrá actualizaciones periódicas de esta página a medida que avancemos en el experimento.

Actualizaciones

Junio 2024

Hemos completado el análisis de las pruebas de usabilidad de los flujos B y C en inglés, y actualizaremos los diseños basándonos en estos resultados y en la revisión del diseño. T360567
- Resumen de resultados:
  - Hubo una clara comprensión de lo que el texto alternativo les pedía que hicieran.
    - Para el flujo B: 5/5 entendieron que se les pedía que añadieran texto alternativo a la imagen anterior porque faltaba.
    - Para el flujo C: 5/5 entendieron que estaban añadiendo texto alternativo para una imagen del artículo en el que acabas de corregir la palabra mal escrita.
  - La introducción, la información sobre las herramientas y la orientación fueron claras y útiles para los usuarios, aunque se pueden introducir algunas pequeñas mejoras.
    - 10/10 opinó que la introducción era clara.
    - 9/10 opina que la información sobre las herramientas es clara y útil.
  - Los usuarios podían hacer zoom, pero su primera opción no estaba disponible.
    - 5/10 tocaba primero la imagen y luego pellizcaba y ampliaba.
    - 5/10 pellizcaba y hacía zoom primero en la miniatura y luego tocaba para abrirla.
  - La mayoría de los usuarios pudieron encontrar la orientación que necesitaban
    - 6/10 abría el enlace « Orientación para escribir texto alternativo».
  - Los usuarios pudieron encontrar información adicional sobre la imagen
    - 6/10 sabía que tenía que pulsar el botón info-i junto a la imagen, 1/10 lo encontró después de que se le preguntara.
    - 1/10 pulsó primero sobre la imagen y luego encontró el botón info-i -La mayoría de los usuarios opinaron que la información sobre la imagen era completa, mientras que otros señalaron que se podían introducir pequeñas mejoras
    - 6/10 consideró que la información era completa y que no faltaba nada importante.
  - Los evaluadores comprendieron la tarea y fueron capaces de resumirla con éxito.
  - Todos los evaluadores se sintieron seguros de poder añadir texto alternativo a una nueva imagen.

septiembre de 2024

The alternative text experiment is now live in production! You can view the work that went into this release on this task: T357440
Our preliminary 15-day analysis shows that:
- 150 app users have been assigned into the experiment.
- For those shown the prompt to add alt text, 55.3% are accepting the task after having completed an Image recommendation, and 16.0% are accepting the task after making an article edit. The acceptance rate for image recommendations was lower than we expected, but for article editing it was higher than expected.
- 7 successful alternative text edits have been published by 7 unique users, and 0% have been reverted so far.
We are planning to extend the length of the experiment to 60-days, and to display another announcement about “Add an image” to motivate more users to enter the experiment. The experiment is now scheduled to run until 5 November.
We will be partnering with the accessibility organization, Fundación Dalat, for evaluating the results of the experiment. Native speakers for Chinese, French, Spanish, and Portuguese who will grade the respective alternative text entered, and review the edits.

agosto de 2024 Special Update

The alt text experiment has been released to Beta Testers, on Spanish, Portuguese, French, and Chinese Wikipedias. Editors making edits on articles containing images without alt text, or adding images using “Add an Image” may see one prompt asking them to add alternative text to an image. The experiment will run until early November.
Check out a demo of the flow on Portuguese Wikipedia:
Two A/B tests running in the iOS App that prompt users to add alternative text after a relevant edit
If you would like to download the beta version of the app to test, please follow these testing instructions.

agosto de 2024

We began work on the Alternative Text experiment. We added a new capability in the app: developer settings. This will allow us to move quickly and deploy things behind feature flags more in the future. Tasks completed included:
- Add developer settings option in the app. T334848
- Add feature flag and toggle into Developer settings for alt text experiment. T370221
- Update ABTestsController, Assign groups for alt text experiment. T370228
- Publish Wikitext for Alt Text experiment - Flow B. T370236
- Trigger Alt-Text task from Image Recommendations (flow B) and create Modal. T370229
- Bypass edit count logic in existing explore feed card logic for target wikis. T370224
- Add ability to send analytics events to wmflabs. T371412
All tasks are visible in Sub epic: T357437

julio de 2024

We held a Deep dive meeting with the team and stakeholders from the GLAM and Research teams to review the experiment plan, designs, and timeline. Most recent designs have been added above
We defined our comparison group for learning how newer editors performed on the task as: editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment. We’ll use the term “newer editors” to refer to this group, as not to confuse them with brand new accounts.
The team began development on the Alt text experiment, you can follow our work on the Engineering Epic: T357440
We learned that in iOS, the baseline for image recommendation edits that contain alt text is 16%.
We reviewed a sample of the alt text that had been entered by users in Image Recommendations. We saw that 15% of edits evaluated repeated the exact same text in the image caption as in the alt text, and that only 14% of edits evaluated had alt text of reasonable quality. This stresses the importance of adding guidance for writing effective alt text in our flow, and for preventing users from copy / pasting between the fields.
We learned about a new form of AI that is creating alt text for images on the London Museum’s website. If results from this experiment show that users struggle with writing alt text, this could be an avenue to explore for adding AI assistance.

junio de 2024

We completed analysis of usability testing for flows B and C in English, and will be updating the designs based on these results and design review. T360567
- Summary of results:
  - There was clear understanding on what the alt text prompt was asking them to do
    - For flow B: 5/5 understood that they were being asked to add alt text to the previous image because it's missing
    - For flow C: 5/5 understood that they were adding alt text for an image from the article you just corrected the misspelled word in.
  - The onboarding, tooltips, and guidance were clear and helpful to users, with some room for small improvements
    - 10/10 thought the onboarding was clear
    - 9/10 thought the tooltips were clear and helpful
  - Users would be able to zoom, but their first choice was not supported
    - 5/10 tapped on the image first, then pinch and zoom
    - 5/10 would pinch and zoom first on thumbnail, then tap to open
  - Most users could find the guidance they needed
    - 6/10 would open the "Guidance for writing alt text" link
  - Users could find additional information about the image
    - 6/10 knew to click on the info-i next to the image, 1/10 found it after being prompted.
    - 1/10 tapped on the image first, then found the info-i button -Most testers thought the image information provided was complete, while others noted room for small improvements
    - 6/10 felt the information was complete and not missing anything important
  - Testers understood the task, and were able to successfully summarize it afterwards
  - All testers felt confident they could add alt text to a new image

mayo de 2024

Se están realizando pruebas con usuarios en inglés y chino. Las pruebas se realizaron con dos prototipos de los flujos para añadir texto alternativo:
- Flujo B, que pide a los usuarios que añadan texto alternativo a la imagen que acaban de añadir mediante «Añadir una imagen».
  Prototipo del Flujo B del experimento de texto alternativo
- Flujo C que pide a los usuarios que añadan texto alternativo a una imagen en un artículo en el que acaban de corregir un error tipográfico o realizar una edición:
  Prototipo del Flujo C del experimento de texto alternativo