Aplicativos Wikimedia/Projeto de edições sugeridas para iOS/Experimento de texto alternativo

This page is a translated version of the page Wikimedia Apps/iOS Suggested edits project/Alt Text Experiment and the translation is 94% complete.

Outdated translations are marked like this.

Contexto

Por que estamos trabalhando nisso?

Imagens são cada vez mais prevalentes e podem fornecer informações: Pesquisas recentes mostram que imagens nos artigos da Wikipédia geram níveis mais elevados de engajamento com os artigos e fornecem informações além de ilustrarem os artigos.^[1] Se o usuário ou a usuária não conseguir visualizar a imagem devido à uma deficiência ou falta de visão, ou problemas de conectividade com a Internet, o texto alternativo pode ser utilizado. Texto alternativo é texto que pode ser associado a uma imagem e que tem a mesma finalidade e transmite as mesmas informações essenciais que a imagem.^[2]

Muitas imagens em artigos da Wikipédia não têm texto alternativo: em 2021, uma pesquisa mostrou que 46% das imagens na Wikipédia em inglês tinham legendas, 10% das imagens tinham texto alternativo e apenas 3% tinham texto alternativo eficaz.^[3] Abordar a questão da falta de texto alternativo de imagens nos artigos da Wikipédia e no Commons tem sido um tópico de discussão, pesquisa e organização já faz um bom tempo. Vários eventos de edição de texto alternativo têm sido organizados por afiliados na Polônia, Irlanda, Argentina e em eventos globais, como a Semana de Descrição de Imagens 2022.

Melhorando a acessibilidade da Wikipédia: A recomendação nº 2 da Estratégia do Movimento é melhorar a experiência do usuário e usuária, apoiando a conformidade com as mais avançadas diretrizes de acessibilidade usando software livre e de código aberto (WCAG para web, boas práticas para web móvel do W3C, etc.) Um estudo recente sobre acessibilidade de imagens na Wikipédia em vários idiomas sugeriu que parte da solução é investir em ferramentas que possam exibir artigos e imagens sem cobertura de acessibilidade.^[4]

O aplicativo Wikipédia para iOS foi nomeado escolha do editor 2017 da Apple em virtude das funcionalidades de acessibilidade do aplicativo para usuários e usuárias. A acessibilidade é um fator importante no nosso processo de design e desenvolvimento por parte das equipes de aplicativos, portanto, a tarefa de preencher a lacuna nas imagens com texto alternativo de qualidade é perfeita para nossa equipe.

Nosso protótipo inicial mostrou-se promissor: criamos uma versão experimental de prova de conceito para adicionar texto alternativo a imagens na Wikipedia no contexto do artigo sendo editado e isto foi compartilhado com usuários e usuárias na conferência GLAM de 2023.

Depois do feedback que recebemos, estamos confiantes que podemos dimensionar nosso experimento para a versão de produção do aplicativo. Parte desse experimento tem como base nossa recente adição ao aplicativo iOS da edição sugerida "Adicionar uma imagem" .

User stories

As a Spanish Wikipedia editor in LATAM using the Add an Image feature for the first time on the Wikipedia iOS app, I would like to build confidence to add alt-text while on the bus, so that I can add alt-text to future image related tasks without concern of making the state of alt-text worse on Wikipedia for low vision users.
As a Portuguese Wikipedia editor in Brazil, I would like to become aware of opportunities to add alt-text to images in articles I care about, so that I can ensure all editors are able to gain the full context of those articles
As a user navigating articles with a screen reader, I want quality alt-text to be available , so that I have the same additional context about an article as users that are not using screen readers
As a user with limited data, I want to read alt-text, so even if images are not loaded, I am aware of what is in the image

Objetivo

Se executarmos um teste A/B/C com o protótipo de edições sugeridas de texto alternativo na versão de produção do aplicativo iOS, poderemos saber se adicionar texto alternativo ás imagens é uma tarefa na qual as pessoas recém-chegadas podem ser bem-sucedidas e, em última análise, decidir se é impactante o suficiente para implementar como uma edição sugerida na Web e/ou nos aplicativos.

Este trabalho faz parte do plano anual 2024-2025 Experiências Wiki 1, focado nas experiências das pessoas contribuidoras.

O experimento dimensionado não será um feed de imagens que precisam de texto alternativo. Em vez disso, solicitaremos que usuários e usuárias adicionem texto alternativo às imagens depois de fazerem uma edição relacionada: seja adicionando a imagem usando recomendações de imagens ou após editar um artigo. Caso o usuário ou a usuária aceite a solicitação, será apresentado um fluxo dedicado para adicionar texto alternativo à imagem, com orientações e exemplos.

Através deste experimento, temos a oportunidade de:

Descobrir se pessoas editoras recém-chegadas e experientes conseguem adicionar texto alternativo com sucesso por meio de uma tarefa estruturada com orientações
Testar dois momentos diferentes para sugerir edições adicionais a usuários e usuárias:
- Depois que concluírem uma edição sugerida
- Depois que concluírem a edição de um artigo
Aumentar o número de imagens que contenham texto alternativo útil em Wikipédias-alvo

Design do experimento

Perguntas de pesquisa

Lembrar usuários e usuárias de adicionar texto alternativo é uma forma eficaz de aumentar o número de imagens com texto alternativo bem como o número de edições "Adicionar uma imagem" que incluem texto alternativo?
A adição de texto alternativo para imagens em artigos deveria ser uma sugestão de edição separada? (E caso positivo, esta seria uma tarefa apropriada para as pessoas recém-chegadas?)
Usuários e usuárias gostariam de serem solicitados a fazer melhorias adicionais no artigo que estão editando?
Orientações ajudam pessoas editoras recém-chegadas e experientes a completar a tarefa?

Experimento B: Adicionar uma solicitação de texto alternativo após o fluxo "Adicionar uma imagem"

Atualmente, apenas cerca de 16% das edições feitas por meio de recomendações de imagens adicionam texto alternativo. Queremos saber se lembrar aos usuários e as usuárias de adicionar texto alternativo é uma maneira eficaz de aumentar o número de edições que incluem texto alternativo. As pessoas editoras verão a solicitação apenas uma vez.

Hipótese: se solicitarmos uma vez a usuários e usuárias para adicionarem texto alternativo faltante à imagem após publicá-la usando a edição sugerida pela recomendações de imagem, 60% das pessoas editoras vão optar por publicar texto alternativo adicional e 10% adicionarão texto alternativo para edições futuras de recomendações de imagem realizadas nos próximos 15 dias.
Público-alvo: pessoas editoras conectadas que fizeram uma edição na funcionalidade “Adicionar uma imagem” onde texto alternativo = nulo e que ainda não foram classificadas no grupo experimental C.
Grupo A = 50% das pessoas editoras de "Adicionar uma imagem" são classificadas no grupo de controle quando esquecem o texto alternativo. Estas pessoas não são solicitadas a adicionar texto alternativo faltante.
Grupo B = 50% das pessoas editoras de "Adicionar uma imagem" são classificadas no grupo experimental quando esquecem o texto alternativo. Estas pessoas são solicitadas uma vez para adicionar texto alternativo faltante
A atribuição aos grupos A/B ocorre quando um usuário ou usuária conclui uma edição sugerida "Adicionar uma imagem", onde texto alternativo = nulo.

Experimento C: adicionar uma solicitação de texto alternativo após o fluxo de edição padrão

Queremos saber se usuários e usuárias gostariam de receber solicitações de outras melhorias que possam ser feitas no artigo que estão editando. Este é um tipo de edição sugerida em tempo hábil. A solicitação aparecerá apenas uma vez para quem está editando.

Hipótese: se solicitarmos a usuários e usuárias que adicionem texto alternativo faltante depois de publicarem uma edição em um artigo contendo uma imagem que precisa de texto alternativo, 4% das pessoas editoras adicionarão texto alternativo à imagem.
Público-alvo: pessoas editoras conectadas que tenham feito algum tipo de edição em um artigo com uma imagem sem texto alternativo e que ainda não tenham sido classificadas no grupo experimental B.
Grupo D = 50% das pessoas editoras são classificadas no grupo de controle, elas não veem nenhuma solicitação após concluir uma edição elegível.
Grupo C = 50% das pessoas editoras são classificadas no grupo experimental, elas veem 1 solicitação de texto alternativo após concluir uma edição elegível.
A amostragem nos grupos D/C deve ocorrer imediatamente após um usuário ou usuária publicar uma edição elegível para a solicitação
Edições elegíveis para solicitação de acompanhamento: qualquer edição em um artigo no namespace principal feita por um usuário ou usuária conectado

Requisitos da funcionalidade

Essenciais

O ponto de entrada deve variar dependendo do grupo experimental (veja abaixo)
Se o usuário ou a usuária responder "não" a solicitação "Adicionar texto alternativo", identifique o motivo
Orientações importantes para escrever um bom texto alternativo
Capacidade de usuários e usuárias obterem contexto sobre a imagem a partir do artigo
Capacidade de usuários e usuárias acessarem metadados relevantes (pode direcionar as pessoas à Web)
Detecção de imagens que não têm texto alternativo
Capacidade de publicar texto alternativo
A edição de texto alternativo deve ser considerada como uma edição separada SOMENTE quando enviada separadamente
O texto alternativo é publicado com um resumo de edição automático
Usuários e usuárias devem ser solicitados(as) a fornecer feedback sobre a funcionalidade
Instrumentação que nos permite avaliar o texto alternativo submetido
Campo de entrada para texto alternativo no contexto da imagem, visualização do texto alternativo no contexto do nosso editor existente
Aviso quando o texto alternativo exceder 125 caracteres
O campo de entrada não deve permitir que usuários e usuárias adicionem quebras de linha

É bom ter

Reforço positivo
Não permitir que usuários e usuárias copiem e colem na legenda da imagem
Sugerir texto alternativo (leia-se descrições de artigos assistidas por computador)
Poder reproduzir o que foi escrito na visualização
Apresentar e descrever categorias

Essenciais do experimento B Grupo experimental B (50% dos usuários e usuárias das edições sugeridas de recomendações de imagens). Estas pessoas entrarão no fluxo dedicado para texto alternativo APÓS adicionarem uma imagem a um artigo usando recomendações de imagens.

Ponto de entrada: Assim que a edição de recomendações de imagem for enviada; se texto alternativo = nulo:

Ensinar o usuário ou a usuária sobre a importância do texto alternativo e perguntar se a pessoa estaria disposta a adicionar texto alternativo à imagem
Se o usuário ou a usuária selecionar sim; iniciar o fluxo de adição de texto alternativo para a imagem adicionada mais recentemente

Após concluir a tarefa:

Mostrar uma pesquisa de quando perguntar a usuários e usuárias se esta deveria ser uma tarefa separada
Retornar os usuários e usuárias para a próxima sugestão de recomendações de imagens

Essenciais do experimento C Grupo experimental C: 50% de todas as pessoas editoras são encorajadas a adicionar texto alternativo a uma imagem ao editar um artigo com imagem

Ponto de entrada:

Após uma edição, quando uma das seguintes condições for verdadeira

Nenhuma edição foi feita em uma imagem, mas há uma imagem no artigo sem texto alternativo
A imagem foi editada, mas texto alternativo = nulo

Mostrar um aviso de que uma imagem no artigo precisa de texto alternativo e explicar a importância de adicionar texto alternativo e perguntar aos usuários e usuárias se estão dispostos a adicionar texto alternativo
Se o usuário ou usuária selecionar Sim, iniciar o fluxo de adição de texto alternativo para uma imagem no artigo que precisa desse texto

Após concluir a tarefa:

Perguntar sobre o nível de satisfação
Perguntar se esta deve ser uma tarefa dedicada
Levar o usuário ou a usuária de volta ao artigo que estava lendo

É bom ter no Experimento C

Possibilidade de revelar/revisar texto alternativo em imagens em um artigo
Se alguém estiver abandonando uma edição, solicite a adição de uma imagem se essa pessoa tiver mais de 50 edições

Wikis-alvo

Embora o feedback de todas as pessoas seja bem-vindo, temos interesse especial em ouvir:

Falantes de espanhol, francês e português nas Américas (Norte, Sul e Central) e no Caribe
Falantes de chinês na América do Norte

Planejamos realizar este experimento em parceria com as seguintes wikis:

Wikipédia em espanhol
Wikipédia em francês
Wikipédia em português
Wikipédia em chinês

Como saberemos se tivemos sucesso?

Avaliando a qualidade do texto alternativo:

Durante nossa pesquisa preliminar, vimos que as adições de texto alternativo não são formalmente patrulhadas, e por isso talvez não possamos depender apenas da taxa de reversão para compreender a qualidade do texto alternativo adicionado. Planejamos fazer uma parceria com uma organização de acessibilidade para avaliar a qualidade do texto alternativo produzido por meio deste experimento. Solicitaremos a esta organização que avalie cada entrada de texto alternativo de 1 a 5, sendo 5 a qualidade mais alta e 1 a qualidade mais baixa. Eles também irão disponibilizar uma pontuação de reversão prevista, respondendo à pergunta: se vissem este texto alternativo adicionado a uma imagem, removeriam este texto da Wikipédia?

Principais indicadores a serem medidos após 15 dias

Aumento de 10% no número médio de edições não revertidas por usuário ou usuária recém-chegado(a) único(a) nos grupos experimentais em comparação com os grupos de controle*
100 edições com valores de texto alternativo, de pelo menos 25 pessoas editoras únicas. Pelo menos 25 edições são de pessoas recém-chegadas
Mais de 15 editores únicos foram atribuídos a cada grupo experimental
Taxa de aceitação da tarefa de 70% para o grupo B, taxa de aceitação de pelo menos 10% para o grupo C (% de pessoas que entram no fluxo/impressões da solicitação)
A taxa de reversão para edições de pessoas recém-chegadas nos grupos A e B não excede 18%

More than 15 unique editors have been assigned to each experiment group

70% task acceptance rate for group B, at least 10% acceptance rate for group C (# of people who enter the flow / impressions of prompt)

Revert rate for newer editors edits in any single group does not exceed 18%

Indicadores chave

60% das pessoas editoras do grupo B publicam uma edição adicional com texto alternativo para a imagem para a qual foram solicitados

4% dos usuários e usuárias do grupo C adicionam texto alternativo quando solicitado após editar um artigo
Das pessoas editoras do grupo B que fazem uma edição subsequente de recomendações de imagens nos próximos 15 dias, 25% adicionam texto alternativo como parte dessa edição
200 imagens são melhoradas com texto alternativo, por pelo menos 50 pessoas editoras diferentes

Matriz de decisão para os próximos passos

If 71% of edits are scored a 3 or higher* we will scale the feature. If less than 70% of edits are scored a 3 or higher we will improve guidance or use AI to better assist users.
If quality scores* for newer editors are more than 50% worse than quality scores for experienced editors, we will not recommend this task be available to newer editors.
If we see at least 60% say they would use feature that provided a feed of images in need of alt text, then we will have the confidence to pursue a feed of alt-text suggested edits
If 60% or more of respondents say they would be interested in similar edit notifications for articles they are working on, and 60% of respondents are satisfied with the feature (Group C survey responses), we share this information and consider future edit prompts.

Barreiras de proteção

A Taxa de retorno de edições das pessoas editoras do grupo B ou C que receberam uma solicitação de texto alternativo não difere em mais de 10% dos grupos de controle
A taxa de reversão de edições dos grupos experimentais não excede a dos grupos de controle em mais de 5 pontos percentuais
A taxa de reversão avaliada por humanos* ou real para pessoas recém-chegadas nos grupos experimentais não excede 18%
A taxa de conclusão de tarefas de texto alternativo para pessoas recém-chegadas é superior a 25% (taxa de conclusão = número de edições de texto alternativo publicadas/pessoas que responderam “sim” a solicitação e iniciaram o fluxo)

Curiosidades

Como as taxas de conclusão de tarefas e de reversão de edições de texto alternativo por parte de pessoas recém-chegadas se comparam às de pessoas editoras experientes? Com as taxas comparáveis das edições sugeridas pelo Growth?
Como a taxa de reversão avaliada por humanos* se compara à edição sugerida de legendas de imagens do Android?
Existe uma diferença nas métricas por idioma e localização geográfica? (por exemplo, detalhando as edições da América Latina versus Europa para espanhol)
Qual é o motivo mais comum pelo qual usuários e usuárias decidem não responder a solicitação?

* Observação: para as pontuações de qualidade e pontuações de reversão avaliadas por humanos, faremos uma parceria com uma organização de acessibilidade que revisará e avaliará o texto alternativo.

Definition of newer editors: Editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment

Designs

Experimento B (fluxo de recomendações de imagens)

Adicionar imagem?
Adicionar detalhes da imagem
Adicionar legenda
Visualização
Resumo da edição
Confirmação da edição
Uma solicitação para adicionar texto alternativo aparece se o usuário ou usuária esquecer de adicionar texto alternativo à imagem anterior
Pergunta o motivo caso fechem ou escolham "Não adicionar"
Orientações de integração sobre como escrever texto alternativo
Dica de contexto: Revisar
Dica de contexto: Inspecionar
Dica de contexto: Acrescentar descrição
Adicionar texto alternativo em uma meia página, com o artigo atrás
A meia página pode ser minimizada para revisar o artigo
Ver informações da imagem
Visualizar imagem em tela cheia
Digitar texto alternativo
Aviso por exceder 125 caracteres
Revisar o texto alternativo e a legenda inseridos
Feedback sobre a edição sugerida
Feedback enviado e retorno para a próxima recomendação de imagem

Experimento C (fluxo de edição de artigos)

Confirmação de publicação da edição do artigo
Solicitação para adicionar texto alternativo a uma imagem de um artigo
Integração
Adicionar página de texto alternativo
O fluxo continua conforme mostrado acima no Experimento B (digitar texto alternativo, revisar, publicar)
Pesquisa de satisfação
Pesquisa sobre o recebimento de notificações semelhantes sobre edições sugeridas
Feedback enviado e retorno para visualização do artigo

Como acompanhar

Criamos T357437, Alt-Text Suggested Edit Scaled Experiment on iOS como nosso epic Phabricator. Encorajamos sua colaboração lá ou em nossa página de discussão. Também atualizaremos periodicamente esta página à medida que avançamos no experimento.

Atualizações

Junho 2024

Concluímos a análise dos testes de usabilidade para os fluxos B e C em inglês e atualizaremos os designs com base nesses resultados e na revisão do design. T360567
- Resumo dos resultados:
  - Houve um entendimento claro sobre o que a solicitação do texto alternativo pedia que fosse feito
    - Para o fluxo B: 5/5 pessoas entenderam que estavam sendo solicitadas a adicionar texto alternativo à imagem anterior porque esse texto estava faltando
    - Para o fluxo C: 5/5 pessoas entenderam que estavam adicionando texto alternativo a uma imagem do artigo em que haviam acabado de corrigir uma palavra com erro ortográfico.
  - A integração, as dicas de contexto e as orientações foram claras e úteis para os usuários e usuárias, com algumas pequenas melhorias possíveis
    - 10/10 pessoas acharam que a integração foi clara
    - 9/10 pessoas acharam as dicas de contexto claras e úteis
  - Os usuários e usuárias podiam dar um zoom, mas a primeira escolha não era compatível
    - 5/10 pessoas clicavam na imagem primeiro para depois dar um zoom
    - 5/10 pessoas davam um zoom primeiro na miniatura para depois clicar e abrir
  - A maioria dos usuários e usuárias conseguiram encontrar as orientações necessárias
    - 06/10 pessoas abriam o link "Orientações para escrever texto alternativo"
  - Usuários e usuárias conseguiram encontrar informações adicionais sobre a imagem
    - 6/10 pessoas souberam clicar no info-i ao lado da imagem, 1/10 pessoa encontrou após ser solicitada
    - 1/10 pessoa clicou na imagem primeiro e depois encontrou o botão info-i. A maioria das pessoas testadoras achou que as informações fornecidas sobre a imagem estavam completas, enquanto outras pessoas acharam que pequenas melhorias eram possíveis
    - 6/10 pessoas acharam que as informações estavam completas e nada de importante estava faltando
  - As pessoas testadoras entenderam a tarefa e foram capazes de resumi-la com sucesso posteriormente
  - Todas as pessoas testadoras estavam confiantes de que poderiam adicionar texto alternativo a uma nova imagem

agosto de 2024 Special Update

The alt text experiment has been released to Beta Testers, on Spanish, Portuguese, French, and Chinese Wikipedias. Editors making edits on articles containing images without alt text, or adding images using “Add an Image” may see one prompt asking them to add alternative text to an image. The experiment will run until early November.
Check out a demo of the flow on Portuguese Wikipedia:
Two A/B tests running in the iOS App that prompt users to add alternative text after a relevant edit
If you would like to download the beta version of the app to test, please follow these testing instructions.

julho de 2024

We held a Deep dive meeting with the team and stakeholders from the GLAM and Research teams to review the experiment plan, designs, and timeline. Most recent designs have been added above
We defined our comparison group for learning how newer editors performed on the task as: editors who had fewer than 10 edits on that wiki they are currently editing at the point they entered the experiment. We’ll use the term “newer editors” to refer to this group, as not to confuse them with brand new accounts.
The team began development on the Alt text experiment, you can follow our work on the Engineering Epic: T357440
We learned that in iOS, the baseline for image recommendation edits that contain alt text is 16%.
We reviewed a sample of the alt text that had been entered by users in Image Recommendations. We saw that 15% of edits evaluated repeated the exact same text in the image caption as in the alt text, and that only 14% of edits evaluated had alt text of reasonable quality. This stresses the importance of adding guidance for writing effective alt text in our flow, and for preventing users from copy / pasting between the fields.
We learned about a new form of AI that is creating alt text for images on the London Museum’s website. If results from this experiment show that users struggle with writing alt text, this could be an avenue to explore for adding AI assistance.

junho de 2024

We completed analysis of usability testing for flows B and C in English, and will be updating the designs based on these results and design review. T360567
- Summary of results:
  - There was clear understanding on what the alt text prompt was asking them to do
    - For flow B: 5/5 understood that they were being asked to add alt text to the previous image because it's missing
    - For flow C: 5/5 understood that they were adding alt text for an image from the article you just corrected the misspelled word in.
  - The onboarding, tooltips, and guidance were clear and helpful to users, with some room for small improvements
    - 10/10 thought the onboarding was clear
    - 9/10 thought the tooltips were clear and helpful
  - Users would be able to zoom, but their first choice was not supported
    - 5/10 tapped on the image first, then pinch and zoom
    - 5/10 would pinch and zoom first on thumbnail, then tap to open
  - Most users could find the guidance they needed
    - 6/10 would open the "Guidance for writing alt text" link
  - Users could find additional information about the image
    - 6/10 knew to click on the info-i next to the image, 1/10 found it after being prompted.
    - 1/10 tapped on the image first, then found the info-i button -Most testers thought the image information provided was complete, while others noted room for small improvements
    - 6/10 felt the information was complete and not missing anything important
  - Testers understood the task, and were able to successfully summarize it afterwards
  - All testers felt confident they could add alt text to a new image

maio de 2024

A análise dos testes de usuários e usuárias está em andamento em inglês e chinês. O teste foi feito com dois protótipos dos fluxos para adiçionar texto alternativo:
- Fluxo B solicitando que usuários e usuárias adicionem texto alternativo à imagem que acabaram de adicionar usando “Adicionar uma imagem”
  Protótipo para o Fluxo B do experimento de texto alternativo

Fluxo C solicitando que usuários e usuárias adicionem texto alternativo a uma imagem em um artigo no qual acabaram de corrigir um erro de digitação ou editar