Aide:Traduction de contenu/Traduire/Qualité des traductions
 |
Note : si vous modifiez cette page, vous acceptez de placer votre contribution sous licence CC0. Plus d’informations sont disponibles sur le projet Aide dans le domaine public. | |
Lors de la création d’une traduction, il est essentiel de relire les contenus avant de les publier. Vous devez vous assurer que le contenu produit n'altère pas le sens d'origine de manière involontaire, et vérifier qu'il se lit naturellement dans la langue de destination. La traduction automatique initiale peut aider à accélérer le processus de traduction grâce à un bon point de départ, mais l’outil encourage les utilisateurs à relire et modifier significativement les contenus initiaux.
Divers mécanismes sont mis en place pour s'assurer que les traducteurs corrigent correctement les traductions initiales. L'éditeur de traduction vérifie quelle part de la traduction initiale a été modifiée par l'utilisateur et définit différentes limites permettant soit d'empêcher la publication, soit d'avertir les utilisateurs pour les inciter à revoir le contenu.
De cette manière, l’outil permet aux utilisateurs d’utiliser la traduction automatique lorsqu’ils en font une bonne utilisation, et empêche la publication de traductions de mauvaise qualité, à peine relues. Plus de détails sur le fonctionnement de ces limites, la possibilité de les ajuster pour les besoins de chaque langue, et comment mesurer la qualité du contenu produit avec l’outil sont fournis ci-dessous.
Limites pour inciter à vérifier la traduction
L’outil de Traduction de contenu mesure le pourcentage de modifications réalisées par les utilisateurs sur la traduction automatique initialement fournie. De cette manière, le système sait combien de mots ont été ajoutés, supprimés ou modifiés dans la traduction initiale. Ces mesures sont réalisées à deux niveaux différents : pour chaque paragraphe et pour la traduction complète. Différentes limites sont appliquées à chaque niveau, comme indiqué ci-dessous.
Limites pour la traduction complète
La publication est bloquée si 95% ou plus du document global est du contenu non modifié issu d'une traduction automatique. Cette limite permet d'éviter les traductions automatiques quasi brutes et de bloquer les vandalismes les plus évidents. Elle empêche également les utilisateurs de se contenter d'ajouter du contenu, sans modifier la partie traduite par la machine. Comme détaillé ci-dessous, cette limite peut être ajustée en fonction de la langue.
Limites pour chaque paragraphe
Pour chaque paragraphe, le pourcentage de modifications réalisées est également mesuré. Un paragraphe est considéré comme étant problématique lorsqu’il contient plus de 85 % du texte de la traduction automatique (ou, lors de la copie du contenu depuis le document source, lorsqu’il contient plus de 60 % du contenu non modifié).
L’éditeur de traductions affichera un avertissement pour chaque paragraphe considéré comme étant problématique, afin de mener l’utilisateur à le modifier davantage. Dans certains cas, les utilisateurs peuvent quand même publier leur contribution, mais la page résultante risque d’être ajoutée à une catégorie de suivi contenant des traductions potentiellement non relues, afin que la communauté puisse les vérifier. Dans d’autres cas, il sera tout simplement impossible pour les utilisateurs d’effectuer la publication.
Voici quelques-uns des facteurs considérés pour déterminer si l’utilisateur doit être autorisé à publier ou non (certains d’entre eux sont encore en cours de développement) :
- Le nombre de paragraphes problématiques. L’outil empêche les utilisateurs de publier les traductions qui comportent 50 paragraphes problématiques et au delà. Les utilisateurs peuvent toujours publier des traductions comportant moins de 50 paragraphes problématiques, mais les traductions en comportant entre 10 et 49 seront ajoutées à une catégorie de suivi de traductions potentiellement non relues afin que la communauté puisse les vérifier.
- Traductions précédentes supprimées Pour éviter des problèmes récurrents, l'outil identifie les utilisateurs dont les traductions publiées ont été supprimées au cours des 30 derniers jours, et impose des limites beaucoup plus strictes à leurs efforts de traduction ultérieurs. Dans ce cas, les traductions comportant 10 paragraphes problématiques et au delà, ne pourront pas être publiées, tandis que celles en comportant 9 ou moins seront ajoutées à une catégorie de suivi des traductions potentiellement non relues pour que la communauté puisse les relire.
- Confirmation par un autre utilisateur. Un seuil moins strict est appliqué pour les paragraphes que des utilisateurs ont marqués comme résolus, signe que l’utilisateur a relu et confirmé le statut de la traduction. Si l’avertissement de contenu non modifié a été affiché pour un paragraphe mais que l’utilisateur l’a marqué comme résolu, nous appliquons un seuil moins strict (en acceptant 95 % de traduction automatique ou 75 % de contenu source). Cela permettra de traiter plus facilement les cas où la traduction automatique s’est révélée exceptionnellement bonne, mais empêche toujours des usages abusifs de la fonctionnalité (c’est-à-dire que la confirmation par un autre utilisateur ne doit pas non plus être admise aveuglément).
Contenus non affectés par les limites
Certains contenus ne sont pas faits pour être modifiés significativement, et ainsi ils sont ignorés lors de l’application des limites décrites ci-dessus. Les titres de section très courts, les citations et les listes de références sont exclues des vérifications. Sans cela, les utilisateurs pourraient recevoir des avertissements trompeurs sur la traduction de contenu qui ne devraient pas être, comme des titres de livres apparaissant dans des références ou d'autres noms propres.
Limites dans l'expérience sur mobiles
Pour l'expérience sur mobiles, l'ensemble initial de limites a une approche plus simple. Pour le moment, seul le pourcentage global de traduction automatique non modifiée pour l'ensemble de la traduction est pris en considération. Sur mobile, la traduction entière comporte juste une section de l'article.
En particulier, un avertissement apparaît lorsque le pourcentage de traduction automatique non modifiée dépasse 85% pour l'ensemble de la section, et la publication est empêchée lorsque le pourcentage de traduction automatisée non modifiée est supérieur à 95%.
Les commentaires sur le fonctionnement du système de limites dans le contexte mobile seraient très utiles sur la manière de faire évoluter cette approche initiale.
Publication of fast unreviewed translations
Campaigns and contests can result in spikes of translations where some user unfamiliar with the community policies may focus on making many translations and not pay enough attention to review their contents. In order to emphasize quality over quantity, a mechanism has been defined to limit the publication of fast unreviewed translations.
After a user translates a large article, the next translation can only be started after some time has passed. The waiting period estimation considers 1 minute per paragraph up to 10 minutes. That is:
- For articles with 10 paragraphs or less, we want to make sure that users spent translating it at least N minutes (one minute per paragraph)
- For articles with more than 10 paragraphs we want to make sure that users spent translating it at least 10 minutes.
This has been applied on mobile initially since it is a space with less activity, and after measuring the impact we'll consider expanding it to desktop too.
Ajuster les limites
Les limites données ci-dessus constituent un ensemble de mécanismes généraux, mais peuvent requérir des ajustements aux besoins particuliers de chaque wiki. À partir d’évaluations initiales, la quantité de modifications demandées sur la traduction automatique peut aller de 10 % à 70 % en fonction du couple de langues. Sur certains wikis, les limites par défaut peuvent être trop strictes, générant un tapage inutile ou empêchant des traductions parfaitement justes d’être publiées. Sur d’autres wikis, les limites peuvent ne pas être suffisamment strictes, permettant la publication de traductions qui n’ont pas suffisamment été modifiées.
L'ajustement des différents seuils permet à chaque wiki d'adapter les limites de l'outil en fonction de ses besoins particuliers. Les commentaires des locuteurs natifs sont essentiels pour ajuster correctement les limites. Si les limites actuelles semblent inadaptées d’après votre expérience dans la création et la relecture de traductions, veuillez partager votre opinion et nous pourrons voir comment mieux les ajuster.
Pour donner votre opinion sur la manière dont les seuils devraient être ajustés, nous vous recommandons d’essayer de créer plusieurs exemples de traductions (prenez soin de vérifier les options de publication si votre test n’est pas fait pour être publié en tant que contenu habituel). Pour tester si les limites sont adaptées pour votre langue, il est utile de garder à l’esprit les éléments suivants :
- Vérifiez les deux cas. Prenez soin de vérifier comment les limites fonctionnent pour les traductions dont le contenu n’a pas été suffisamment modifié et pour celles dont le contenu a été suffisamment modifié. De cette manière, vous pouvez plus facilement trouver le bon équilibre pour les limites. Vérifier seulement un type de problème peut mener à suggérer de déplacer les seuils trop loin dans la direction opposée.
- Vérifiez différents contenus. Le contenu sur un wiki peut être très varié, et la traduction automatique peut être plus pertinente dans certains cas que dans d’autres. Par exemple, du contenu rempli de données numériques ou de mots techniques peut nécessiter moins de modifications par les utilisateurs que du contenu comportant du texte plus descriptif. Assurez-vous de tester en traduisant une variété de types d'articles différents, de longueurs variables, avec un contenu disparate.
- Préparez-vous à recommencer. Ajuster les seuils est un processus répétitif. Il peut être nécessaire de faire un ajustement personnalisé aux seuils ou d’améliorer l’approche générale. Dans chaque cas, après chaque changement, des tests supplémentaires peuvent s’avérer nécessaires pour constater l’évolution.
Ajuster les limites en collaboration avec des contributeurs s’est révélé efficace. Par exemple, les résultats initiaux démontrent que la communauté indonésienne a pu réduire significativement le nombre de traductions problématiques qu'elle a reçues en restreignant la publication des traductions comportant plus de 70 % de traduction automatique non modifiée du contenu. Des réglages similaires ont été faits pour Telugu et Assamese Il n’y a pas d’outil automatique qui soit infaillible, et ces limites ne sont pas une exception.
Le processus de relecture de contenu par la communauté est toujours essentiel, mais ces limites donnent à la communauté des outils pour réduire le nombre de traductions sur lesquelles elles doivent se concentrer, en rendant le processus de relecture plus efficace. Nous vous invitons à partager votre opinion afin de pouvoir étudier la manière de définir au mieux les seuils.
Suivre les traductions potentiellement non relues
Une catégorie de suivi nommée « cx-unreviewed-translation-category » est mise à la disposition de la communauté, afin de retrouver facilement les articles publiés avec du contenu excédant les limites recommandées.
Vous pouvez trouver cette catégorie dans la liste des catégories de suivi dans chaque wiki. Vous pourrez y trouver les articles qui n’étaient pas suffisamment problématiques pour que leur publication soit empêchée, mais qui comportent néanmoins quelques paragraphes qui ont été modifiés moins qu’attendu. Par exemple, la catégorie indonésienne inclut des articles qui comportent moins de 40 % de traduction automatique en tout mais dont certains paragraphes comportent plus de 80 % de traduction automatique non modifiée.
Mesure de la qualité des traductions
Évaluer la qualité du contenu automatiquement n’est pas évident. Les ratios de suppression donnent une bonne estimation du minimum de qualité attendu par la communauté pour conserver le contenu. Selon l’analyse des ratios de suppression, les articles qui sont créés en tant que traductions sont moins susceptibles d’être supprimés que les articles créés à partir de zéro. Cela laisse penser qu’il risque de ne pas être adapté de définir des limites pour participer en traduisant bien plus élevées que celles des autres moyens de création d’articles.
Trouver les traductions publiées
L’outil de traduction de contenu ajoute une balise de modification contenttranslation aux traductions publiées. Cela permet aux communautés d'utiliser les modifications récentes et des outils similaires pour se concentrer sur les pages créées à l'aide de l'outil de traduction. De plus, les données sur les traductions publiées et les statistiques de l’utilisation de la traduction automatique sont disponibles pour quiconque souhaite les analyser.
Inspecter une traduction spécifique
Le débogueur de traduction est un outil qui permet d'inspecter certaines métadonnées d'une traduction donnée, y compris le pourcentage de traduction automatique utilisé dans tout le document, ou le service de traduction utilisé pour chaque paragraphe. Pour des types de contenu spécifiques tels que des modèles, l'API du serveur de traduction de contenu peut être interrogée pour vérifier la manière dont les modèles seront transférés entre les langues.
Autres limites basées sur l’expertise des utilisateurs
Certains wikis ont implanté d’autres restrictions à la traduction à partir des droits utilisateur, afin de diminuer les cas de création de traductions de mauvaise qualité.
Par exemple, Wikipédia en anglais demande aux utilisateurs d’être confirmés étendus, ce qui signifie qu’ils doivent avoir fait 500 modifications sur Wikipédia en anglais avant de pouvoir publier une traduction comme article.
Les nouveaux contributeurs peuvent toujours publier des articles traduits dans les espaces de noms User: et Draft:, puis déplacer l’article dans l’espace principal.
Cette restriction a été créée avant que le système de limites décrit sur cette page soit disponible, et cela n’est pas l’approche recommandée pour mener à la création de traductions de bonne qualité.
Avant d’ajouter des restrictions qui ne prennent pas en compte le contenu créé, songez à commencer par ajuster les limites de contenu non modifié, comme décrit précédemment. Les limites peuvent être rendues aussi strictes que nécessaires pour empêcher les traductions de mauvaise qualité, tout en continuant à permettre aux contributeurs faisant des bonnes traductions de publier celles-ci.