Aiuto:Traduzione di contenuti/Tradurre/Qualità della traduzione
 |
Nota: Quando modifichi questa pagina, acconsenti a pubblicare il tuo contributo con licenza CC0. Vedi le pagine di aiuto sul dominio pubblico per maggiori informazioni. | |
Quando si realizza una traduzione, è essenziale rivedere i contenuti prima di pubblicarli. È necessario assicurarsi che il contenuto prodotto non modifichi il significato originale e verificare che risulti naturale nella lingua di destinazione. La initial machine translation fornita aiuta ad accelerare il processo di traduzione con un utile punto di partenza, ma lo strumento incoraggia gli utenti a rivedere e modificare significativamente i contenuti iniziali.
Una serie di meccanismi è dedicata a garantire che i traduttori modifichino le traduzioni iniziali in modo appropriato. L'editor di traduzione tiene traccia di quanto la traduzione iniziale è stata modificata dall'utente e definisce diversi limiti che impediscono la pubblicazione o avvertono gli utenti per incoraggiarli a rivedere ulteriormente i contenuti.
In questo modo, lo strumento consente agli utenti di fare un buon uso di una prima traduzione automatica, impedendo al contempo la creazione di risultati revisionati con leggerezza e di bassa qualità. Di seguito vengono presentati ulteriori dettagli su come funzionano questi limiti, come possono essere adattati alle esigenze di ciascuna lingua e come misurare la qualità dei contenuti prodotti con lo strumento.
Limitazioni per incoraggiare la revisione della traduzione
La strumento Traduzione Contenuti misura la percentuale delle modifiche che gli utenti fanno alla traduzione automatica inizialmente fornita. In tal modo, il sistema sa quante parole sono state aggiunte, eliminate o modificate della traduzione iniziale. Le misurazioni sono eseguite su due livelli differenti: per ogni paragrafo e per l'intera traduzione. A ciascun livello sono applicati limiti differenti, come dettagliati sotto.
Limitazioni per la traduzione completa
La pubblicazione è bloccata se il 95% o più dell'intero documento consiste in un contenuto tradotto automaticamente senza nessuna modifica. Questo limite impedisce traduzioni automatiche quasi grezze ed evita evidenti atti di vandalismo. Esso evita inoltre che gli utenti aggiungano contenuto senza modificare la parte tradotta automaticamente. Come illustrato di seguito, questo limite può essere regolato per ogni lingua.
Limitazioni per ogni paragrafo
La percentuale delle modifiche utente è pure misurata per ogni paragrafo. Un paragrafo è considerato problematico quando contiene più dell'85% della traduzione automatica iniziale (o, quando copiando il contenuto dal documento di partenza, contiene più del 60% di contenuto non modificato).
L'editor di traduzione mostrerà un avviso per ogni paragrafo considerato problematico, incoraggiando ulteriori modifiche da parte dell'utente. In alcuni casi, gli utenti possono ancora pubblicare, ma la pagina risultante può essere aggiunta a una categoria di monitoraggio di traduzioni potenzialmente non revisionate da parte della comunità per ulteriori revisioni. In altri casi, agli utenti non è permesso pubblicare in nessun modo quella traduzione.
Di seguito sono elencati alcuni dei fattori presi in considerazione per determinare se consentire o meno agli utenti di pubblicare (alcuni dei quali sono ancora in fase di sviluppo):
- Il numero di paragrafi problematici. Agli utenti viene impedito di pubblicare traduzioni con 50 o più paragrafi problematici. La pubblicazione di traduzioni con meno di 50 paragrafi problematici è consentita, ma quelle con 10-49 paragrafi problematici saranno aggiunte a una categoria di tracciamento delle traduzioni potenzialmente non revisionate dalla comunità per ulteriore verifica.
- Traduzioni precedentemente cancellate. Per prevenire problemi ricorrenti, lo strumento identifica gli utenti le cui traduzioni pubblicate sono state cancellate nei 30 giorni precedenti e impone limitazioni più restrittive sulle loro successive attività di traduzione. Per gli utenti in classe, alle traduzioni con 10 o più paragrafi problematici viene impedita la pubblicazione, mentre quelle con 9 o meno paragrafi problematici vengono aggiunte a una categoria di monitoraggio delle traduzioni potenzialmente non revisionate per la revisione da parte della comunità.
- Conferma dell'utente. Si considera una soglia meno rigida per i paragrafi che l'utente contrassegna come risolti: è un segnale che l'utente ha rivisto e confermato lo stato della traduzione. Per i paragrafi in cui viene visualizzato l'avviso di contenuto non modificato, ma l'utente lo contrassegna come risolto, viene applicata una soglia meno rigida (accettando il 95% della traduzione automatica o il 75% del contenuto originale). In questo modo si potrà tenere conto dei casi in cui la traduzione automatica è eccezionalmente buona, evitando però un potenziale abuso della funzione (ad esempio, non seguire ciecamente la conferma dell'utente).
Contenuti non influenzati dai limiti
Alcuni contenuti non sono destinati a essere modificati in modo significativo e quindi non vengono considerati nell'applicazione dei limiti sopra descritti. I titoli delle sezioni, le citazioni o l'elenco dei riferimenti molto brevi sono esclusi dalla revisione. In caso contrario, gli utenti potrebbero ricevere avvisi fuorvianti su contenuti che non dovrebbero essere tradotti, come ad esempio titoli di libri che compaiono in riferimenti o altri nomi propri.
Limits on the mobile experience
For the mobile experience the initial set of limits follow a simpler approach. At the moment, only the overall percentage of unmodified machine translation for the whole translation is considered. On mobile, the whole translation consist of just one section of the article.
In particular, a warning is shown when the percentage of unmodified machine translation is over 85% for the whole section, and publishing is prevented when the percentage of unmodified machine translation is over 95%.
Feedback on how the limits system work on the mobile context would be very useful to determine how to evolve this initial approach.
Publication of fast unreviewed translations
Campaigns and contests can result in spikes of translations where some user unfamiliar with the community policies may focus on making many translations and not pay enough attention to review their contents. In order to emphasize quality over quantity, a mechanism has been defined to limit the publication of fast unreviewed translations.
After a user translates a large article, the next translation can only be started after some time has passed. The waiting period estimation considers 1 minute per paragraph up to 10 minutes. That is:
- For articles with 10 paragraphs or less, we want to make sure that users spent translating it at least N minutes (one minute per paragraph)
- For articles with more than 10 paragraphs we want to make sure that users spent translating it at least 10 minutes.
This has been applied on mobile initially since it is a space with less activity, and after measuring the impact we'll consider expanding it to desktop too.
Regolazione dei limiti predefiniti
I limiti descritti sopra forniscono una serie di meccanismi generali, ma possono necessitare di aggiustamenti in base alle esigenze particolari di ogni wiki. In base alla valutazione iniziale, la quantità di modifiche necessarie alla traduzione automatica iniziale può variare dal 10% al 70%, a seconda della coppia di lingue. Su alcuni wiki, i limiti predefiniti possono essere troppo rigidi, generando notifiche inutili o impedendo la pubblicazione di traduzioni perfettamente valide. Su altri wiki, i limiti potrebbero non essere abbastanza rigidi, consentendo la pubblicazione di traduzioni che non sono state sufficientemente modificate.
La regolazione delle diverse soglie consente a ciascun wiki di adattare i limiti dello strumento alle proprie esigenze. Il feedback dei madrelingua è essenziale per regolare correttamente i limiti imposti. Se i limiti attuali non sembrano funzionare bene in base alla tua esperienza nella creazione o nella revisione delle traduzioni, ti invitiamo a condividere il tuo feedback, e potremo valutare come regolarli meglio.
Quando si fornisce un feedback sulla regolazione delle soglie, si consiglia di creare prima diverse traduzioni di esempio (assicurarsi di check the publishing options se il test non è destinato a essere pubblicato come contenuto regolare). Nel verificare il funzionamento dei limiti per la propria lingua, è utile tenere presente quanto segue:
- Controllare entrambi i casi. Assicuratevi di controllare come funzionano i limiti per entrambi i casi: traduzioni in cui il contenuto non è stato modificato a sufficienza e traduzioni in cui è stato modificato a sufficienza. In questo modo, è possibile trovare più facilmente il giusto equilibrio per la funzionalità dei limiti dello strumento. Il controllo di un solo tipo di problema può portare a spostare le soglie troppo in là nella direzione opposta.
- Controllare contenuti diversi. Il contenuto dei nostri wiki è molto vario e la traduzione automatica può funzionare molto meglio in alcuni casi rispetto ad altri. Ad esempio, un contenuto ricco di dati numerici o di nomi tecnici può richiedere meno modifiche da parte degli utenti rispetto a un contenuto con un testo più descrittivo. Assicuratevi di fare dei test traducendo una serie di tipi di articoli diversi, di varia lunghezza e con contenuti eterogenei.
- Prepare to iterate. Adjusting the thresholds is an iterative process.
It may require custom adjustments to the thresholds or that you improve your general approach. In any case, after each change, further testing may be needed to verify the improvements made.
Adjusting the limits in collaboration with editors has proven to be effective. For example, initial results show that the Indonesian community was able to significantly reduce the number of problematic translations they were receiving by restricting the publication of translations with more than 70% of unmodified machine translation content. Similar adjustments have been made for Telugu and Assamese language wikis. There is no automatic tool that is infallible, and these limits are not an exception.
The process of content review by the community is still essential, but these limits provide communities with a tool to reduce the number of translations they have to focus on, making the review process much more effective. Please share your feedback and we can explore how to better adjust them.
Tracking potentially unreviewed translations
A tracking category with the name "cx-unreviewed-translation-category" is provided for communities to easily find articles that have been published with some content exceeding the recommended limits.
You can find this category in the list of tracking categories on each wiki. Using it, you can track articles that passed the limits preventing publication, but that still had some paragraphs that were edited less than expected. For example the Indonesian Wikipedia's category includes articles that have less than 40% of machine translation overall, but which have some paragraphs with more than 80% of unmodified machine translation.
Measuring translation quality
Evaluating content quality automatically is not trivial. Deletion ratios provide a useful measure for estimating whether the content created was good enough for the community involved not to delete it. Based on the analysis of deletion ratios, articles that are created as translations are less likely to be deleted when compared with articles created from scratch. This suggests that it may not be practical to set the limits for participation through translating much higher than those set for other ways of article creation.
Find published translations
Content translation adds a contenttranslation edit tag to the published translations. This allows communities the ability to use Recent changes, and similar tools, to focus on pages created using the translation tool. In addition, data on published translations and the statistics for machine translation use are available for anyone to analyze.
Inspect a specific translation
The Translation debugger is a tool that allows the inspection of some metadata for a given translation, including the percentage of machine translation used for the whole document, and the translation service used for each paragraph. For specific types of content such as templates, the Content Translation Server API can be queried to check how templates will be transferred across languages.
Other limits based on user expertise
Some wikis have implemented other restrictions for translating based on the user rights as a way to reduce the creation of low-quality translations.
For example, English Wikipedia requires users to be extended confirmed, which means they need to make 500 edits on English Wikipedia before they are allowed to publish a translation as an article.
Newer editors can still publish translated articles in the User: or Draft: namespaces, and then move the article to the mainspace.
This restriction was created before the system of limits described in this page was available, and it is not the recommended approach to encourage the creation of good quality translations.
Before adding restrictions that do not take into account the content created, consider going through the process of adjusting the limits of unmodified content as described above. The limits can be made as strict as needed to prevent low-quality translations, while still allowing publication by editors making good translations.