Help:コンテンツ翻訳/翻訳する/翻訳の品質
 |
注意: このページを編集すると、編集内容が CC0 のもとで公開されることに同意したと見なされます。詳細はパブリック・ドメインのヘルプ ページを参照してください。 | |
翻訳版を作成するには、公開前に内容の校正が欠かせません。 当該の原文の意味を取り違えていないこと、また訳出した言語で自然に読めるかどうか確認しなければなりません。 先に機械翻訳にかけると翻訳作業のスピードアップに役立つ最初のコンテンツ〔訳注：一次翻訳〕は用意されますが、ツール利用者にはそのコンテンツを十分に再検討し編集するよう求められています。
翻訳者が一次翻訳を適切に編集していることを確かめるため、様々なメカニズムを用意しました。 翻訳編集機能により利用者がどの程度、一次翻訳を修正したか記録し、複数の限度に照らして公開を防止するか、利用者に警告を表示して内容をさらに吟味するよう促します。
このようにして、ツールは利用者が機械翻訳をうまく活用できるようにしつつ、一方で推敲が足りない質の低い翻訳の作成を防止できます。 これらの制限がどのようにして機能するのか、どのようにして各言語のニーズに適応させることができるのか、そしてツールを使って作成したコンテンツの質をどのようにして評価するのかを以下で詳述します。
制限を設けて一次翻訳の再検討を呼びかける
コンテンツ翻訳は自動翻訳が提供する一次翻訳に、利用者が加えた修正の割合を測定します。 このようにして、システムは一次翻訳からどれだけの語が追加、除去あるいは書き換えられたのかを把握します。 異なる2つのレベルで測定が行われます。各段落に対してと訳文全体に対してです。 以下に詳述するように、各レベルに異なる制限が適用されます。
訳文全体の制限
文書全体の 95% 以上が、機械翻訳されたコンテンツから未変更の場合、公開はブロックされます。 この制限により、生に近い機械翻訳が防止され、明白な荒らし行為が回避されます。 また、利用者が機械翻訳部分を編集しないままコンテンツを追加することを防ぎます。 後で詳しく説明するように、この制限は言語ごとの基準で調整できます。
各段落の制限
一次翻訳に加えた修正の割合は各段落に対しても測定されます。 特定の段落にある一次翻訳のままの部分が 85% 超の場合 (もしくは原文からコピーして、変更していない部分が 60% 超の場合)、問題のある段落とされます。
翻訳エディタは問題があると見られる各段落で警告を表示し、利用者にさらなる編集を促します。 場合によっては、利用者がそのまま訳文を公開できますが、そのページは吟味していない翻訳として追跡カテゴリに追加され、コミュニティの再評価を待つことになる可能性があります。 その他の場合には、利用者はそもそも訳文を公開することが認められません。
下記は利用者がコンテンツ翻訳の結果を公開することを許容するかどうか決定する際に考慮する要素の一部です (なかには開発中のものを含みます。)
- 問題のある段落の数。問題のある段落が50件以上あると、利用者は訳文を公開できません。 問題のある段落が50件より少ない場合、利用者は訳文を公開できますが、訳文に問題のある段落が10件から49件のあいだだと、コミュニティが再検討できるように、吟味していない翻訳の可能性があるとして追跡カテゴリに加えられます。
- 以前に翻訳が削除された。問題が再発するのを防ぐために、ツールは、公開された翻訳が過去30日間に削除された利用者を識別し、その後の翻訳作業にはるかに厳しい制限を課します。 このような利用者は、問題のある段落が10件以上の翻訳を公開することはできず、問題のある段落が9件以下であったとしても未査読の可能性がある翻訳の追跡カテゴリが付与されます。
- 利用者の確認。利用者が段落を解決済みとマークすると、利用者がその訳文の状態を吟味した印として、厳格さがゆるめの閾値を設定できます。 未編集の警告が表示されているものの、利用者が解決済みとマークした段落に対しては、より厳格さの低い閾値が適用されます（95%の機械翻訳もしくは75%の原文を受け入れます）。 これにより機械翻訳が並外れて良質だった場合に融通を利かせることができますが、なおもコンテンツ翻訳機能の悪用の可能性を防止します （つまり、利用者の承認を鵜呑みにはしません）。
制限の影響を受けないコンテンツ
コンテンツの中には、大幅な編集を想定しないものがあり、それらは上記の制限の対象外です。 非常に短い節見出しや出典、あるいは出典一覧はチェック対象から除外されます。 さもないと、参考文献の題名その他の固有名詞など本来は翻訳するべきではないコンテンツにまで翻訳に関する警告を受け、利用者の誤解を招く恐れがあります。
モバイル版の体験は制限あり
モバイル版の体験は、初期にはもっと簡略なアプローチを採用し、制限があります。 現在、無修正の機械翻訳の部分が訳文全体に占める割合の合計に限定して考慮しています。 モバイル環境における翻訳作業は、記事の一部分のみを対象にします。
その詳細とは、無修正の機械翻訳を検出し、特定の部分に含まれる割合が 85% 超の場合に警告を表示し、さらにそれが 95% を超えると公開ができなくなる仕組みを採用しています。
モバイル版の場合に、制限システムの挙動をとらえたフィードバックを求めており、この初期のアプローチの是非の決定に大きく役立つと見られます。
Publication of fast unreviewed translations
Campaigns and contests can result in spikes of translations where some user unfamiliar with the community policies may focus on making many translations and not pay enough attention to review their contents. In order to emphasize quality over quantity, a mechanism has been defined to limit the publication of fast unreviewed translations.
After a user translates a large article, the next translation can only be started after some time has passed. The waiting period estimation considers 1 minute per paragraph up to 10 minutes. That is:
- For articles with 10 paragraphs or less, we want to make sure that users spent translating it at least N minutes (one minute per paragraph)
- For articles with more than 10 paragraphs we want to make sure that users spent translating it at least 10 minutes.
This has been applied on mobile initially since it is a space with less activity, and after measuring the impact we'll consider expanding it to desktop too.
制限の調整
上記に説明した制限により一般的な仕組みは提供されるものの、個別のウィキ固有のニーズにあわせて調整する必要があります。 初期評価によれば、機械翻訳による一次翻訳に加えるべき修正の量は、言語の組み合わせによって 10% から 70% と幅があります。 あるウィキでは既定の制限は厳しすぎて、不要なノイズを発生させたり、完璧に有効な翻訳の公開を阻害するかもしれません。 その他のウィキでは既定の制限はゆるすぎて、十分に編集されていない翻訳を公開できてしまうかもしれません。
さまざまなしきい値を調整することで、各ウィキは特定のニーズに応じてツールの制限を調整できます。 制限をきちんと調整するには、それぞれの言語を母語とする人々のフィードバックが不可欠です。 翻訳を作成したり評価した経験に基づき、現在の制限がうまく機能していないように感じられた場合は、皆さんのフィードバックを共有していただけると、より良い調整方法を探ることができます。
閾値の調整に関するフィードバックをする場合、まずは訳例をいくつか作ることを推奨します（もしそのテストを通常のコンテンツとして公開するつもりがないのであれば、公開先のオプションを確認するようにしてください）。 あなたの言語で制限がうまく機能しているかどうかテストするときには、次のことを意識しておくとよいでしょう。
- 両方の場合の検討。翻訳が十分に編集されていない場合と、十分に編集された場合のどちらに対しても、制限がどのように機能するかを確認するようにしてください。 こうすることによって、ツールの制限値の適正なバランスをより簡単に見つけることができます。 片方の問題だけ検討しては、閾値を適正範囲から反対方向に強めすぎる可能性があります。
- 異なるコンテンツでテストする。ウィキ群の内容は非常に多岐にわたり、ある事例では他よりも機械翻訳がはるかにうまく機能するという可能性があります。 例として、より説明的な文よりも数値データもしくは専門用語が多用されたコンテンツのほうが、利用者による編集は少なくて済む場合があります。 テストをするには、内容や長さが異なるさまざまなタイプの記事を翻訳してください。
- 検証を反復する。閾値を調整するとはプロセスの反復を伴います。 閾値を特別に調整するか、利用者自身がアプローチ全般を改善する必要があるかもしれません。 いずれにせよ、それぞれの変更後には、実行した改善点の検証にテストを重ねる必要があるかもしれません。
前例により、制限値は編集者と共同で調整すると効果的だと示されています。 例として初期調査の結果を見ると、インドネシア語版のコミュニティでは問題のある翻訳が投稿されても、未修正の機械翻訳を 70% 超含む訳文の公開を制限し、その件数を有意に減らすことに成功しました。 テルグ語版とアッサム語版でも同様の調整を行いました。 完全無欠な自動ツールは存在しませんが、これらの制限も例外ではありません。
コミュニティによるコンテンツの査読プロセスはなおも重要ですが、これらの制限によってコミュニティが注力すべき翻訳の件数は減少し、査読プロセスがはるかに効率化します。 ぜひ皆さんのフィードバックを共有していただき、ともに調整の改善を探りましょう。
未査読かもしれない翻訳を追跡する
「cx-unreviewed-translation-category」という名称の追跡カテゴリを利用すると、コミュニティにとって、推奨される制限を超過したコンテンツを含んだまま公開された記事が見つかりやすくなります。
このカテゴリを探すには、それぞれのウィキの追跡カテゴリ一覧を調べてください。 そのカテゴリを使うと、公開を防止する制限には適合するものの、想定よりも編集が足りない段落を含んだまま公開された記事の追跡ができます。 例えばインドネシア語版ウィキペディアのカテゴリには、全体の機械翻訳は40%以下であるものの、一部の段落で80%以上が機械翻訳のままである記事が含まれています。
翻訳品質の測定
コンテンツの品質評価の自動化は簡単ではありません。 削除率を目安にすると、生成されたコンテンツで編集者のコミュニティによって削除されなかったものは、その程度の質は備えていると推定できます。 削除率の分析によると、翻訳により作成された記事はゼロから書き起こした記事と比較すると、削除率が比較的低いのです。 このことから、ほかの方法で記事を作成するよりも翻訳に対し、高い率で参加に制限を設けることは実際的ではないとも示唆されます。
公開済みの翻訳を検索
コンテンツ翻訳は、公開された翻訳に「contenttranslation」編集タグを追加します。これにより、コミュニティは最近の更新や同様のツールを使用して、翻訳ツールを使用して作成されたページに集中できます。 その上、公開された翻訳に関するデータならびに機械翻訳利用率の統計値は公開して誰でも解析できるようにしてあります。
特定の翻訳を検査する
翻訳デバッガーは、文書全体に対して使用された機械翻訳の割合や、各段落に対して使用された翻訳サービスなどといった、特定の翻訳に紐付けされたメタデータを検査するツールです。 テンプレートなど特定の種類のコンテンツは、コンテンツ翻訳サーバ API を使い言語間でどのように変換されるかクエリを走らせることが可能。
利用者の経験に基づくその他の制限
一部のウィキでは、低品質な翻訳の作成を減らす方法として、利用者の権限に基づいて追加の規制を加えています。
例えば英語版ウィキペディアでは拡張自動承認された利用者であることが要求され、これは英語版ウィキペディアで500回以上編集していなければ、翻訳を記事として公開することが認められないということです。
新規編集者であってもUser:もしくはDraft:名前空間に翻訳を公開することはでき、その後、標準名前空間に記事を移動することができます。
この制限はこのページで説明した制限システムができる以前に設けられたものであり、質の高い翻訳作成を促すためには推奨される方法ではありません。
作成される内容を考慮しない制限を設ける前に、上記に説明したとおり、未編集の内容を制限する手順を検討してください。 その制限は質の低い翻訳予防に必要なだけ厳格にしつつ、良質な翻訳を作成して公開する道を編集者に残すこともできます。