編集の査読改善
| 編集の査読改善 (ERI: Edit Review Improvements) |
|---|
| 機能 |
| 説明文書 |
| 技術的事項 |
|
Edit Review Improvements
Improve the edit-review process for good-faith new users.
|
編集の査読改善 (ERI=Edit Review Improvements) とは共同開発チームによるプロジェクトで、現状の編集の査読段階がウィキの初学者に与えるかもしれない否定的な影響を軽減する方法を模索するものです。 編集の査読ならびに巡回のツールはほとんど、コンテンツの品質を保ち悪意のある人から守るという非常に重要な任務を果たすために設計されています。 しかしながらある調査によると査読の段階で、特に自動化ツールや半自動化ツールを使用すると、誠実な編集の初学者を妨害するばかりか追い出してしまい、意図しない結果をもたらす可能性を示唆しています。
この問題の解決策を求める共同開発チームは、現状の編集と査読のワークフローから善意の初学者を隔てて、究極には精力的な貢献者に育つように励まして支える査読のプロセスを提供できないかと方法を探っています。
問題点
- 調査により、ウィキの編集者でも特に初学者は「編集の差し戻しを受けると編集量が減り、活動をやめてしまいがち」と示されています。[1]
- また同時に、自動化・半自動化査読ツールの導入が増えるに連れて、善意の初学者を拒絶する率が高まりました。 これらのツールを使うと「初学者を拒絶することで、その望ましい定着率に与えるマイナスの影響が著しい」とされます。[2]
- 上記とは別に、編集の査読ツールは、破壊行為と戦う人ほか、ウィキの完全性と品質維持のために努力する人々には不可欠です。 初学者を助けて定着率を上げ、同時に破壊行為と戦うなど査読者の働きを助けるにはどうすればよいのでしょうか？
目標
- 編集と査読によって、善意の初学者の心をくじくのではなく、より建設的な経験ができるようにします。
- 最近の変更に関する豊富なデータを提供することで、さまざまなタイプの巡回者や編集者がより効率的に作業し、さまざまな関心を（例：破壊行為との戦い、初学者の支援） より効果的かつ目標を絞って追求できるようになります。
このプロジェクトの最終的な目的とは編集者の定着率向上に影響を与えることであり、それは利用者コミュニティとの緊密な協議のもとに開発された「ウィキメディア財団2016-17年年次計画」（草稿）の全体的な目標ともよく合っています。
とりわけアプローチとしては、年次計画における製品チームの「新しいタイプのコンテンツ...キュレーションと共同開発ツールへの投資」という目標に追従しています。
解決策
この問題に取り組むには、査読者から苦戦している善意の初学者を見つけやすくすることが第一歩です。その実現には「最近の更新」の分析に、機械学習プログラムであるORES（Objective Revision Evaluation Service）を含むさまざまなソースから取り出したデータを使うよう提案します。人間の判断で訓練された ORES の善意のモデルは、成功率98％の精度で誠実な編集の95％を検出できます。ORES により差し戻す編集とウィキを害する編集の予測もできます。
研究結果からも、特に初学者は編集を取り下げられると立ち直りにくいとわかっています。同時に、編集・査読、さらに場合によっては編集の取り下げさえも、新規参加者とって強力な学習機会になる可能性も知られています。 [3] 査読者で新規参加者のサポートに関心のある方は一連の編集のうち実態は a) 差し戻しの対象ではあるが、実状は b) 善意の編集である場合、 できることならそれを学習機会にできないものでしょうか。
以上の編集の分析を2通りの方法で利用者に提供します[4]。
- 特別:最近の更新 ベータ版の新しいフィルタ(編集の査読に用いる新しいフィルタはこちらで解説。)
- 通称 ReviewStream 査読ツールに取り入れるよう設計された機械読み取りが可能なフィード(ReviewStream の解説はこちら)。
現在の作業
- 共同開発チームは問題の解析を進めながら設計思想を探り、製品が目指す方向性を視覚化しようとしています。
- 問題の大きさを見極めて進捗状況を把握するため、編集の初学者の定着率の測定と定義づけに取り組んでいます。
- Design Researchはこの問題にいろいろな面で影響を受けるユーザーの意欲とワークフローをもっと把握するため、聞き取り調査を準備し実行しています。 嫌がらせ行為巡回者、最近の巡回者、Teahouseの主催者、Welcoming Committee の委員（日本語版の旧あいさつ同好会）および提携団体委員会の査読者を含め、まもなく面接をお願いすることになります。（訳注：調査結果は2016年10月にResearch:New editor support strategiesとして公開済み。）
- Research and Dataチームは予測精度を高めるため、予測モデルを改良中です。
- 2016年6月に開かれたウィキマニアにおいて、このプロジェクトに関して議論しました。
「最近の更新」のしぼり込み機能を改善
査読者が求める対象を最近の更新ページから簡単に探せるように、絞り込みの仕方を改善します。 投稿の一覧を絞り込みやすくすること、（特に新規参入者の支援に役立つ）絞り込み条件を増やすこと、また異なる目的ごとに複数のフィルターを組み合わせやすくすることを目指します。
こちらの双方向のプロトタイプで絞り込み機能の概念を示します。前後関係の詳細はシナリオ案（英語）を読んでください。
目標達成までベータ版を多段階に改善します。詳細は下記にあります。
初期段階の改善
初期段階では名前空間とタグは絞り込みシステムから除外します。ORESに関連するフィルターは対象とします。 採用するフィルターを列記します。
- 査読 ページが未査読か他の査読者が処理済か識別し、自分が選んだほうに集中できる。
- 貢献の品質 貢献の質の良し悪しを識別。
- ユーザーの意図 貢献が善意によるか破壊的か識別。
- ユーザーの経験レベル 執筆者の習熟度に応じて対象とする編集を絞り込む。
-
「最近の更新」の絞り込み機能はここから。最初の画面 -
条件は手入力（オートコンプリート）もしくは一覧から検索して選択。 -
絞り込み条件に色を使って強調すると、複数の基準の組み合わせが容易になる。 -
検索バーに表示した絞り込み条件は、リストアップした投稿の属性を示す。
今後の計画
上述の「学習機会」のストリーム動画/ページを作成することにより、編集査読は、新しい編集者を指導し支援する新しい空間として確立する可能性があります。
しかしながら、こういう新しい行動が定着するかどうか、そのようなプラットフォームの存在だけでは担保できません。 初学者の定着率に実際に好影響を与えるには、編集と査読の段階で何回も働きかけが求められるとも考えられます。公開前には、問題を発見し執筆者が支援を求めに行く道をつけること。査読段階では、建設的なプロセスを助長すること。さらに査読後も、初学者が経験を糧にして拒絶から立ち直る手助けをすること。
さまざまな段階での働きかけの方法を探るばかりでなく、以下のような質問にも答えを追求しています。
- 査読者をどうやってこの新しい行動に引き付けますか?
- 編集の査読段階では、査読者はどうすれば初学者の支援の仕事でもっとも効率的に働けるでしょうか?
- 査読者にとって実り多いプロセスに変え、ずっと行動に参加してもらうには?
この分野で反嫌がらせ行為委員会にも果たすべき重要な役割があります。 編集及び編集者のデータが豊富なほど、あらゆるタイプの巡回者には誠意のある編集の見分けがつきやすくなり、その上、より的確に破壊行為と戦えるようになります。 荒らしに対抗する人たちその他と緊密に連携することにより、彼らのプロセスやツールをどう最適化して達成の可能性を高めるか、理解することが重要です。
原則
このプロジェクトを進める上で、計画を導く原則は以下の通りです。
- スマートでも人間的。人間のやりとりを置き換えるのではなく、技術を使用してサポートする。人工知能は分析は提供できても、意思決定を行うのは人間であるべき。
- コミュニティを横断。Wiki固有のツールを構築するのではなく、どの言語やプロジェクト群でも機能する解決策を見つける。
- 機能であってプラットフォームではない。解決策は、現在および将来のコミュニティが作成するツール、ならびにWMFのツールを使って、拡張したり再利用したりできるものを探求する。
- 携帯端末に対応。編集の査読は現在、携帯端末であまり利用されていないものの、計画にはモバイルのユーザーを十分に考慮する。
- 採用。新技術の創出ばかりでなく、査読者が新しいツールを採り入れ、使い続けるように促す方法の発見に集中する。
- 調整。新しい解決策の模索は、可能な限り既存の実践に合わせて構築し統合する。
- 成長型のアプローチ。この新しい領域では、段階的に進んでマイルストーンに到達するたび、次に進む方向を評価する。
- エンドユーザー参加型デザイン。この分野で既に作業している編集者やツール開発者と協力する。
関連文書
- ↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.
- ↑ “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
- ↑ 「編集初学者は他の人と比べると、差し戻されたあとは投稿が減る傾向を示すことに気づきました。またエビデンスとして、差し戻しは何かを学ぶ最も大きな機会でもあります。初学者には特段の配慮をしてウィキペディアになじむように、積極的に関与する必要があります。」 Halfaker, A., Kittur, A., & Riedl, J. 初心者をいじめないで：差し戻しが ウィキペディアの作業の質と量に与える影響。
- ↑ Collaboration Team Quarter Two FY2016-17 Goals（共同開発チーム・2016-17会計年度第2四半期報告の草稿）