গ্রোথ/ব্যক্তিগতকৃত প্রথম দিন/কাঠামোবদ্ধ কাজ/একটি ছবি যুক্ত করুন
|
Add an image
 Suggest images from Commons that newcomers could add to Wikipedia articles
|
এই পাতায় "একটি ছবি যুক্ত করুন" কাঠামোবদ্ধ কাজটির বিবরণ লিপিবদ্ধ রয়েছে। এটি এক ধরনের কাঠামোবদ্ধ কাজ যা নবাগতদের নীড়পাতার মাধ্যমে গ্রোথ দল প্রয়োগ করবে।
এই পাতায় প্রধান প্রধান সামগ্রী, নকশা, উন্মুক্ত প্রশ্নাবলী এবং সিদ্ধান্তসমূহ লিপিবদ্ধ রয়েছে।
 | This project in a nutshell:
|
ধারাবাহিক উন্নতির হালনাগাদকৃত তথ্য সাধারণত গ্রোথ দলের হালনাগাদকৃত পাতায় দেয়া হবে। বৃহত্তর এবং বিস্তারিত তথ্য এখানে উল্লেখ করা হবে।
বর্তমান অবস্থা
- 2020-06-22: ছবি সুপারিশ করার জন্য একটি সহজ অ্যালগোরিদম তৈরি করার পরিকল্পনাগুলো ভেবে দেখা
- 2020-09-08: ইংরেজি, ফরাসি, আরবি, কোরিয়, চেক এবং ভিয়েতনামিয় ভাষায় একটি প্রাথমিক অবস্থার ম্যাচিং অ্যালগোরিদম পরীক্ষিত হয়েছে।
- 2020-09-30: ইংরেজি, ফরাসি, আরবি, কোরিয়, চেক এবং ভিয়েতনামিয় ভাষায় দ্বিতীয় দফায় একটি ম্যাচিং অ্যালগোরিদম পরীক্ষিত হয়েছে।
- 2020-10-26: ছবি সুপারিশকরণ সেবা চালুর সম্ভাব্যতা নিয়ে অভ্যন্তরীণ প্রকৌশলগত আলোচনা
- 2020-12-15: ব্যবহারকারী পরীক্ষার প্রাথমিক ধাপগুলোর মাধ্যমে যাচাই করা হয় নবাগতরা এই কাজে সফল হবেন কীনা
- 2021-01-20: প্ল্যাটফর্ম প্রকৌশল দল ছবির পরামর্শের প্রুফ-অব-কনসেপ্ট এপিআই-এর কাজ নিয়ে এগোচ্ছে।
- 2021-01-21: অ্যান্ড্রয়েড দল শিখন উদ্দেশ্যে যতটুক প্রয়োজন, ততটুক টেকসই সংস্করণ নিয়ে কাজ শুরু করেছে।
- 2021-01-28: ব্যবহারকারী পরীক্ষার ফলাফল প্রকাশ
- 2021-02-04: সম্প্রদায় আলোচনা এবং সংশ্লিষ্ট পরিসংখ্যানের সংক্ষিপ্ত তথ্যাবলী প্রকাশ
- 2021-05-07: ব্যবহারকারীদের জন্য অ্যান্ড্রয়েড এমভিপি-এর মুক্তি
- 2021-08-06: posted results from Android and mockups for Iteration 1
- 2021-08-17: backend work begins on Iteration 1
- 2021-08-23: posted interactive prototypes and began user tests in English and Spanish
- 2021-10-07: posted findings from user tests and final designs based on the findings
- 2021-11-19: ambassador begin testing the feature in their production Wikipedias
- 2021-11-22: image suggestion dataset is refreshed in advance of releasing Iteration 1 to users
- 2021-11-29: Iteration 1 deployed to 40% of mobile accounts on Arabic, Czech, and Bengali Wikipedias.
- 2021-12-22: posted leading indicators
- 2022-01-28: desktop version deployed for 40% of new accounts on Arabic, Czech, and Bengali Wikipedias.
- 2022-02-16: Spanish Wikipedia newcomers start getting "add an image"
- 2022-03-22: Portuguese, Farsi, French and Turkish Wikipedia newcomers start getting "add an image"
- 2023-02-07: Complete evaluation of section-level image suggestions (T316151)
- 2023-10-16: Image Recommendations added to the Android Wikipedia app
- 2024-04-11: Publish "Add an image" Experiment Analysis
- পরবর্তী: Release "Add an image" to more Wikipedias
সারাংশ
কাঠামোবদ্ধ কাজের উদ্দেশ্য হল সম্পাদনার কাজগুলোকে ভেঙে ছোটখাটো আকারের ধারাবাহিক কাজ তৈরি করা। এর মাধ্যমে নবাগতরা আরো সহজভাবে কাজটি বুঝতে পারবে, বিশেষ করে মোবাইল ব্যবহারকারীদের ক্ষেত্রে। গ্রোথ দল বিশ্বাস করে যে সম্পাদনার পরিবেশে নতুন ধরনের কাজের গতিপথ তৈরির ফলে আরো অনেক নতুন মানুষ উইকিপিডিয়ায় কাজ করতে শুরু করবেন। এদের অনেকে হয়তো উল্লেখযোগ্য পরিমাণে কাজ করবে এবং তাদের সম্প্রদায়ের সাথে প্রত্যক্ষভাবে যুক্ত হয়ে যাবেন। সম্প্রদায়ের সাথে কাঠামোবদ্ধ কাজের পরিকল্পনা নিয়ে আলোচনার পরে, আমরা সিদ্ধান্ত নিয়েছি প্রথম কাঠামোবদ্ধ কাজ তৈরি করব: "সংযোগ করুন"। The Growth team believes that introducing these new kinds of editing workflows will allow more new people to begin participating on Wikipedia, some of whom will learn to do more substantial edits and get involved with their communities. After discussing the idea of structured tasks with communities, we decided to build the first structured task: "add a link".
After deploying "add a link" in May 2021, we collected initial data showing that the task was engaging to newcomers and that they were making edits with low revert rates -- indicating that structured tasks seem valuable for the newcomer experience and the wikis.
যখন আমরা প্রথম কাজটি তৈরি করছি, তখনই আমরা ভাবছিলাম পরের কাঠামোবদ্ধ কাজটি কী হতে পারে। আমরা চিন্তা করেছি যে ছবি যুক্ত করা নতুনদের জন্য একটা উপযুক্ত কাজ হবে। এর উদ্দেশ্য হল একটি সহজ অ্যালগোরিদমের মাধ্যমে কমন্স থেকে ছবি সুপারিশ করা হবে সেইসব নিবন্ধের জন্য, যেখানে কোনো ছবি নেই। প্রাথমিকভাবে এটা কেবল উইকিউপাত্তে বিদ্যমান সংযোগগুলো নিয়েই কাজ করবে, এবং নবাগতরা ঠিক করবেন যে ছবিটি ঐ নিবন্ধে যুক্ত করা প্রয়োজন আছে নাকি নেই।
আমরা জানি যে এটি কীভাবে কাজ করবে তা নিয়ে বিভিন্ন উন্মুক্ত প্রশ্ন রয়েছে। অনেক কারণ থাকতে পারে যার কারণে এটা সঠিকভাবে কাজ করবে না। এ জন্য আমরা বিভিন্ন সম্প্রদায়ের কাছ থেকে আলোচনার মাধ্যমে জানতে চাইছি আমরা কীভাবে এগোতে পারি।
Related projects
অ্যান্ড্রয়েড দলও উইকিপিডিয়া অ্যান্ড্রয়েড অ্যাপের জন্য অনুরূপ কিছুর ক্ষুদ্রতর সংস্করণ তৈরি করতে চাইছে, যার মূল কার্যপদ্ধতি একইরকম হবে।
এছাড়া কাঠামোবদ্ধ উপাত্ত দল অনুরূপ কিছু ভাবনার প্রাথমিক অবস্থায় আছেন, যার লক্ষ্য আরো অভিজ্ঞ উইকিপিডিয়ান এবং যা কমন্সের কাঠামোবদ্ধ উপাত্তভিত্তিক হবে।
ছবিই কেন?
| Expand to read the "Why images?" section |
|---|
|
উল্লেখযোগ্য অবদান অনুসন্ধানের জন্য আমরা যখন সম্প্রদায়ে সদস্যদের সাথে প্রথম কাঠামোবদ্ধ কাজ নিয়ে আলোচনা করছিলাম, তখন অনেকেই জানিয়েছিলেন যে উইকিসংযোগ করাটা উঁচু ধরনের সম্পাদনা নয়। তারা জানিয়েছিলেন কীভাবে নবাগতরা উল্লেখযোগ্য অবদান করতে পারেন। একটি প্রস্তাবনা ছিল ছবিবিষয়ক। উইকিমিডিয়া কমন্সে প্রায় সাড়ে ছয় কোটিরও অধিক সংখ্যক ছবি আছে। কিন্তু বিভিন্ন ভাষার উইকিপিডিয়ার ৫০% নিবন্ধে কোনো ছবি নেই। আমরা বিশ্বাস করি কমন্স থেকে নেয়া অনেক ছবির মাধ্যমে উইকিপিডিয়ায় নিবন্ধগুলো আরো তাৎপর্যপূর্ণ হয়ে উঠবে। Community members brought up ideas for how newcomers could make more substantial contributions. One idea is images. Wikimedia Commons contains 65 million images, but in many Wikipedias, over 50% of articles have no images. We believe that many images from Commons can make Wikipedia substantially more illustrated. নবাগতদের আগ্রহ আমরা জানি যে উইকিপিডিয়ায় ছবি যুক্ত করার ব্যাপারে অনেক নবাগতই আগ্রহী। নবাগতরা যখন স্বাগত জরিপে অংশ নেন, তখন কেন অ্যাকাউন্ট তৈরি করছেন প্রশ্নের জবাবে উল্লেখযোগ্য সংখ্যক উত্তর দেন "ছবি যুক্ত করার জন্য"। আমরা সাহায্য প্যানেলের প্রশ্নের ক্ষেত্রেও দেখেছি কীভাবে ছবি যুক্ত করা যায় একটা নিয়মিত প্রশ্ন, যা আমরা যে সকল উইকির সাথে কাজ করেছি তার প্রত্যেক ক্ষেত্রেই লক্ষ্য করা গেছে। তবে অনেক নবাগতই প্রকৃতপক্ষে তাদের নিজেদের তোলা ছবি যুক্ত করতে চান, তবে এ থেকে এটা সুস্পষ্ট যে ছবি যোগ করার ব্যাপারটা আগ্রহোদ্দীপক এবং আকাঙ্ক্ষিত। এটা স্বাভাবিক, ছবি যোগ করার ব্যাপারটা নবাগতদের অংশ নেয়া ফেসবুক, ইনস্টাগ্রামের মত অন্যান্য প্ল্যাটফর্মের অনুরূপ। ছবি নিয়ে কাজ করার ক্ষেত্রে সমস্যা ছবির ব্যাপারে সাহায্য প্যানেলের বিভিন্ন প্রশ্নের মাধ্যমে বুঝতে পারা যায় যে নিবন্ধে ছবি যোগের পদ্ধতিটা বেশ কঠিন। নবাগতদের উইকিপিডিয়া ও কমন্সের পার্থক্য বুঝতে হয়, কপিরাইট সম্পর্কে জানতে হয়, এবং সঠিকভাবে ছবি বসানো ও শিরোনাম দেয়ার ব্যাপারগুলো বুঝতে হয়। ছবি নেই এমন কোনো নিবন্ধে কমন্স থেকে বেছে ছবি যোগ করার জন্য কিছুটা দক্ষতার প্রয়োজন হয়, এবং এক্ষেত্রে উইকিউপাত্ত ও বিষয়শ্রেণী সংক্রান্ত জ্ঞান কাজে লাগে। "উইকিপিডিয়ার নিবন্ধে ছবি চাই" ক্যাম্পেইনের সাফল্য  উইকিপিডিয়ার নিবন্ধে ছবি যোগ করুন (WPWP) ক্যাম্পেইন অসাধারণভাবে সাফল্যমণ্ডিত হয়। ৬০০ জন ব্যবহারকারী ৮৫,০০০ পাতায় ছবি যোগ করে। তারা কিছু সম্প্রদায় সরঞ্জাম ব্যবহার করে কাজটি করতেন। এই সরঞ্জাম ছবিহীন নিবন্ধগুলো তুলে ধরতো এবং উইকিউপাত্তের মাধ্যমে ছবি সুপারিশ করতো। কীভাবে নবাগতদের সহায়তা করা যায়, সে ব্যাপারে গুরুত্বপূর্ণ অনেক কিছু শেখা বাকি থাকলেও এর মাধ্যমে আমরা আত্মবিশ্বাসী হয়েছি যে ব্যবহারকারীরা ছবি যোগ করার ক্ষেত্রে আগ্রহী এবং এক্ষেত্রে তারা সরঞ্জামের সহায়তা নিতে পারেন। সবকিছুকে একত্রীত করে সব তথ্যাবলীকে একত্রীত করে আমরা ভেবে দেখেছি যে যদি কাঠামোবদ্ধ কাজ হিসেবে "একটি ছবি যুক্ত করুন" যুক্ত করা হয়, তাহলে এটা উইকিপিডিয়ার জন্য যেমন সৃজনশীল হবে তেমনি নবাগতদের জন্যও চিত্তাকর্ষক হবে। |
পরিকল্পনা যাচাই
From June 2020 through July 2021, the Growth team worked on community discussions, background research, evaluations, and proof-of-concepts around the "add an image" task. This led to the decision to start building our first iteration in August 2021 (see Iteration 1). This section contains all that background work leading up to Iteration 1.
| Expand to read the "Idea validation" section | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
অ্যালগোরিদমকাঠামোবদ্ধ কাজ হিসেবে ছবি যোগ করার বৈশিষ্ট্যটি চালুর ক্ষেত্রে আমাদের সক্ষমতা নির্ভর করে অ্যালগোরিদমের উপরে, যা যথেষ্ট পরিমাণে ভালো সুপারিশ তৈরি করবে। আমরা চাই না নবাগতরা নিবন্ধে ভুল ছবি যোগ করার পথে হাঁটুক, কারণ তাহলে পরীক্ষকদের পরিষ্কারকরণে বেশ সময় ব্যয় হয়। এ জন্য প্রথমেই আমাদের কাজ করতে হবে যথেষ্ট পরিমাণে ভালো অ্যালগোরিদম তৈরি করতে।
যুক্তিআমরা উইকিমিডিয়া গবেষণা দলের সাথে কাজ করছি এবং এযাবৎ আমরা যে অ্যালগোরিদমটি পরীক্ষা করছি সেটি সঠিকতা এবং মানুষের সিদ্ধান্তকে গুরুত্ব দেয়। কম্পিউটার ভিশন পদ্ধতি ব্যবহার করা হয়নি, যা কিছুটা অস্বাভাবিক ফলাফল প্রদান করে। বর্তমানে এটি সহজভাবে অভিজ্ঞ অবদানকারীদের অবদানের সংযোগ ঘটিয়ে উইকিউপাত্ত থেকে বিদ্যমান তথ্য গ্রহণ করে। মূলত তিন উপায়ে এটি ছবিবিহীন নিবন্ধে ছবির সুপারিশ করে:
অ্যালগোরিদম আরো কিছু যুক্তিকে ব্যবহার করে, যেমন আইকন বা কোনো নিবন্ধের পরিভ্রমণ বক্সে থাকা ছবি।
সঠিকতাআগস্ট ২০২১ পর্যন্ত আমরা তিন দফায় অ্যালগোরিদম পরীক্ষা করেছি, প্রত্যেকবার মোট ছয়টি ভাষায় এটি পরিচালিত হয়েছে: ইংরেজি, ফরাসি, আরবি, ভিয়েতনামিয়, চেক এবং কোরিয়। আমাদের দলের অ্যাম্বাসেডররা এটি পরীক্ষা করেছে, যারা স্থানীয়ভাবে ঐ ভাষা ব্যবহার করেন। প্রতিটি ভাষার মোট ৫০টি প্রস্তাবনা দেয়া হয়েছে, তা যাচাই করে এবং শ্রেণিবিন্যাস করে আমরা নিম্নোক্ত বিভাগে ভাগ করেছি: First two evaluations Looking at 50 suggested matches in each language, we went through and classified them into these groups:
এ ধরনের অ্যালগোরিদমের কাজের ক্ষেত্রে একটি প্রশ্ন থাকে, যে এটাকে কতটা সঠিক হতে হবে? ৭৫% মিলে গেলে সেটা কি যথেষ্ট হবে? নাকি এটাকে ৯০% সঠিক হতে হবে? এটা ৫০% এর মত সঠিক হলে কি চলবে? এই সব নির্ভর করে নবাগত যারা এটা ব্যবহার করবে, তাদের দৃষ্টিভঙ্গির উপর, এবং কম মিলে যাওয়া ক্ষেত্রগুলোতে তারা কতটা ধৈর্যশীল হবেন। আমরা এ সম্পর্কে আরো জানতে পারব যখন সত্যিকারের নবাগতদের উপর অ্যালগোরিদমটা পরীক্ষা করতে সক্ষম হব। প্রথম দফার মূল্যায়নে আমরা সবচেয়ে গুরুত্বপূর্ণ যে ব্যাপারটা দেখতে পেয়েছি সেটা হল অ্যালগরিদমের কিছু সহজ উন্নতির ক্ষেত্র, এবং কোন নিবন্ধ আর ছবি বাদ দিতে হবে সেটিও। এই উন্নতিগুলো বাদেও প্রায় ২০-৪০% মিল ছিল "২-এর", অর্থাৎ নিবন্ধের জন্য (বিভিন্ন উইকির উপর নির্ভরশীল) এগুলো দারুণভাবে মিলে গেছে। মূল্যায়নের সম্পূর্ণ ফলাফল এবং টিকা আপনি এখানে দেখতে পাবেন। দ্বিতীয় দফার মূল্যায়নের জন্য নানাভাবে একে উন্নত করা হয়, সঠিকতাও বৃদ্ধি পায়। ৫০-৭০% "2s" মিলসম্পন্ন হয় (বিভিন্ন উইকির উপর নির্ভরশীল)। তবে সঠিকতা বৃদ্ধি করার ফলে ব্যাপকতা কমে যেতে পারে, অর্থাৎ সম্ভাব্য মিল দেখানোর জন্য পাওয়া নিবন্ধের সংখ্যা। কিছুটা সংরক্ষিত উপায় অনুসরণ করে এই অ্যালগোরিদম নির্দিষ্ট উইকিতে মাত্র কয়েক হাজার প্রস্তাবনা দিতে পারবে, যদি সেই উইকিতে হাজার বা লাখো নিবন্ধ থাকে তা সত্ত্বেও। আওরা বিশ্বাস করি যে এই সংখ্যা নতুন বৈশিষ্ট্যের প্রাথমিক সংস্করণের জন্য যথেষ্ট হবে। দ্বিতীয় দফা মূল্যায়নের সম্পূর্ণ ফলাফল এবং টিকা এখানে দেখতে পাবেন। তৃতীয় পরীক্ষণ মে ২০২১-এ কাঠামোবদ্ধ উপাত্ত দল বৃহত্তর পরিসরে ছবি ম্যাচিং অ্যালগোরিদম (এবং মিডিয়াসার্চ অ্যালগোরিদম) পরীক্ষা করেছে। আরবি, সেবুয়ানো, ইংরেজি, ভিয়েতনামিয়, বাংলা এবং চেক উইকিপিডিয়ায় পরীক্ষণ চালানো হয়। এই পরীক্ষায় ছবি ম্যাচিং ও মিডিয়াসার্চ অ্যালগোরিদমের প্রায় ৫০০টি পরামর্শ ঐ ভাষা সম্পর্কে অভিজ্ঞরা যাচাই করেন। তারা ছবিগুলোকে "ভালো", "ঠিকঠাক", বা "খারাপ" পরামর্শ হিসেবে শ্রেণিবিন্যস্ত করেন। নিচে বিস্তারিত ফলাফল উপস্থাপিত হলো:
ফলাফলের সম্পূর্ণ উপাত্তসামগ্রীর তথ্য এখানে পাওয়া যাবে. ধারণ ক্ষমতাThe accuracy of the algorithm is clearly a very important component. Equally important is its "coverage" -- this refers to how many image matches it can make. Accuracy and coverage tend to be inversely related: the more accurate an algorithm, the fewer suggestions it will make (because it is only making suggestions when it is confident). We need to answer these questions: is the algorithm able to provide enough matches that it is worthwhile to build a feature with it? Would it be able to make a substantial impact on wikis? We looked at 22 Wikipedias to get a sense of the answers. The table is below these summary points:
MediaSearchAs mentioned above, the Structured Data team is exploring using the MediaSearch algorithm to increase coverage and yield more candidate matches. MediaSearch works by combining traditional text-based search and structured data to provide relevant results for searches in a language-agnostic way. By using the Wikidata statements added to images as part of Structured Data on Commons as a search ranking input, MediaSearch is able to take advantage of aliases, related concepts, and labels in multiple languages to increase the relevance of image matches. You can find more information about how MediaSearch works. As of February 2021, team is currently experimenting with how to provide a confidence score for MediaSearch matches that the image recommendations algorithm can consume and use to determine whether a match from MediaSearch is of sufficient quality to use in image matching tasks. We want to be sure that users are confident in the recommendations that MediaSearch provides before incorporating them into the feature. The Structured Data team is also exploring and prototyping a way for user generated bots to use the results generated by both the image recommendations algorithm and MediaSearch to automatically add images to articles. This will be an experiment in bot-heavy wikis, in partnership with community bot writers. You can learn more about that effort or express interest in participating in the Phabricator task. In May 2021, in the same evaluation cited in the "Accuracy" section above, MediaSearch was found to be far less accurate than the image matching algorithm. Where the image matching algorithm was about 78% accurate, matches from MediaSearch were about 38% accurate. Therefore, the Growth team is not planning to use MediaSearch in its first iteration of the "add an image" task. Questions and discussion
উন্মুক্ত প্রশ্নউইকিপিডিয়া অভিজ্ঞতার একটি গুরুত্বপূর্ণ অংশে রয়েছে ছবি। আমরা তীক্ষ্ণভাবে বিচার করছি কীভাবে সহজে ছবি যুক্ত করার বৈশিষ্ট্যটি কাজ করবে, সম্ভাব্য সমস্যা কী হতে পারে, এবং সম্প্রদায়ের সদস্যদের জন্য প্রয়োগটা কেমন হবে। আমরা অনেক উন্মুক্ত প্রশ্ন পেয়েছি এবং আমরা সম্প্রদায়ের সদস্যদের থেকে আরো প্রশ্ন আহ্বান করছি।
Notes from community discussions 2021-02-04Starting in December 2020, we invited community members to talk about the "add an image" idea in five languages (English, Bengali, Arabic, Vietnamese, Czech). The English discussion mostly took place on the discussion page here, with local language conversations on the other four Wikipedias. We heard from 28 community members, and this section summarizes some of the most common and interesting thoughts. These discussions are heavily influencing our next set of designs.
ব্যবহারকারী পরীক্ষণের পরিকল্পনা সম্প্রদায়ের মতামত আর উপরে বর্ণিত উন্মুক্ত প্রশ্নসমূহের পাশাপাশি আমরা চাই "একটি ছবি যুক্ত করুন" বৈশিষ্ট্যের জন্য কিছু গুণগত আর পরিমাণগত তথ্য তৈরি করতে চাই। আমরা কর্মকর্তা এবং উইকিমিডিয়ানগণ এই অ্যালগোরিদমের মূল্যায়ন করছেন, নবাগতরা এই বৈশিষ্ট্যটি কীভাবে দেখেন, তা জানাটা গুরুত্বপূর্ণ। তারা নিবন্ধে ছবি যোগ করার ক্ষেত্রে কীভাবে বিচক্ষণতার পরিচয় দেবেন সেটাও একটা গুরুত্বপূর্ণ ব্যাপার। আমরা usertesting.com ব্যবহার করে কিছু পরীক্ষা করব, যেন উইকিপিডিয়ার সম্পাদনার ক্ষেত্রে যারা নতুন তারা ছবি শনাক্তকরণ প্রোটোটাইপের জন্য "হ্যাঁ", "না", বা "নিশ্চিত নই" নির্বাচন করতে পারেন। আমরা পরীক্ষার জন্য একটা দ্রুত প্রোটোটাইপ তৈরি করেছি, যা বর্তমান অ্যালগোরিদমের সত্যিকারের মিলগুলোকে নিয়ে নির্মিত। প্রোটোটাইপটি একটার পর একটা মিল দেখাবে। ছবি দেখানোর পাশাপাশি কমন্স থেকে প্রাসঙ্গিক মেটাডেটাও দেখানো হয়।
ভবিষ্যতে নবাগতদের জন্য যে কার্যপদ্ধতি তৈরি হবে, তার সাথে এটার অবিকল মিল না থাকলেও পরীক্ষকরা যেন সহজেই কিছু মিল নিয়ে কাজ করতে পারেন, তথ্য পেতে পারেন, তার জন্যই প্রোটোটাইপটি নির্মিত হয়েছে। প্রোটোটাইপটি পরীক্ষা করার জন্য, এই লিঙ্ক ব্যবহার করুন। পরীক্ষার জন্য আমরা যা দেখছি:
DesignConcept A vs. BIn thinking about design for this task, we have a similar question as we faced for "add a link" with respect to Concept A and Concept B. In Concept A, users would complete the edit at the article, while in Concept B, they would do many edits in a row all from a feed. Concept A gives the user more context for the article and editing, while Concept B prioritizes efficiency. In the interactive prototype above, we used Concept B, in which the users proceed through a feed of suggestions. We did that because in our user tests we wanted to see many examples of users interacting with suggestions. That's the sort of design that might work best for a platform like the Wikipedia Android app. For the Growth team's context, we're thinking more along the lines of Concept A, in which the user does the edit at the article. That's the direction we chose for "add a link", and we think that it could be appropriate for "add an image" for the same reasons. Single vs. MultipleAnother important design question is whether to show the user a single proposed image match, or give them multiple images matches to choose from. When giving multiple matches, there's a greater chance that one of the matches is a good one. But it also may make users think they should choose one of them, even if none of them are good. It will also be a more complicated experience to design and build, especially for mobile devices. We have mocked up three potential workflows:
   User tests December 2020Background During December 2020, we used usertesting.com to conduct 15 tests of the mobile interactive prototype. The prototype contained only a rudimentary design, little context or onboarding, and was tested only in English with users who had little or no previous Wikipedia editing experience. We deliberately tested a rudimentary design earlier in the process so that we could gather lots of learnings. The primary questions we wanted to address with this test were around feasibility of the feature as a whole, not around the finer points of design:
In the test, we asked participants to annotate at least 20 article-image matches while talking out loud. When they tapped yes, the prototype asked them to write a caption to go along with the image in the article. Overall, we gathered 399 annotations. Summary We think that these user tests confirm that we could successfully build an "add an image" feature, but it will only work if we design it right. Many of the testers understood the task well, took it seriously, and made good decisions -- this gives us confidence that this is an idea worth pursuing. On the other hand, many other users were confused about the point of the task, did not evaluate as critically, and made weak decisions -- but for those confused users, it was easy for us to see ways to improve the design to give them the appropriate context and convey the seriousness of the task. Observations To see the full set of findings, feel free to browse the slides. The most important points are written below the slides. 
Metrics
Takeaways
MetadataThe user tests showed us that image metadata from Commons (e.g. filename, description, caption, etc.) is critical for a user to confidently make a match. For instance, though the user can see that the article is about a church, and that the photo is of a church, the metadata allowed them to tell if it is the church discussed in the article. In the user tests, we saw that these items of metadata were most important: filename, description, caption, categories. Items that were not useful included size, upload date, and uploading username. Given that metadata is a critical part of making a strong decision, we have been thinking about whether users will need to be have metadata in their own language in order to do this task, especially in light of the fact that the majority of Commons metadata is in English. For 22 wikis, we looked at the percentage of the image matches from the algorithm that have metadata elements in the local language. In other words, for the images that can be matched to unillustrated articles in Arabic Wikipedia, how many of them have Arabic descriptions, captions, and depicts? The table is below these summary points:
Given that local-language metadata has low coverage, our current idea is to offer the image matching task to just those users who can read English, which we could ask the user as a quick question before beginning the task. This unfortunately limits how many users could participate. It's a similar situation to the Content Translation tool, in that users need to know the language of the source wiki and the destination wiki in order to move content from one wiki to another. We also believe there will be sufficient numbers of these users based on results from the Growth team's welcome survey, which asks newcomers which languages they know. Depending on the wiki, between 20% and 50% of newcomers select English. অ্যান্ড্রয়েড এমভিপিঅ্যান্ড্রয়েড এমভিপি সম্পর্কে বিস্তারিত জানতে এই পাতাটি দেখুন। প্রেক্ষাপটAfter lots of community discussion, many internal discussions, and the user test results from above, we believe that this "add an image" idea has enough potential to continue to pursue. Community members have been generally positive, but also cautionary -- we also know that there are still many concerns and reasons the idea might not work as expected. The next step we want to in order to learn more is to build a "minimum viable product" (MVP) for the Wikipedia Android app. The most important thing about this MVP is that it will not save any edits to Wikipedia. Rather, it will only be used to gather data, improve our algorithm, and improve our design. The Android app is where "suggested edits" originated, and that team has a framework to build new task types easily. These are the main pieces:
ResultsThe Android team released the app in May 2021, and over several weeks, thousands of users evaluated tens of thousands of image matches from the image matching algorithm. The resulting data allowed the Growth team to decide to proceed with Iteration 1 of the "add an image" task. In looking at the data, we were trying to answer two important questions around "Engagement" and "Efficacy". Engagement: do users of all languages like this task and want to do it?
Efficacy: will resulting edits be of sufficient quality?
See the full results are here. EngineeringThis section contains links on how to follow along with technical aspects of this project: |
প্রথম চক্র
জুলাই ২০২১-এ গ্রোথ দল ওয়েবে "একটি ছবি যুক্ত করুন"-এর প্রথম চক্র নির্মাণের জন্য এগিয়ে যায়। এটি একটি কঠিন সিদ্ধান্ত ছিল, কারণ উইকিপিডিয়ার নিবন্ধে নবাগতদের ছবি যোগ করতে উৎসাহিত করার ক্ষেত্রে বিভিন্ন উন্মুক্ত প্রশ্ন ও ঝুঁকি ছিল। তবে প্রায় এক বছর ধরে পরিকল্পনা যাচাইয়ের পর এবং সম্প্রদায়ের সাথে আলোচনা, পরীক্ষণ, এবং পরিকল্পনার ধারণার প্রমাণের পরে আমরা প্রথম চক্র নির্মাণের দিকে এগিয়ে যাই, যা আমরা ক্রমাগত পরীক্ষা করতে পারব। পরিকল্পনা যাচাইয়ের ক্ষেত্রে নিম্নোক্ত দিক আমাদের এগিয়ে যেতে উৎসাহিত করে:
- সম্প্রদায়ের সতর্কতামূলক সমর্থন: সম্প্রদায়ের সদস্যগণ এই কাজের ব্যাপারে আশাবাদী। তারা একমত যে এটি একটি মূল্যবান কাজ হবে, তবে এর ঝুঁকি ও সমস্যার দিকগুলো তুলে ধরেছেন যা আমাদেরকে ভালো নির্মাণের মাধ্যমে সমাধান করতে হবে।
- সঠিক অ্যালগোরিদম: ছবি ম্যাচিং অ্যালগোরিদম বিভিন্ন পরীক্ষণের ক্ষেত্রে মোট ৬৫-৮০% সঠিক হিসেবে প্রমাণিত হয়েছে। আমরা সময়ের সাথে এটাকে আরো পরিশুদ্ধ করব।
- ব্যবহারকারী পরীক্ষণ: অনেক নবাগত এই প্রোটোটাইপ যাচাই করেছেন এবং মজাদার ও অন্তর্ভুক্তিমূলক হিসেবে অভিহিত করেছেন।
- অ্যান্ড্রয়েড এমভিপি: অ্যান্ড্রয়েড এমভিপির ফলাফলে দেখা গেছে যে নবাগতরা সাধারণত পরামর্শের ক্ষেত্রে সুবিবেচনার পরিচয় দেয়। তবে তারা সবচেয়ে গুরুত্বপূর্ণ যে ব্যাপারে অবদান রেখেছেন তা হলো আমাদের ফলাফলের উন্নয়নে। এই ফলাফলে দেখা গেছে যে এই কাজ বিভিন্ন ভাষায় ভালোভাবে কাজ করতে পারে।
- সামগ্রিক শিখন: যাচাইয়ের বিভিন্ন পর্যায়ে নানাবিধ সমস্যায় পড়ে এবং উত্তরণ ঘটানোর মাধ্যমে আমরা আগামী নকশায় সমস্যা এড়াতে পেরেছি। এই কাজগুলো আমাদেরকে অনেক চিন্তার খোরাক জুগিয়েছে, যে কীভাবে নবাগতরা সঠিক চিন্তার পথে যেতে পারে, এবং কীভাবে অনাকাঙ্ক্ষিত সম্পাদনা এড়াতে পারে।
অনুকল্প
আমরা নিশ্চিত না যে এই কাজ ভালো কাজ করবেই -- যে কারণে আমরা ছোট চক্রে বিভক্ত করে এটাকে নির্মাণ করতে চাই। শিখতে চাই পথে। আমরা মনে করি যে এযাবৎকালে আমরা যা শিখেছি, তার ভিত্তিতে ছোট আকারে প্রথম চক্র প্রস্তুত করতে পারি। আমরা যা করছি, সেটাকে অনুকল্প পরীক্ষণ হিসেবে দেখা যায়। "একটি ছবি যুক্ত করুন" কাজে আমাদের পাঁচটি আশাবাদী অনুকল্প নিচে উল্লেখিত হলো। প্রথম চক্রে আমাদের লক্ষ্য এই অনুকল্পগুলো সঠিক কীনা, তা দেখা।
- ক্যাপশন: ব্যবহারকারীরা সন্তোষজনক পর্যায়ে ক্যাপশন লিখতে পারবেন। এটা আমাদের সবচেয়ে বড় উন্মুক্ত প্রশ্ন, কারণ উইকিপিডিয়ার নিবন্ধে যুক্ত করা ছবির সাথে ক্যাপশন থাকতে হয়, তবে অ্যান্ড্রয়েড এমভিপি নবাগতরা ভালোভাবে ক্যাপশন লিখতে পারেন কীনা তা যাচাই করেনি।
- কার্যকারিতা: নবাগতরা সম্পাদনার ক্ষেত্রে তাদের বিবেচনাকে কাজে লাগাতে পারবেন, যা সম্প্রদায় গ্রহণ করবে।
- অন্তর্ভুক্তি: ব্যভারকারীরা মোবাইলে এই কাজটি করতে পছন্দ করবেন, একাধিকবার, এবং ফিরে এসে আবারও এই কাজ করবেন।
- ভাষা: যে ব্যবহারকারীরা ইংরেজি জানেন না, তারাও এটা ব্যবহার করতে পারবেন। এটা একটা গুরুত্বপূর্ণ প্রশ্ন, কারণ কমন্সে মেটাউপাত্তের বেশিরভাগই ইংরেজিতে, এবং ব্যবহারকারীর পক্ষে যথার্থ ছবি খুঁজে পাওয়ার জন্য ফাইলের নাম, বর্ণনা ও ক্যাপশন পড়তে পারাটা জরুরী।
- দৃষ্টান্ত: এই নকশা "একটি লিঙ্ক যুক্ত করুন কাঠামোবদ্ধ কাজের" সম্প্রসারিত দৃষ্টান্ত।
পরিধি
প্রথম চক্র পরিচালনার ক্ষেত্রে আমাদের অন্যতম প্রধান লক্ষ্য শিখন। আমরা ব্যবহারকারীদের কাছে অভিজ্ঞতা পৌঁছে দিতে চাই, যত দ্রুত সম্ভব। এর মানে আমরা আমাদের ক্ষমতা সীমিত করে দ্রুত মুক্তি দিতে চাই। নিচে প্রথম চক্র পরিচালনার ক্ষেত্রে আমাদের সবচেয়ে গুরুত্বপূর্ণ সীমাবদ্ধতাগুলো তুলে ধরা হলো:
- কেবলমাত্র মোবাইল: অনেক অভিজ্ঞ উইকিমিডিয়ান তাদের উইকি কাজের বেশিরভাগটাই করেন ডেস্কটপ/ল্যাপটপ দিয়ে। নবাগতরা, যাদের উইকিমিডিয়াতে অবদান রাখতে কষ্ট হয়, তারা অধিকাংশ মূলত মোবাইল ডিভাইস ব্যবহার করেন। তারা গ্রোথ দলের অধিকতর গুরুত্বপূর্ণ লক্ষ্য। আমরা যদি প্রথম চক্র কেবলমাত্র মোবাইলের জন্য তৈরি করি, তবে ঐ জনগোষ্ঠীর প্রতি দৃষ্টিনিবদ্ধ করতে পারব, এবং একইসাথে ডেস্কটপ/ল্যাপটপে কাজের ধারা নির্মাণ করার সময় বাঁচাতে পারব।
- স্থিতিশীল পরামর্শ: বিদ্যমান ছবির পরামর্শগুলো দেয়ার জন্য ব্যাকএন্ডে কোনো প্রোগ্রাম সবসময় না চালিয়ে বরং একবারেই এই অ্যালগোরিদমের মাধ্যমে বিপুল সংখ্যক ছবির পরামর্শ তৈরি করা হবে প্রথম এই চক্রে। যদিও এর মাধ্যমে সবচেয়ে নতুন ছবি পাওয়া সম্ভব হবে না, তবে আমাদের শিখনের জন্য এটা যথেষ্ট হবে।
- একটি লিঙ্ক যুক্ত করুন-এর দৃষ্টান্ত: আমাদের নকশা পূর্বের কাঠামোবদ্ধ কাজ, "একটি লিঙ্ক যুক্ত করুন"-এর ধাপগুলোকে অনুসরণ করেই নির্মিত হয়েছে।
- ছবিবিহীন নিবন্ধ: আমরা আমাদের পরামর্শ ঐ নিবন্ধাবলীর জন্যই তৈরি করব, যেগুলোতে কোনো ছবি নেই। যেসকল নিবন্ধে কিছু ছবি আছে, সেগুলোতে আরো ব্যবহারের জন্য ছবির পরামর্শ এই চক্রে থাকবে না। এর মাধ্যমে নবাগতদের জন্য নিবন্ধের কোথায় ছবি বসাতে হবে, এই ধারণা থাকতে হবে না। যেহেতু একটিমাত্রই ছবি থাকবে, নিবন্ধের শীর্ষভাগে এটা বসবে ধারণা করে নেয়া যেতে পারে।
- কোনো তথ্যছক নয়: আমরা কেবলমাত্র সেইসব নিবন্ধকে বেছে নেব, যেগুলোতে কোনো তথ্যছক নেই। এর কারণ যদি কোনো নিবন্ধে তথ্যছক থাকে, তবে শীর্ষভাগে ছবিটি তথ্যছকে বসানো প্রয়োজন। তবে প্রযুক্তিক কিছু কারণে সঠিক ছবি ও ছবির ক্যাপশনের ঘর পূরণ করার ক্ষেত্রে তা কঠিন হবে। এর মাধ্যমে উইকিউপাত্তের তথ্যছক রয়েছে এমন নিবন্ধও বাদ দেয়া হবে।
- একক ছবি: যদিও ছবি ম্যাচিং অ্যালগোরিদম একটি ছবিবিহীন নিবন্ধের জন্য একাধিক ছবির পরামর্শ দিতে পারে, আমরা প্রতিটি নিবন্ধের জন্য সবচেয়ে সম্ভাবনাময় পরামর্শ বেছে নেব। এর মাধ্যমে নবাগতদের জন্য অভিজ্ঞতাটি সহজ হবে, এবং দলের জন্য প্রকৌশল ও নকশার দিক থেকেও এটা তুলনামূলক সহজ হবে।
- মাননিয়ন্ত্রণকারী গেট: আমরা মনে করি যে আমাদের কিছু স্বয়ংক্রিয় পদ্ধতি চালু করা উচিত, যা ব্যবহারকারীকে একসাথে বিপুল সংখ্যক বাজে সম্পাদনা করার ক্ষেত্রে বাধা দেবে। এগুলো হতে পারে (ক) ব্যবহারকারীকে প্রতিদিন নির্দিষ্ট সংখ্যকবার "একটি লিঙ্ক যুক্ত করুন" ব্যবহার করতে দেয়া, (খ) যদি ব্যবহারকারী প্রতিটি পরামর্শ নিয়ে খুব কম সময় ব্যয় করে, তবে ব্যবহারকারীদের অতিরিক্ত নির্দেশনা দেয়া, (গ) যদি ব্যবহারকারীরা অনেক বেশি সংখ্যক ছবি গ্রহণ করে, তবে তাদের অতিরিক্ত নির্দেশনা দেয়া। এই চিন্তার উৎস ইংরেজি উইকিপিডিয়ার ২০২১-এর উইকিপিডিয়ার পাতায় চিত্র যোগ ক্যাম্পেইন।
- পাইলট উইকি: যেহেতু গ্রোথদলের উন্নতিগুলো প্রথমে পাইলট উইকিতে প্রয়োগ করা হয়, তারই ধারাবাহিকতায় আমরা আরবি, ভিয়েতনামিয়, বাংলা, ও চেক উইকিপিডিয়ায় এই বৈশিষ্ট্য চালু করব। এই সম্প্রদায় গ্রোথ দলের কাজের সাথে ঘনিষ্ঠভাবে যুক্ত এবং তারা এই পরীক্ষণ সম্পর্কে অবগত। গ্রোথ দলের সম্প্রদায় অ্যাম্বাসেডরগণ এই সম্প্রদায়ে দ্রুত পৌঁছতে সাহায্য করেন। আমরা স্প্যানিশ ও পর্তুগিজ উইকিপিডিয়াকে আগামী বছরে এই তালিকায় যুক্ত করতে পারি।
আমরা এ সমস্ত বিষয়ে সম্প্রদায়ের মতামত জানতে আগ্রহী। আমাদের চিন্তাগুলো কি ঠিক আছে, না কোনো কিছু বিবেচনা করা প্রয়োজন, যা প্রথম চক্রকে প্রভাবিত করতে পারে বলে তারা মনে করেন।
নকশা
Mockups and prototypes
আমাদের পূর্বোক্ত ব্যবহারকারী পরীক্ষণের এবং অ্যান্ড্রয়েড এমভিপির নকশার ভিত্তিতে আমরা প্রথম চক্রের জন্য বেশকিছু নকশার ধারণা নিয়ে ভেবেছি। ব্যবহারকারীর ধারার পাঁচটির প্রতিটির জন্য আমরা দুইটি বিকল্প ভেবেছি। আমরা নবাগতদের থেকে তথ্যের জন্য দুইটি পরীক্ষণ নিয়েই চিন্তা করেছি। আমরা আশা করি যে এই ব্যাপারে সম্প্রদায়ের সদস্যগণ আলাপ পাতায় তাদের চিন্তা তুলে ধরতে পারেন। For each of five parts of the user flow, we have two alternatives. We'll user test both to gain information from newcomers. Our user tests will take place in English and Spanish -- our team's first time testing in a non-English language. We also hope community members can consider the designs and provide their thoughts on the talk page.
Prototypes for user testing
The easiest way to experience what we're considering to build is through the interactive prototypes. We've built prototypes for both the "Concept A" and "Concept B" designs, and they are available in both English and Spanish. These are not actual wiki software, but rather a simulation of it. That means that no edits are actually saved, and not all the buttons and interactions work -- but the most important ones relevant to the "add an image" project do work.
নমুনা
নিচে নমুনার কিছু স্থিরচিত্র দেয়া হয়েছে, তবে সম্প্রদায়ের সদস্যদের গ্রোথ দলের নকশাকারীর ফিগমা ফাইল দেখার আমন্ত্রণ জানাচ্ছি। ক্যানভাসের নিচে ডানদিকে মকআপগুলো রয়েছে, এছাড়া বিভিন্ন উৎসের অনুপ্রেরণাও উল্লেখিত আছে।
ফিড
এই নকশা কাজের ধারার সবচেয়ে প্রথম অংশ নিয়ে আলোচনা করে, যেখানে ব্যবহারকারী পরামর্শকৃত সম্পাদনার নীড়পাতা থেকে নিবন্ধ নির্বাচন করেন। আমরা চাই কার্ডটি যেন আকর্ষণীয় হয়, তবে ব্যবহারকারীকে বিভ্রান্ত করে তুলতে চাইনা।
-
ধারণা ক: পরামর্শকৃত ছবির অস্পষ্ট থাম্বনেইল দেখায়, যা ব্যবহারকারীকে আসন্ন কাজের ব্যাপারে ধারণা দেয়। -
ধারণা খ: ছবির থাম্বনেইল থাকবে না, যেন ব্যবহারকারী শুরুতেই মনে না করেন -- ছবিটি এই নিবন্ধের "জন্যই"।
শুরুর যাত্রা
এই নকশাগুলো দেখায় যে ব্যবহারকারী তাদের প্রথম কাজ শুরু করার পরে কী দেখবেন। কাজটি কী তা ব্যাখ্যা করার পাশাপাশি তারা যেন কাজটি ভালোভাবে করতে পারেন, তাও দেখানো হবে এখানে। আমরা চাই ব্যবহারকারী বুঝুক যে ছবি যোগ করার পরপর আরো কিছু ব্যাপার থাকবে যা গুরুত্বের সাথে করতে হবে। লক্ষ্যণীয় যে কী লেখা হবে তা একদম সুনির্দিষ্টভাবে এখনো ঠিক করা হয়নি -- বরং আমরা এখন অভিজ্ঞতার মাধ্যমে কীভাবে এই বিষয়বস্তু তুলে ধরব তা ঠিক করছি।
-
ধারণা ক: ছবি যোগ করার ধারণা ও ধাপগুলো ফুলস্ক্রিনে ব্যাখ্যা করা হবে। -
ধারণা খ: কাজের ধারার বিভিন্ন অংশ ধারাবাহিক পপ-আপের মাধ্যমে দেখানো হবে।
ছবি যুক্ত করা
এই নকশা মূলত কাজের ধারার অংশবিশেষকে নির্দেশ করে, যেখানে ব্যবহারকারী পরামর্শকৃত ছবিটা দেখেন, কমন্স থেকে মেটাউপাত্ত পড়েন, এবং সিদ্ধান্ত গ্রহণ করেন যে ছবিটা যোগ করে ঠিক হবে কীনা। আমরা ব্যবহারকারী পরীক্ষণ থেকে জানি যে ব্যবহারকারীর পক্ষে এটা গুরুত্বপূর্ণ যেন তিনি ছবির শিরোনাম, কমন্সের বর্ণনা, এবং কমন্সের শিরোনাম পড়েন। এর মাধ্যমে সঠিক সিদ্ধান্ত গ্রহণ করা সম্ভব। নকশার চ্যালেঞ্জিং একটি অংশ এটা: যেন তথ্যাবলী মোবাইলের স্ক্রিনে দেখানো যায়। We know from user tests that it is important for the user to read the image title, Commons description, and Commons caption in order to make this decision correctly. This is a challenging part of the design: making all that information available on the mobile screen.
-
ধারণা ক: পরামর্শকৃত ছবি নিবন্ধে যেখানে বসবে, সেখানেই দেখানো হবে। এর মাধ্যমে ব্যবহারকারীরা অনুভব করবেন যে ছবিটি মূলত নিবন্ধে বসাতে হবে। ব্যবহারকারীরা ছবিটি সম্প্রসারণ করে ফুলস্ক্রিনে দেখতে পাবেন এবং "i"-এ ক্লিক করে মেটাউপাত্ত দেখতে পাবেন। -
ধারণা খ: পরামর্শকৃত ছবিগুলো "ছবি পরিদর্শক" কার্ডে দেখানো হবে, এর সাথেই কমন্সের মেটাউপাত্ত থাকবে। ব্যবহারকারীরা চাইলে সম্প্রসারণ করে ফুলস্ক্রিনে দেখতে পাবেন।
ক্যাপশন ও প্রকাশ
এই নকশা কাজের ধারার ঐ অংশকে নির্দেশ করে, যেখানে ব্যবহারকারী নিবন্ধে ছবি যুক্ত করার সিদ্ধান্ত নিয়েছেন, এবং এখন তিনি ক্যাপশন যুক্ত করতে যাচ্ছেন। এটি নবাগতর জন্য সবচেয়ে চ্যালেঞ্জময় কাজ হতে পারে, এবং আমরা এখনো ভাবছি সঠিক ক্যাপশন দেয়ার ব্যাপারে তাদেরকে কীভাবে সহায়তা করা যায়।
-
ধারণা ক: বিদ্যমান দৃশ্যমান সম্পাদনার ক্যাপশন বার্তা বাক্সের মাধ্যমে ছবির ক্যাপশন যুক্ত করা হবে। -
ধারণা খ: নিবন্ধে ছবি যুক্ত হবে, যার মাধ্যমে ব্যবহারকারীরা প্রেক্ষাপট বিবেচনা করে ক্যাপশন যুক্ত করবেন।
বাতিল
যখন একজন ব্যবহারকারী কোনো পরামর্শ বাতিল করে দেন, আমরা সেই তথ্যটি সংগ্রহ করে দেখতে চাই কেন সেটি ভুল ছিল। এর মাধ্যমে আমরা আমাদের অ্যালগরিদম উন্নত করতে পারব। এটি ব্যবহারকারীকে ধারাবাহিকভাবে মনে করানোরও একটি উপায়, যেন তারা পরীক্ষণের সময় পরীক্ষণের নীতি সম্পর্কে খেয়াল রাখেন।
-
ধারণা ক: ব্যবহারকারীরা কেবল একটি অপশন নির্বাচন করতে পারেন। -
ধারণা খ: ব্যবহারকারী বিভিন্ন অপশন নির্বাচন করতে পারেন।
User test results September 2021
In August 2021, we ran 32 user tests amongst people who were new to Wikipedia editing, using respondents from usertesting.com. Half the respondents walked through Concept A and half through Concept B. In order to represent more diverse perspectives, this was the first time that the Growth team ran user tests outside of English: 11 respondents took the test in Spanish, all of whom were located outside the United States. This will help us make sure we're building a feature that is valuable and understandable for populations around the world.
Our goals for the testing were to identify which parts of the design concepts worked best, and to surface any other potential improvements. These are our main findings and changes to the designs we plan to make.
- Findings
- Concept B clearly performed better for participants in both English and Spanish tests, particularly:
- Better understanding of the task. In Concept A, users sometimes thought the image was already in the article, because of its preview on the suggested edit card and the preview in the article.
- More careful engagement and consideration of article contents and image metadata when evaluating image suitability to an article. We suspect this is because the article and metadata areas were clearly separated.
- Greater use of image details and article contents during caption composition. The Concept B caption experience shows the full article text.
- Other notes
- Most people misunderstood the task initially as uploading images when they opened the Suggested edits module, regardless of design. But expectation about self-sourcing images was immediately corrected for almost all participants as soon as they opened the task, and overall, Design B evoked better task comprehension and successful image evaluation than Design A.
- Newcomers would benefit from more user education around Commons and use of images on Wikipedia articles in their understanding of the broader editing ecosystem of Wikipedia and its sister projects.
- Users understood the purpose of the caption, and understood that it would be displayed with the image in the Wikipedia article.
- Spanish participants were far more interwiki-attuned than English participants. Potentially explore ways to better cater to multilingual/cross-wiki users.
- Spanish participants needed to translate Commons metadata to themselves in order to write good captions in Spanish.
- The current task requires several different skills, such as image evaluation, caption writing, and translation (for reading Commons metadata from a non-English Wikipedia). There may be benefits and opportunities for separating out this task into multiple tasks in future so that users don't have to have all the skills in order to complete the task.
- Concept B clearly performed better for participants in both English and Spanish tests, particularly:
- Changes
- Do not show a preview of the suggested image on the card in the suggested edits feed.
- The onboarding tooltips worked well to help users understand the task. But they could be overwhelming or cluttering for smaller screens. Though we prefer to implement tooltips, we have decided to implement fullscreen overlays for onboarding in Iteration 1, because tooltips will take a substantially longer time to engineer well. We may implement tooltips in a future iteration.
- Image and image metadata need to be next to each other -- when they are in separate parts of the screen, users become confused.
- Because it is very important that users consider image metadata when making their decision and writing the caption, we need to increase the visibility of the metadata with clearer calls to read it.
- Include simple validation on the free-text caption, such as enforcing a minimum length for captions, or not allowing the filename to be part of the caption.
- Provide samples of good and bad captions in the explanation for the caption step.
- When users reject a suggestion and give the reason for the rejection, some of the reasons should not remove the suggestion from the queue, e.g. "I do not know this topic". Perhaps another user will be able to confidently make the match.
- Example captions: below are three image/article pairings used in the test and the actual captions written by user testers. This gives us a sense of the sorts of captions we can expect from newcomers. They all seem to be generally on the right track, though they range from more like "alt text" to more like captions. There are also a couple that miss the mark.
-
Article: Edward Edwards (Royal navy officer)
"Drawing of the HMS Pandora by Robert Batty"
"The HMS Pandora, of which Admiral Edward Edwards captained in order to catch mutineers."
"An 1831 depiction of the HMS Pandora sinking"
"Royal Navy"
"Illustration of HMS Pandora sinking" -
Article: Fiesque
"Edouard Lalo, composer of the music of the Fiesque opera"
"Photo of Edouard Lalo, composer of Fiesque"
"Edouard Lalo - 1865"
"Eduard Lalo, around 1865"
These captions were translated from Spanish. -
Article: Bahaettin Rahmi Bediz
"A photo of Bahaettin Rahmi Bediz taken on 1st January 1924, pictured with his bicycle"
"Bahaettin Radmi Bediz on 1 January 1924"
"Rahmizadephoto1869"
"Rahnizade Bahaeddin Bediz. in uniform, standing next to a bicycle"
Final designs for Iteration 1
Based on the user test findings above, we created the set of designs that we are implementing for Iteration 1. The best way to explore those designs is here in the Figma file, which always contains the latest version.
Measurement
Leading indicators
Whenever we deploy new features, we define a set of "leading indicators" that we will keep track of during the early stages of the experiment. These help us quickly identify if the feature is generally behaving as expected and allow us to notice if it is causing any damage to the wikis. Each leading indicator comes with a plan of action in case the defined threshold is reached, so that the team knows what to do.
| Indicator | Plan of Action |
|---|---|
| Revert rate | This suggests that the community finds the "add an image" edits to be unconstructive. If the revert rate for "add an image" is substantially higher than that of unstructured tasks, we will analyze the reverts in order to understand what causes this increase, then adjust the task in order to reduce the likelihood of edits being reverted. |
| User rejection rate | This can indicate that we are suggesting a lot of images that are not good matches. If the rejection rate is above 40%, we will QA the image suggestion algorithm and adjust thresholds or make changes to improve the quality of the recommendations. |
| Over-acceptance rate | This might indicate that some users aren't actually applying judgment to their tasks, meaning we might want to implement different quality gates. (What percentage of users who have a complete session have never rejected or skipped an image? What percentage of users who have five or more complete sessions have never rejected or skipped an image? How many sessions across all users contained only acceptances?) |
| Task completion rate | This might indicate that there’s an issue with the editing workflow. If the proportion of users who start the "add an image" task and complete it is lower than 55% (completion rate for "add a link"), we investigate where in the workflow users leave and deploy design changes to enable them to continue. |
We collected data on usage of "add an image" from deployment on November 29, 2021 until December 14, 2021. "Add an image" has only been made available on the mobile website, and is given to a random 50% of registrations on that platform (excluding our 20% overall control group). We therefore focus on mobile users registered after deployment. This dataset excluded known test accounts, and does not contain data from users who block event logging (e.g. through their ad blocker).
Overall: The most notable thing about the leading indicator data is how few edits have been completed so far: only 89 edits over the first two weeks. Over the first two weeks of "add a link", almost 300 edits were made. That feature was deployed to both desktop and mobile users, but that alone is not enough to make up the difference. The leading indicators below give some clues. For instance, task completion rate is notably low. We also notice that people do not do many of these tasks in a row, whereas with "add a link", users do dozens in a row. This is a prime area for future investigation.
Revert rate: We use edit tags to identify edits and reverts, and reverts have to be done within 48 hours of the edit. The latter is in line with common practices for reverts.
| Task type | N edits | N reverts | Revert rate |
|---|---|---|---|
| Add an image | ৬৯ | ১৩ | ১৮.৮% |
| Add a link | ২০৯ | ৪ | ১.৯% |
| Copyedit | ৯৩ | ১৯ | ২০.৪% |
The "add an image" revert rate is comparable to the copyedit revert rate, and it’s significantly higher than "add a link" (using a test of proportions). Because "add an image" has a comparable revert rate to unstructured tasks, the threshold described in the leading indicator table is not met, and we do not have cause for alarm. That said, we are still looking into why reverts are occurring in order to make improvements. One issue we've noticed so far is a large number of users saving edits from outside the "add an image" workflow. They can do this by toggling to the visual editor, but it is happening so much more often than for "add a link" that we think there is something confusing about the "caption" step that is causing users to wander outside of it.
Rejection rate: We define an edit “session” as reaching the edit summary dialogue or the skip dialogue, at which point we count whether the recommended image was accepted, rejected, or skipped. Users can reach this dialogue multiple times, because we think that choosing to go back and review an image or edit the caption is a reasonable choice.
| N accepted | % | N rejected | % | N skipped | % | N total |
|---|---|---|---|---|---|---|
| ৫৩ | ৪১.৭ | ৩৮ | ২৯.৯ | ৩৬ | ২৮.৩ | ১২৭ |
The threshold in the leading indicator table was a rejection rate of 40%, and this threshold has not been met. This means that users are rejecting suggestions at about the same rate as we expected, and we don't have reason to believe the algorithm is underperforming.
Over-acceptance rate: We reuse the concept of an "edit session" from the rejection rate analysis, and count the number of users who only have sessions where they accepted the image. In order to understand whether these users make many edits, we measure this for all users as well as for those with multiple edit sessions and five or more edit sessions. In the table below, the "N total" column shows the total number of users with that number of edit sessions, and "N accepted all" the number of users who only have edit sessions where they accepted all suggested images.
| Edits | N total | N accepted all | % |
|---|---|---|---|
| ≥1 edit | ৯৭ | ৩৪ | ৩৫.১ |
| ≥2 edits | ২১ | ৮ | ৩৮.১ |
| ≥5 edits | ০ | ০ | ০.০ |
It is clear that over-acceptance is not an issue in this dataset, because there are no users who have 5 or more completed image edits, and for those who have more than one, 38% of the users accepted all their suggestions. This is in the expected range, given that the algorithm is expected usually to make good suggestions.
Task completion rate: We define "starting a task" as having an impression of "machine suggestions mode". In other words, the user is loading the editor with an "add an image" task. Completing a task is defined as clicking to save the edit, or confirming that you skipped the suggested image.
| N Started a Task | N Completed 1+ Tasks | % |
|---|---|---|
| ৩১৩ | ৯৬ | ৩০.৭ |
The threshold defined in the leading indicator table is "lower than 55%", and this threshold has been met. This means we are concerned about why users do not make their way through the whole workflow, and we want to understand where they get stuck or drop out.
Add an Image Experiment Analysis
Review the full report: "Add an Image" Experiment Analysis, March 2024.
অনুচ্ছেদে "একটি ছবি যুক্ত করুন"
যেসকল উইকিতে এটি চালু হয়েছে, সেখানে নবাগতরা তাদের নীড়পাতা থেকে “একটি ছবি যুক্ত করুন” কাঠামোবদ্ধ কাজটি করতে পারেন। বর্তমান "একটি ছবি যুক্ত করুন" কাজটি চিত্রবিহীন নিবন্ধ ছবির পরামর্শ দিয়ে থাকে। এরপরে ছবিটি নিবন্ধের মূল অংশে যুক্ত হয়, যেন তা সম্পূর্ণ নিবন্ধের বিষয়বস্তুকে বুঝাতে পারে।
There will be onboarding for the task, followed by a specific suggestion (that includes the reason why the image is suggested). If the newcomer decides the image is a good fit for the article's section, then they receive guidance on caption writing. The structured task provides image details, further caption writing help if needed, and then prompts the newcomer to review and publish the edit.
A partnership with the Structured Data team
এটা উইকিপিডিয়া জুড়ে স্ট্রাকচার্ড ডেটা প্রকল্পের একটি দিক। এই নতুন বৈশিষ্ট্যটি নিবন্ধের প্রাসঙ্গিক অনুচ্ছেদে ছবির পরামর্শ দেবে। বর্তমান ”একটি ছবি যুক্ত করুন” কাজে সফল হওয়ার পরেই নবাগতরা এই কাজটিতে যেতে পারবেন, কারণ এটিকে অপেক্ষাকৃত কঠিন কাজ হিসেবে বিবেচনা করা হচ্ছে।
Read more about the Structured Data Across Wikimedia team’s work here: Section-level image suggestions.Hypotheses
- Structured editing experience will lower the barrier to entry and thereby engage more newcomers, and more kinds of newcomers than an unstructured experience.
- Newcomers with the workflow will complete more edits in their first session, and be more likely to return to complete more.
- Adding a new type of “add an image” task will increase the number of image suggestions available for each language.
Scope
Key deliverable: completion of the Section-Level Images (newcomer structured task) Epic (T321754).
Design
Screenshots from two mobile designs can be seen on the right. Section-level "add an image" designs are visible in this Figma file.
User testing
Initial user testing of designs was completed in April 2023 in English. Six testers were given instructions, asked to experiment with this section-level design prototype, and evaluate the easiness and enjoyableness of the task. Testers ranged in age from 18 to 55, were from 5 different countries, and most had not previously edited Wikipedia. Three of the testers were male, and three were female. They were asked to review two image suggestions, one was a "good" image suggestion and one was a "bad" image suggestion.
Some key take-aways from the user testing:
- The onboarding was understood by all participants: “Clear, easy to understand, straightforward.”
- Participants seemed to understand the task and that they needed to focus on the section when making their decision. One participant accepted a "bad" image suggestion:
- 2/6 participants accepted the "good" image suggestion (3 rejected the image, 1 participant skipped it).
- 5/6 participants rejected the "bad" image suggestion.
- Note: the algorithm that powers image suggestions should provide more "good" suggestions than "bad" suggestions, but the algorithm isn't perfect, which is why this task needs human review and is suitable for new editors.
- Some participants mentioned wanting more than one image to review per section: “One suggestion is not enough, maybe you can present more images to choose from so I can select the most appropriate image.”
Algorithm evaluation
The Growth team aims to ensure structured tasks for newcomers provide suggestions to newcomers that are accurate at least 70% of the time. We have conducted several rounds of evaluation to review the accuracy of the image suggestion algorithm.
In the initial evaluation, suggestions were still fairly inaccurate (T316151). Many images were suggested in sections that shouldn't have images, or the image related to one topic in the section but didn't represent the section as a whole. Based on feedback from this evaluation, the Structured Data team continued to work on logic and filtering improvements to ensure suggestions were more accurate (T311814).
In the second evaluation, on average, suggestions were much better (T330784). Of course results varied widely by language, but the average accuracy was fairly high for many wikis. However, there are some wikis in which the suggestions are still not good enough to present to newcomers, unless we only utilized the "good intersection" suggestions. That would severely limit the number of image suggestions available, so we are looking instead at increasing the confidence score of the suggestions we provide.
| wiki | % good alignment | % good intersection | % good p18/p373/lead image | total rated suggestions |
|---|---|---|---|---|
| arwiki | 71 | 91 | 54 | 511 |
| bnwiki | 28 | 86 | 26 | 204 |
| cswiki | 41 | 77 | 23 | 128 |
| enwiki | 76 | 96 | 75 | 75 |
| eswiki | 60 | 67 | 48 | 549 |
| frwiki | N.A. | N.A. | 100 | 3 |
| idwiki | 66 | 81 | 37 | 315 |
| ptwiki | 92 | 100 | 84 | 85 |
| ruwiki | 73 | 89 | 69 | 250 |
| overall | 64 | 86 | 57 | 2,120 |
It's good to note that this task will be Community configurable via Special:EditGrowthConfig. We hope to improve the task to the point that it can work well on all wikis, but communities will ultimately decide if this task is a good fit and should remain enabled.
Community consultation
A discussion with Growth pilot wikis is planned for May 2023 (T332530). We will post designs, plans, and questions at Arabic Wikipedia, Bengali Wikipedia, Czech Wikipedia, Spanish Wikipedia, as well as share further details here on MediaWiki.
Measurement
We decided to not deploy this feature in an A/B test and instead allow users to opt in to using it through the task selection dialogue on the Newcomer Homepage, or through the "Try a new task" post-edit dialogue that's part of the Levelling Up features. This meant that we focused on measuring a set of leading indicators to understand if the task was performing well. More details about this can be found in T332344.
We pulled data from Growth's KPI Grafana board from 2023-07-31 to 2023-08-28 (available here) for Section-Level and Article-Level suggestions. This timeframe was chosen because it should not be as much affected by the June/July slump in activity that we often see on the wikis. The end date is limited by the team shutting off image suggestions in late August (see T345188 for more information). This data range covers four whole weeks of data. While this dataset does not allow us to separate it by platform (desktop and mobile web), nor does it allow us more fine-grained user filtering, it was easily available and provides us with a reasonably good picture that's sufficient for this kind of analysis at this time. Using this dataset we get the overview of task activity shown in Table 1.
| Task type | Task clicks | Saved edits | Reverts | Task completion rate | Revert rate |
|---|---|---|---|---|---|
| Section-level | ১,১৪৯ | ৬৮৮ | ৬০ | ৫৮.১% | ৯.০% |
| Article-level | ৬,৮০০ | ২,৪১৪ | ১০৫ | ৩৫.৫% | ৪.৩% |
We see from the table that the task completion rate for section-level image suggestions is high, on par with Add a Link (ref) when that was released. This is likely because the section-level task is something users either choose themselves in the task selection dialogue, or choose to try out after being asked through the "Try a new task" dialogue that's part of Levelling Up. Those users are therefore likely already experienced editors and don't have too many issues with completing this task.
The revert rate for the section-level task is higher than the article-level task. We don't think this difference is cause for concern for two reasons. First, it might be harder to agree that an article is clearly improved by adding a section-level image compared to adding an article-level image. Secondly, articles suggested for section-level images already have a lead image, which might mean that they're also longer and have more contributors scrutinizing the edit.