Büyüme/Anatalik güncellemeleri/Yardım Paneli deneme planı
Yardım panelinin amacı, kullanıcılara düzenleme bağlamından ayrılmak zorunda kalmadan yardım almanın daha kolay yollarını sağlamaktır. Bu, daha sonra onların görevlerini tamamlamalarını sağlarken, aynı zamanda topluluğun yardım masasındaki sorular ve yanıtlar aracılığıyla potansiyel olarak Vikipedi topluluğuyla da tanışmalarını sağlayabilir. Kullanıcıların görevlerini tamamlamalarına yardımcı olmak, editör aktivasyonunun artmasına (düzenleme yapan yeni kullanıcıların oranı) ve potansiyel olarak editörün elde tutulmasına (ikinci kez düzenlemeye dönen yeni kullanıcıların oranı) yol açabilir; ikincisi, Büyüme Ekibinin kapsayıcı hedefin özelliğidir.
Yardım panelinin editör aktivasyonu ve alıkoyma üzerindeki etkisini anlamak için altı aylık bir A/B testi öneriyoruz. Bu test sırasında, hedef vikilerdeki yeni kayıtların %50'si yardım panelini varsayılan olarak etkinleştirecek ve %50'si devre dışı bırakacaktır. Hedef vikiler üzerinde aynı anda başka deneyler de gerçekleştiriyoruz, örneğin karşılama anketimizin varyantlarını test ediyoruz. Bu deneyler tabakalı örnekleme gerektiriyorsa, örnekleme stratejilerimizin buna göre değiştirilmesini sağlayacağız.
Yardım paneliyle izlemeyi düşündüğümüz sorular hakkında daha fazla bilgi için proje sayfasındaki bu bölüme bakın. Tam olarak hangi verileri kaydedeceğimiz hakkında daha fazla bilgi için bu EventLogging şemasına bakın.
Varyantlar
Bu altı ay boyunca, belirli arayüz öğelerinin yardım arama iş akışı içindeki davranışları nasıl olumlu etkilediğini anlamak için yardım panelinin test varyantlarını da öngörüyoruz. Değiştirilmiş bir arayüzün aktivasyon veya retansiyonu etkileyeceğine dair hipotezimiz ne kadar güçlü olursa, bu arayüz üzerinde yapılan bir test, aktivasyon ve retansiyon konusundaki uzun dönemli deneyimizi karıştırır.
Önce hangi varyantları test edeceğimize öncelik vermeliyiz, çünkü her seferinde sadece birini test edeceğiz. Ayrıca, daha büyük denemenin yaklaşık bir ayı, bu küçük olanlar iç içe yerleştirilmeden yürütülene kadar varyantların hiçbirini çalıştırmayacağız. Bu, yardım panelinin yeni kullanıcı etkinleştirme hızı üzerinde bir etkisi olup olmadığını net bir şekilde öğrenebilmemiz içindir.
Öncü göstergeler ve eylem planları
A/B testinin süresi altı aydır, çünkü orta büyüklükteki vikilerdeki yeni editör alıkoyma değişikliklerini bundan daha kısa sürede saptamak imkansızdır (alıkoymayı büyük ölçüde etkilemedikçe, ancak bunu biraz olası görmüyoruz). Sonuçlarımızı beklerken bir şeylerin ters gittiğinden şüphelenirsek harekete geçmek isteriz. Aşağıda, yukarıdaki enstrümantasyon stratejisinde açıklanan verilere dayalı bir dizi senaryo çiziyoruz. Her senaryo için, durumu düzeltmek için bir eylem planı öneriyoruz.
| Gösterge | Eylem planları |
|---|---|
| Yardım panelini açmamak | Yardım panelini gören (yani editörü açtıkları) hedef gruptaki kullanıcıların %75'inden fazlası da paneli açmazsa, panelin varyantını artan uygunlukla test etmeye öncelik veririz.
|
| Paneli kullanmamak | Paneli açan kullanıcıların %50'sinden fazlası da paneli etkileşime girmeden kapatırsa, paneli açıldıktan sonra tanıtan bir rehberli tur geliştirmeyi düşünürüz.
|
| Paneli kapatmak | Kullanıcıların >%10'u paneli kapatırsa, daha önce düzenleme yaptıklarını bildiren veya anketi atlayıp atlamadıklarını görmek için Karşılama Anketi verileriyle çapraz referans yaparız. Değilse, tasarımı yeniden değerlendiririz. |
| Yardım bağlantılarına tıklamamak | Bağlantılardan biri tıklamaların %10'undan azını alırsa (çeşitli yardım bağlantıları arasında), bağlantının silinmesi veya başka bir şeyle değiştirilmesi gerekip gerekmediği konusunda topluluk büyükelçilerine danışırız. |
| Soru sormamak | Yardım panelini açan kullanıcıların >%25'inden fazlası (yardım bağlantılarını kullanmadan) da soru sorma yolunda başlamazsa, soru yolunu tanıtmak için rehberli bir tur geliştirmeyi düşünürüz.
|
| Düşük kaliteli sorular | Soruların >%50'sinden fazlası 30 karakterin (veya dile uygun eşdeğerin) altındaysa, tasarımın daha ayrıntılı soruları teşvik edip edemeyeceğini düşünüyoruz. |
| Cevapsız sorular | Yardım paneli aracılığıyla sorulan soruların %10'undan fazlası cevapsız kalırsa, nedenini öğrenmek için elçilerimize ulaşırız ve editörlerin yanıt vermesi için ping sistemini düşünürüz. Veya yardım masalarının bunalmış olup olmadığını düşünüyoruz.
Bir soruya yanıt almak için geçen ortalama süre 24 saatin üzerine çıkarsa, nedenini öğrenmek için elçilerimize ulaşırız. |
| Kullanıcılar cevabı okumak için geri dönmez | Kullanıcıların <%35'i sorularının yanıtlarını okumaya geri dönerse, e-posta adreslerini yakalamak ve kullanıcıları bilgilendirmek için daha iyi sistemler hakkında konuşuruz. |
| Yanıt aldıktan sonra tekrar düzenlemeye çalışmaz | Yardım paneliyle etkileşimde bulunan ve bir soru soran ve bir yanıt alan kullanıcıların %25'inden fazlası siteye geri dönüyor ancak tekrar düzenlemeye çalışmazsa, bu kullanıcıların rastgele bir örneğini araştırırız ve sorularının sırayla ne olduğunu öğreniriz ikinci kez dönmelerini ve düzenlemelerini beklemenin mantıklı olup olmadığını anlamaktadır. |
Bir ay sonra lider göstergelerin durumu
Yardım Paneli 11 Ocak 2019'da Çekçe ve Korece Vikipedi'lere konuşlandırıldı. Bir ay sonra önde gelen göstergelerimizi değerlendirebilmemiz ve özelliğin davranışlarından herhangi biriyle ilgili olup olmadığını belirleyebilmemiz için bu noktaya kadar her iki viki için tüm kayıtlar için veri topladık. Kısacası, değerlendirme bazı iyileştirme alanlarını ortaya koyarken, yardım panelinin şimdiye kadarki davranışının sağlıklı olduğunu ve vikiler üzerinde olumsuz bir etkisi olmadığını düşünüyoruz.
Bilinen test hesapları, Yardım Paneli'ni kendi tercihlerine göre tedavi grubuna açıp kapatan kullanıcılar gibi kendi tercihlerine göre gruplarını rastgele atamadan kaynaklanan 'eşit beklenti' ihlal ettiği için kaldırıldı. Ancak, aşağıda göreceğimiz gibi, çok az kullanıcı tercihlerini değiştirdi.
| Gösterge | Eşik | Çekçe Vikipedi | Korece Vikipedi |
|---|---|---|---|
| Yardım panelini açmamak | Hedef gruptaki yardım panelini gören (yani düzenleyiciyi açtıkları) kullanıcıların >%75'inden fazlası da paneli açmaz. | 84,7% | 77,4% |
| Paneli kullanmamak | Paneli açan kullanıcıların >%50'si paneli etkileşim kurmadan da kapatır. | 36,8% | 39,4% |
| Paneli kapatmak | Kullanıcıların >%10'u paneli kapatıyor. | 0,5% | 0,3% |
| Yardım bağlantılarına tıklamamak | Bağlantılardan biri tıklamaların <%10'unu alır (çeşitli yardım bağlantıları arasında). | 3 links | None |
| Soru sormamak | Yardım panelini açan kullanıcıların >%25'inden fazlası (yardım bağlantılarından herhangi birini kullanmadan) da soru sorma yolunda başlamamaktadır. | 69,2% | 93,7% |
| Soru yolunu başlatan kullanıcıların >%15'i soruyu tamamlamıyor. | 21,7% | 37,5% | |
| Düşük kaliteli sorular | Soruların >%50'si 30 karakterin altında (veya dile uygun eşdeğeri). | 30,0% | 16,7% |
| Kullanıcılar cevabı okumak için geri dönmez | Kullanıcıların <%35'inden fazlası sorularının yanıtlarını okumak için geri dönüyor. | 36,8% | 50,0% |
Yukarıdaki tabloda endişe kaynağı olan dört eşik vardır ve aşağıdaki liste onlar hakkında nasıl düşündüğümüzü açıklamaktadır.
- Yardım panelini açmamak: her iki wiki için de sayı bir miktar, ancak eşik değerinden endişe verici derecede yüksek değil. Bu, iyileştirme için yeri olan sağlıklı açık oranlara sahip olduğumuzu hissettiriyor. Bu bağlamda, kullanıcıların daha fazla açma fırsatına sahip olması için yardım panelini daha fazla yerde görüntülemeye başladık. Yardım paneli artık Yardım, Vikipedi ve Kullanıcı ad alanlarında okuma modunda görüntüleniyor. Bu çalışma T215664 içinde izlendi ve 6 Mart 2019'a kadar tamamlandı.
- Yardım bağlantılarına tıklamamak: analiz, üç Çekçe bağlantısının trafiğinin azaldığını gösterdiğinden, noterlik hakkında daha fazla bilgi bağlantısını kaldırdık ve ikincisi Yardım Masası'na gönderilen ve en sık sorulan soru olduğu için bir resim ekleme bağlantısıyla değiştirdik, Korece en sık tıklanan bağlantıdır. Ayrıca rehberin bağlantısını "Hızlı eğitim" olarak yeniden etiketledik, çünkü bu, en sık tıklanan ikinci bağlantı olduğu Korece Vikipedi'de kullanılan şeydir. Bu çalışma T217391'de izlendi ve 6 Mart 2019'a kadar tamamlandı.
- Soru sormamak: geçmişe bakıldığında, yardım panelini açan (ve bağlantıları tıklamayan) kullanıcıların %75'inin bir soru sorması beklentimiz muhtemelen çok iddialıydı. Çekçe sorulan soruların oranı konusunda kendimizi rahat hissediyoruz ve düşük soru oranı göz önüne alındığında, belki de halka açık soru sorma paradigmasının Korece Vikipedi için pek uygun olmadığını öğreniyoruz. Bu, yardım paneline "arama" özelliğini eklememizin nedenlerinden biridir, böylece kullanıcılar, yardım bulma konusunda kendi tercihlerine uyan farklı yollar bulabileceklerdir. Bu çalışma T209301'i içinde izlendi ve 25 Şubat 2019'a kadar tamamlandı.
- Soru yolunu başlatmak ve tamamlamamak: bu metrik için mutlak sayılar hâlâ, eşikten daha yüksek olup olmadığımızı güvenle söylemek zor olsa da yeterince düşüktür. Bu analiz sırasında, sadece yaklaşık 25 kişi bir soru sormaya çalışmıştı. Bu nedenle, bu göstergeyi daha sonraki bir aşamada tekrar gözden geçireceğiz.