Büyüme/Kişiselleştirilmiş ilk gün/Yeni gelen görevler/Deney analizi, Kasım 2020

Grup:	Büyüme
Başlangıç:	2019-11-21
Bitiş:	2020-05-14
Öncülük etme:	Morten Warncke-Wang (Staff Data Scientist)

This page is a translated version of the page Growth/Personalized first day/Newcomer tasks/Experiment analysis, November 2020 and the translation is 77% complete.

Outdated translations are marked like this.

Phabricator'da izlendi
Görev T230174

Kasım 2019'da, Büyüme ekibi "yeni gelen görevler" özelliğini yeni gelen ana sayfasına ekledi. Yeni gelen görevleri, yeni gelenlerin ilgi alanlarına göre düzenlenmiş, düzenlenecek önerilen maddelerin bir beslemesini sağlar. Amaç, yeni gelenlere vikiye ilk geldiklerinde ilgilendikleri kolay düzenlemeler vermekti. Hipotezimiz, araçların yeni gelenlerin düzenlemeye başlamasını, düzenleme becerilerini öğrenmesini, etkilerini görmesini ve ardından düzenlemeye devam etmesini daha olası kılacaktı.

Özelliklerin etkisini öğrenmek için, özellikleri kontrollü bir deneyde devreye aldık: Yeni gelenlerin %76'sı özellikleri aldı ve %24'ü almadı. Deney altı ay sürdü ve Arapça, Vietnamca, Çekçe ve Korece Vikipedi'lerden veri topladık.

Bulguların özeti

Genel olarak analiz, Büyüme özelliklerinin yeni gelenler için sonuçları iyileştirdiğini gösterdi. En önemli noktalar aşağıdadır.

Büyüme özelliklerini alan yeni gelenlerin "etkinleştirilme" olasılığı daha yüksektir (yani, ilk madde düzenlemesini yapın).
Ayrıca alıkonulma ihtimalinin daha yüksek olduğuna inanıyoruz (yani geri gelin ve farklı bir günde başka bir madde düzenlemesi yapın).
Özellikler ayrıca yapıcılığı azaltmadan (yani düzenlemeler geri alınırsa) düzenleme hacmini (yani düzenleme sayısını) artırır.

Bu sonuçların, Büyüme özelliklerinin, özellikle de yeni gelenlerin görevlerinin, yeni gelenleri daha fazla düzenlemeye ve yeni gelenlerin daha uzun süre vikide kalmasına yol açtığını doğruladığına inanıyoruz.

Bu sonuçlar nedeniyle, tüm Vikipedi'lerin bu özellikleri uygulamayı düşünmesi gerektiğini düşünüyoruz.

Ayrıca, bu sonuçların, Büyüme ekibinin yeni gelenler için yeni tür kolay düzenleme iş akışları oluşturmak üzere yapılandırılmış görevler üzerinde çalışmaya devam etmesi gerektiğini doğruladığına da inanıyoruz.

Sözlük

Kasım 2020 itibarıyle on yedi viki, Büyüme özelliklerine sahip. Bununla birlikte, deneyimizde dört pilotvikiyi analiz ettik: Arapça, Vietnamca, Çekçe ve Korece Vikipedi'leri.
Yeni gelenlerin tümü Büyüme özelliklerini almaz; Bunların %20'si varsayılan deneyimi elde etmek için rastgele seçilir. Özelliklere sahip grup tedavi grubu ve varsayılan deneyime sahip grup kontrol grubudur. Varsayılan deneyimden gelen sayılara temel sayılar denir.
Etkinleştirme, yeni gelenlerin ilk düzenlemesini kayıttan sonraki 24 saat içinde yapması olarak tanımlanır. Temel aktivasyon oranı, Büyüme özellikleri değil, varsayılan özelliklerle aktivasyon oranıdır.
Yapıcı etkinleştirme, yeni gelenlerin kayıttan sonraki 24 saat içinde ilk düzenlemesini yapan ve bu düzenlemenin 48 saat içinde geri alınmaması olarak tanımlanır. Temel yapıcı oranı, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların oranıdır.
Saklama, etkinleştirmeden sonraki iki hafta içinde farklı bir günde yeni gelen ve başka bir düzenleme yapan kişi olarak tanımlanır. Temel tutma oranı, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların oranıdır.
Hacmi düzenleme, bir kullanıcının ilk iki haftasında yapılan düzenlemelerin toplam sayısıdır. Temel düzenleme hacmi, Büyüme özelliklerine değil, varsayılan özelliklere sahip kullanıcıların sayısıdır.

Ayrıntılı bulgular

Aşağıda, kontrollü deneyden tahmin ettiğimiz belirli etkiler bulunmaktadır. Bunların tümü, Kasım 2019 ve Mayıs 2020 arasında pilot vikilerde 97.755 yeni hesabın gözlemlenmesine dayanmaktadır. Metodoloji hakkında daha fazla ayrıntı için aşağıdaki "Metodoloji" bölümüne bakın.

Etkinleştirme

Bu analiz için, Madde ve Madde Tartışma ad alanlarında yapılan düzenlemelere odaklandık.

Etkinleştirme: Büyüme özelliklerine sahip yeni gelenlerin ilk makale düzenlemesini yapma olasılığı %11,6 daha yüksek. Dört pilot vikimizde, temel aktivasyon oranı %21,6'dır. Büyüme özelliklerinin aktivasyonu %24,1'e çıkardığı tahmin edilmektedir, bu da taban çizgisine göre %11,6'lık bir artış anlamına gelir. On our four pilot wikis, the baseline activation rate is 21,6%. The Growth features are estimated to increase activation to 24,1%, which is an 11,6% increase over the baseline.
Yapıcı etkinleştirme: yalnızca yapıcı aktivasyona bakıldığında etki daha büyüktür. Büyüme özelliklerine sahip yeni gelenlerin, ilk geri alınmamış madde düzenlemesini yapma olasılığı %26,7 daha yüksektir. Dört pilot vikimizde, temel yapıcı aktivasyon oranı %16,1'dir. Büyüme özelliklerinin bunu, taban çizgisine göre %26,7 artışla %20,4'e çıkaracağı tahmin edilmektedir. Newcomers with Growth features are 26,7% more likely to make a first unreverted article edit. On our four pilot wikis, the baseline constructive activation rate is 16,1%. The Growth features are estimated to increase this to 20,4%, which is a 26,7% increase over the baseline.

Saklama

Saklama, aktivasyondan çok daha nadir olduğu için, değişiklikleri tespit etmek daha zordur. Bu deneyde, doğrudan herhangi bir değişiklik tespit etmedik. Bunun yerine, tutmanın, aktivasyonun artmasına benzer bir dereceye, yani yaklaşık %11,6 oranında arttığını tahmin ediyoruz. Bu, ilk gündeki aktivitenin sonraki günlerdeki aktiviteyi etkilediği fikrinden gelir ve bu, istatistiksel modellerimizde hesaba kattığımız bir şeydir. Büyüme özelliklerinin, ilk günlerinde aktif olan kullanıcı sayısını artırdığı tespit edildiğinden ve aktif kullanıcıların alıkonma olasılığında değişiklik yok bulduğumuz için, aktivasyondaki artışın tercüme edilmesini bekleyebiliriz. Elde tutmada benzer bir artışa dönüşür. Başka bir deyişle, Büyüme özellikleri, etkinleştirmedeki artışın neden olduğu tutmada artışa yol açıyor gibi görünmektedir: Büyüme özelliklerinin etkinleştirildiği bazı kullanıcılar doğal olarak korunmaya devam edecektir. In this experiment, we did not detect any changes directly. Instead, we estimate that retention is increased to a similar degree that activation is increased, i.e. by about 11,6%. This comes from the idea that activity during the first day affects activity on the following days, something we account for in our statistical models. Since the Growth features are found to increase the number of users who are active on their first day, and we find no change in the probability that activated users are retained, it follows that we can expect the increase in activation to translate into a similar increase in retention. In other words, the Growth features appear to lead to an increase in retention caused by the increase in activation: some of the users that the Growth features activated would naturally go on to being retained.

Deneydeki dört vikide temel tutma oranı %3,2'dir. Büyüme özelliklerinin bunu %3,6'ya çıkardığını tahmin ediyoruz.

Düzenleme hacmi

Büyüme özellikleri, ilk iki haftada yeni gelenlerin madde düzenlemelerinin sayısında %22'lik bir artış yol açtı. Dört pilot vikimizde, temel tahmini düzenleme hacmi 1,4'tür, bu da ortalama yeni gelen kişinin 1,4 düzenleme yapacağı anlamına gelir. Büyüme özelliklerine sahip yeni gelenlerin ortalama 1,7 madde düzenlemesi yaptığı tahmin edilmektedir.

Diğer bir deyişle:

Büyüme özellikleri olmadan 1.000 yeni gelen, 1.400 madde düzenlemesi yapacaktır.
Büyüme özellikleri olan 1.000 yeni gelen, 1.700 madde düzenlemesi yapacaktır.

Bu artış, hem Büyüme özelliklerinin yeni gelenlerin madde düzenlemesi yapma olasılığını artırdığını hem de bazı yeni gelenlerin önerilen birçok düzenlemeyi hızlı bir şekilde yapma olasılığını yansıtır. Hatta bazıları kayıttan sonraki iki hafta içinde 100'ün üzerinde düzenleme yapar.

Diğer ölçümler

Daha az önemli bulgularla başka birkaç ölçütü de inceledik.

Geri almalar: Büyüme özelliklerine sahip yeni gelenlerin düzenlemelerinin geri döndürülme olasılığının az ya da çok olup olmadığına baktık. Bu analiz, büyük veya net sonuçlar göstermedi.
Son derece aktif yeni gelenler: Sonuçlarımız, Büyüme özelliklerinin daha fazla yeni gelenin aktif olmasına ve daha fazla düzenleme yapmasına neden olduğunu göstermiştir. Ayrıca, özelliklerin daha fazla yeni gelen kişinin yüksek derecede aktif olmasına yol açıp açmadığını da görmek istedik. Bunları, ilk 30 gününde 50 düzenleme yapan kullanıcılar olarak tanımladık. Bu analiz, Büyüme özelliklerinden kaynaklanan farklılıkları göstermedi.
Teşekkürler: Büyüme özelliklerine sahip yeni gelenlerin diğer yeni gelenlere göre daha fazla "teşekkür" alıp almadığına baktık. Elde tutma analizine benzer sonuçlar bulduk, çünkü Büyüme özelliklerinin yapmasını daha fazla teşekkür alınmasına yol açıyor, ancak bu yalnızca çünkü daha fazla düzenlemeye neden oluyorlar. Bunun nedeni, özelliklerin yeni gelenlerin teşekkürlerini çekmesi daha muhtemel düzenlemeler yapmasına neden olması değildir.
Vikiler ve platformlar arasındaki farklar: vikileri ve platformları karşılaştırdık (mobil ve masaüstü). Büyüme özelliklerinin etkisinde önemli farklılıklar bulamadık.

Çıkarımlar ve sonraki adımlar

Çıkarımlar

Özellikler çalışır: Büyüme ekibi özellikleri, yeni gelenlerin katılımını artırmak için çalışır. Bu, özellikle kolay düzenlemeler öneren "yeni gelen görevler" bileşeni için geçerlidir.
Yapılandırılmış görevler oluşturmada güven: Bu bize, "bağlantı ekleme" görevi gibi daha fazla yeni görev türü oluşturma çalışmalarımızın etkiyi artıracağına dair güven veriyor.
Olumlu pekiştirme ihtiyacı: Sonuçlar, Büyüme özelliklerinin, elde tutmanın aksine, "öncelikle" etkinleştirmeyi, yeni gelenlerin ilk düzenlemelerini yapmalarını sağlamak, etkilediğini gösterdi. Özellikler, yalnızca etkinleştirmeyi artırdıkları için tutmayı artırıyor gibiydi. Büyüme ekibi, yeni gelenleri ilk düzenlemelerini yaptıktan sonra geri dönmeye teşvik etmek için özelliklere neler ekleyebileceğimizi düşünmelidir. Bu nedenle bu yıl "olumlu pekiştirme" çalışmaları planlıyoruz. Bu, yeni gelenlerin ilerlemeleri ve etkileri konusunda heyecanlanabilmeleri için kilometre taşları ve istatistikler ekleyecektir.

Sonraki adımlar

Herkese duyur: artık özelliklerin değerine olan güveni artırdık. Bu nedenle, Büyüme ekibi daha fazla vikiyi sonuçları okumaya teşvik edecek ve özellikleri dağıtmayı düşünecektir.
Çalışmaya devam et: bu yıl, yeni görev türleri eklemeye ve yeni gelenler görevleri tamamladığında olumlu pekiştirme sağlamaya odaklanmaya devam edeceğiz.
Analizi genişletin: Artık bu analizi tamamladığımıza göre, gelecekte daha kolay tekrar çalıştırabileceğiz. Özelliklerin daha fazla vikiyi nasıl etkilediğine bakabileceğiz ve iyileştirmelerin etkilerini nasıl değiştirdiğini göreceğiz.

Metodoloji

Büyüme Ekibi, yeni gelen görevler modülünü 21 Kasım 2019'da Çekçe, Korece, Vietnamca ve Arapça Vikipedi sayfalarında Ana Sayfada konuşlandırdı. Deney sırasında, kullanıcılar rastgele bir tedavi veya kontrol grubuna atandı. Tedavi grubunda, kullanıcılar tüm Büyüme özelliklerini (ana sayfa, yeni gelen görevler, yardım paneli vb.) alırken, kontrol grubundaki kullanıcılar hiçbirini almadı.

21 Kasım - 12 Aralık 2019 tarihleri arasında tedavi grubunda olma şansı %50 idi. Ekip, yeni gelen görevler modülünün iki çeşidi için bir A/B testi başlattığında, 12 Aralık'ta bu oran %80 olarak değişti.

Kullanıcılar, herhangi bir noktada kullanıcı tercihlerinde Büyüme özelliklerini açabilir veya kapatabilir. Böyle yaparsa, bu analizin dışında tutulurlar. Ayrıca, bilinen test hesaplarını, API aracılığıyla kaydolan kullanıcıları (bunlar çoğunlukla uygulama hesaplarıdır) ve otomatik olarak oluşturulan hesapları hariç tutarız.

Bu analiz için veri seti, deneyin başlangıcı ile 14 Mayıs 2020 arasında kayıtlı 97.755 hesap içermektedir. Bunlardan 23.529'u (%24.1) kontrol grubunda ve 74.226'sı (%75.9) tedavi grubundadır. Of these, 23.529 (24,1%) are in the control group and 74.226 (75,9%) are in the treatment group.

Analizimiz, gruplama değişkeni olarak wikiyi kullanarak çok düzeyli (hiyerarşik) regresyon modelleri geniş bir şekilde kullanır. Bu, analizimizdeki vikiler arasındaki farklılıkları hesaba katmamızı sağlar. Örneğin, aktivasyon modellerimiz, çok seviyeli lojistik regresyon modelleridir; bu, vikiler arasındaki aktivasyon hızındaki doğal farklılıkları hesaba kattıkları anlamına gelir. Ayrıca düzenleme faaliyetinin bir uzun kuyruk dağılımı izlediğini ve dolayısıyla bir sıfır şişirilmişi kullanılarak yapılan düzenlemelerin model numarasını negatif binom dağılımı biliyoruz (yine çok düzeyli bir model kullanarak). This allows us to account for differences between the wikis in our analysis. For example, our activation models are multilevel logistic regression models, which means that they account for the inherent differences in activation rate between the wikis. We also know that editing activity follows a long tail distribution, and therefore model number of edits made using a zero-inflated negative binomial distribution (again using a multilevel model).