성장 팀/통계 업데이트/편집자여행 일차 보고
|
편집자여행 최초 보고
"첫 날 이해하기" 프로젝트의 데이터를 이용한 첫 보고서입니다.
|
성장 팀의 "첫 날 이해하기" 프로젝트의 일환으로써, 2018년 11월 19일 19시 (UTC) 직후에 한국어 위키백과와 체코어 위키백과에 편집자여행 이벤트기록 스키마를 적용하였습니다. 이 스키마는 (개인정보에 대한 주의를 기울이며) 사용자가 등록한 직후 24시간 동안 열람하는 모든 문서를 기록하여 팀에서 새 사용자가 무엇을 하는 지 더 잘 이해할 수 있도록 도와줍니다. 기능을 적용하기 전에, 연구에 대한 개요를 공개했습니다.
새 사용자들의 대부분이 단 한번도 편집을 하지 않는다는 사실이 이 연구의 주요 동기였습니다. 새 사용자들이 등록한 후에 무엇을 하는지, 그리고 재단이 새 사용자들이 편집을 하도록 도울 수 있을까요? 라는 질문을 하게 되었습니다. 더 명확히, 이 연구는 다음 질문에 답하려고 노력하였습니다.
- 체코어 위키백과와 한국어 위키백과의 새 사용자들이 등록 직후 24시간 동안 가장 많이 행하는 작업은 무엇일까?
- 몇 퍼센트의 새 사용자들이 각 순서를 따라 진행할까?
- 어떤 작업이 문서를 편집하는 데 도움이 될까?
저희 팀은 특히 사용자들이 어느 정도 문서를 편집하려고 했다가 포기하는지, 아니면 도움말을 찾아보는지, 아니면 위키백과 정책을 찾아보는지, 아니면 공동체와 연락할 수 있는 문서를 찾아보는지 이해하고자 하였습니다. 이 문서는 성장 팀의 결과물에 대한 1차 보고서이며, 이후에 발표할 보고서를 통해 연구 개요에 적혀 있는 질문에 대한 답을 제공할 예정입니다. 이 보고서에서 다루는 세 가지 질문은 다음과 같습니다.
- 어떤 맥락에서 새 사용자들이 계정을 만드나요? 문서를 읽고 있었나요? 문서를 편집하고 있었나요? 아니면 다른 일을 하고 있었나요? 이 지점은 등록된 사용자로써의 첫 번째 세션이 시작되는 위치를 통해 정해집니다.
- 새 사용자가 하는 첫 번째 행동은 무엇이고, 몇 퍼센트의 사용자들이 그 단계를 따라가나요? 다른 말로, 새 사용자들이 등록 직후에 가장 먼저 하는 일이 무엇인가요?
- 몇 퍼센트의 사용자들이 등록 24시간 내에 다음 사항 중 하나를 행하나요?
- 대문 열람
- 문서 보기
- 편집기 열기
- 문서를 저장하려고 시도
- 성공적으로 문서 저장
- 도움말 또는 프로젝트/정책 문서 열람
- 문서의 토론 문서 열람
- 자기 자신의 사용자/사용자 토론 문서 열람
- 다른 사용자의 사용자/사용자 토론 문서 열람
이 보고서에 사용된 데이터는 한국어 위키백과와 체코어 위키백과에서 2018년 11월 19일부터 12월 17일이 끝날 때까지 (UTC) 위키백과에 등록한 사용자의 문서 열람 데이터를 기반으로 하였습니다. 이 데이터에는 다른 위키에 이미 계정이 있어서 속칭 "자동 생성된" 계정은 제외되었습니다. 등록 절차에 속하는 여러 열람 행위 (예를 들어 성장 팀의 환영 설문) 또한 데이터에서 제거되었습니다. 이 보고서는 새 사용자가 하던 행위에 대한 대략적인 요약을 보여줄 뿐, 특정한 사용자 단위 또는 언어판별 통계적 의미나 차이에 대한 주장을 하는 것은 아닙니다. 이러한 데이터는 예비 조사의 결과로써 제시되는 것이며 이 결과가 나타내는 바를 이용한 다음 절차를 제시하는 것입니다. 다음 분기 동안 더 자세한 분석이 진행될 예정입니다.
핵심
이 데이터는 저희 팀의 새 사용자에 대한 이해를 도와 주었습니다. 대부분의 사용자들이 도움말을 찾아보거나, 편집기를 열어 보았습니다. 많은 사용자들이 참여하려고 노력하고 있고, 이러한 이해는 새 사용자들이 어디에서 막히는지에 대한 이해를 도움으로써 새 사용자들이 특정한 도움을 찾을 때 필요한 도움을 받을 수 있도록 도와 줄 것입니다.
- 모바일 vs. 데스크탑: 계정을 생성하는 대부분의 사용자는 문서를 읽던 중이었습니다. 17퍼센트의 사용자만이 문서를 편집하던 중에 계정을 생성합니다. 모바일에서는 36.5%의 사용자들이 계정을 생성한 직후 편집 창으로 돌아갑니다. 이러한 차이는 모바일에서는 등록되지 않은 상태에서 편집하는 사용자에게 화면 전체를 덮는 오버레이를 통해 등록할 것을 권하는 창이 표시되는 것 때문으로 추측하고 있습니다.
- 환영 메시지: 한국어 위키백과에서 등록한 사용자의 17.9%의 사용자들은 즉시 자신의 사용자 토론 문서를 방문합니다. 한국어 위키백과는 모든 새 사용자의 토론 문서에 환영 메시지를 게시하므로, 이러한 메시지가 꽤 자주 읽힌다는 것을 시사할 수 있습니다. 체코어 위키백과에는 이러한 메시지가 없으며, 1%의 사용자만이 자신의 사용자 토론 문서에 방문합니다. 따라서 한국어 위키백과의 환영 메시지가 어느 정도의 새 사용자를 유도한다는 점을 알 수 있습니다. 추후에는 이 새 사용자들이 환영 메시지에 달린 링크들을 따라가는 지 알 수 있을 것입니다.
- 도움말:
- 많은 사용자들이 첫날에 도움말 문서 또는 정책 문서를 찾아봅니다. 체코어 위키백과에서 41.5%의 사용자가, 한국어에서 27.8%의 사용자가 도움말 또는 정책 문서를 봅니다. 어느 정도의 사용자들이 도움을 필요로 하는지 대충 짐작할 수 있으며, 추후에는 어떤 도움말이 가장 많이 열람되는 지 알아내어 해당 도움말을 보강한 후 편집이 많아지는 지 측정할 수 있을 것입니다.
- 8.3%의 체코어 위키백과 사용자들이 계정을 생성한 직후 도움말 문서를 방문합니다.
- 시작 지점: 많은 사용자들이 자신의 사용자 문서나 사용자 토론 문서를 방문합니다. 한국어 위키백과에서 39.3%, 체코어 위키백과에서 33.8%입니다. 자동 메시지가 없어 새 사용자들이 방문할 동기가 없는 체코어 위키백과에서도 예상외로 많은 수치였습니다. 저희의 추측으로는 새 사용자들이 "홈페이지", "대시보드", "프로필 문서"와 같은 것을 찾고 있으며, 이러한 문서를 통해 자기 자신을 설명하거나 작업을 시작하는 것으로 추측하고 있습니다. 이러한 발견을 통해 성장 팀이 (새 사용자들이 새 사이트에서 시작할 출발점으로 적합한) "사용자 문서"에 주목하도록 할 수도 있습니다.
- 편집상의 난제: 대부분의 새 사용자가 가입 첫날에 편집기를 엽니다. 하지만 4분의 1의 새 사용자들은 문서를 저장하지 않습니다. 이런 사용자들에게 편집기가 열려 있을 때 도움을 주는 도움말 패널과 같은 도움의 손길을 테스트하기 위한 중요한 타겟이 됩니다.
계정 생성 맥락
새 사용자들이 계정을 생성할 때, 회원가입 프로세스를 거친 후 다시 하던 작업이 있는 문서로 돌아옵니다. 사용자가 편집 중이었다면, 편집 창으로 돌아가게 되는 것이죠. 이 지점이 등록된 사용자로써의 여정이 시작되는 지점인 것입니다.
일반적으로 사용자들은 문서를 읽다가 계정을 생성하고, 따라서 읽던 문서로 돌아가게 됩니다. 모바일에서는 편집하다가 계정을 생성하는 것이 더 흔합니다. 아래의 결과는 2018년 10월에 이루어진 간단한 분석의 결과과 대부분 일치합니다.
| 체코어 위키백과 | 한국어 위키백과 | |||
|---|---|---|---|---|
| N | Prop. | N | Prop. | |
| 읽기 | 1034 | 82.5% | 1226 | 81.5% |
| 편집 | 220 | 17.5% | 278 | 18.5% |
| 총계 | 1254 | 100.0% | 1504 | 100.0% |
The overall proportions are remarkably similar across the two wikis. When we split this up by whether the account was registered on the desktop site or the mobile site, the proportions shift drastically:
| Czech Wikipedia | Korean Wikipedia | |||||||
|---|---|---|---|---|---|---|---|---|
| Desktop | Mobile | Desktop | Mobile | |||||
| N | Prop. | N | Prop. | N | Prop. | N | Prop. | |
| Reading | 839 | 90.1% | 195 | 60.4% | 998 | 90.6% | 228 | 56.6% |
| Editing | 92 | 9.9% | 128 | 39.6% | 103 | 9.4% | 175 | 43.4% |
| Total | 931 | 100.0% | 323 | 100.0% | 1101 | 100.0% | 403 | 100.0% |
As mentioned above, a much higher proportion of accounts from mobile are registered from the editing context, and this is consistent with our previous analysis. Though there may be many reasons for this, we believe one may be that mobile users who attempt to save an edit without being logged in are presented with a full page overlay encouraging them to create an account. Similar warnings exist on desktop, but are less obtrusive and easier to ignore.
Account creation context namespaces
While the previous section looks at whether a user created their account from the reading or editing context, this context exists in many different namespaces. What namespace do users create their account from (and therefore return to) after account creation, and is this different depending on whether they are viewing or editing a page?
Tables 3 and 4 show that account creation primarily happens from either an article or the Main page. There are also a fair amount of accounts created from the Wikipedia namespace (where policy pages exist), as well as Special (where search results are shown). When accounts are created from an editing context, they are dominated by the article namespace.
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
- Although the "Main page" is not its own namespace, it represents so many views that we have separated it out for this analysis.
- It might seem impossible to have editing the Main page on Korean Wikipedia as the account creation context, because the page cannot be edited without an account. However, the URL reflects the requested editing context, whereas the actual content shows the source (wikitext) of the Main page to the user without enabling them to edit it. Therefore, if one creates an account from that context, one will be returned to editing because the process is based on the URL.
First action after account creation
Having established the context where a new user begins their journey, the next step is to look at where they go next: their first action. Since this quick analysis only uses data from the EditorJourney schema, we do not yet identify user actions like "reading a notification", or "attempting to save an edit", as those require data from other schemas. For this analysis, we were able to look at a couple important actions that shed immediate light on what new users do.
- In Czech Wikipedia, 8.3% of new users visit a page in the Help namespace as their first action after account creation. This number is higher than in Korean Wikipedia, but it is currently difficult to tell how much higher, since Korean help pages are incorporated into the Wikipedia namespace.
- In Korean Wikipedia, 17.9% of new users visit a User Talk page, and these are largely visiting their own user talk page. This is likely driven by the fact that Korean Wikipedia posts a welcome message to their User Talk page of all new users. Czech Wikipedia does not have an equivalent welcome message, and accordingly, the equivalent number in Czech Wikipedia is 1.0%. This tells us that the notification banner telling new users that they have a message on their talk page immediately attracts the attention of a fair number of them. In the future, we will be able to tell whether they interact with the links in the welcome message.
What do new users do on their first day?
The EditorJourney data allows us to easily look at how many new users do which activities at some point on their first day. The table below gives an overview of how many and what share of users perform certain actions within 24 hours of creating their accounts. The total group is 1,329 registrations on Czech Wikipedia and 1,663 registrations on Korean Wikipedia.
| Czech Wikipedia | Korean Wikipedia | |||
|---|---|---|---|---|
| Action | N | Prop. | N | Prop. |
| View the Main page | 609 | 45.8% | 746 | 44.9% |
| View an article | 1,019 | 76.7% | 1,267 | 76.2% |
| Open an editor | 853 | 64.2% | 929 | 55.9% |
| Attempt to save an edit | 620 | 46.7% | 666 | 40.0% |
| Successfully save an edit | 599 | 45.1% | 665 | 40.0% |
| View a Help or Project/Policy page | 552 | 41.5% | 463 | 27.8% |
| View an Article Talk page | 34 | 2.6% | 75 | 4.5% |
| View their own User or User Talk page | 449 | 33.8% | 654 | 39.3% |
| View somebody else's User or User Talk page | 110 | 8.3% | 186 | 11.2% |
It comes as no surprise that a large proportion of users visit the Main page, nor that reading articles is a large draw. We're also not surprised to see that a lower share of Korean newcomers open an editor than Czech because the welcome survey showed us that a higher share of Czech users created their accounts to edit, whereas more Korean users created their accounts to read.
When it comes to editing, it is worth noting firstly that a majority of newcomers open up an editor at some point on their first day, and that a minority end up saving an edit. Therefore, the proportion of users who open the editor is much larger than the proportion of users who save an edit, suggesting there might be an opportunity to help these newcomers complete their edits. Of the Czech and Korean newcomers who open an editor, about 27% of Czechs and 29% of Koreans don't save an edit. This is the group that the Growth Team is hoping to help with the Help Panel interface, which enables users who seek help while editing to get that through the community's help desk. This result further motivates that effort.
We also see a large proportion of users reading help and/or project pages during their first day, indicating that the information the community provides is important. We will be able to identify exactly which pages are most popular, and which ones are associated with editing success. This will allow us to encourage communities to improve their most important pages.
Lastly, we see the large proportion of users visiting their own User or User Talk page, even in Czech Wikipedia, where no welcome bot posts a message to attract users to that area. We hypothesize that new users click on their username at the top of their desktop screen because they are looking for a profile page or other place to orient and begin their wiki work. This gives us a big hint on where new users are going and what they're looking for, and may help us place new features and content where it will be seen.