Приложения Викимедии/Команда/Android/Машинно-генерируемые описания статей
Предыстория проекта
С 2017 года мобильное приложение Википедии на платформе Android предоставляет функционал для создания кратких описаний статей. В 2019 году команда запустила инструмент, позволяющий зарегистрированным пользователям приложения добавлять краткие описания. Для ознакомления с актуальным статусом инструмента «Предлагаемые правки», используемого для добавления кратких описаний, перейдите по ссылке.
В марте 2022 года в ответ на отзывы пользователей англоязычной Википедии, особенно от новичков, о необходимости улучшения качества кратких описаний своих статей, команда Android разработала и расширила возможности редакторов по редактированию кратких описаний.
В мае 2022 года исследовательская группа Федеральной политехнической школы Лозанны (EPFL), разработала машинную модель под названием Descartes для генерации кратких описаний статей Википедии. После независимого тестирования модели Descartes, EPFL предложила Фонду Викимедиа использовать эту технологию для помощи википедистам в создании кратких описаний статей. Учитывая запросы на повышение качества кратких описаний, особенно от начинающих редакторов, команда Android рассмотрела возможность внедрения машинно-генерируемых предложений с использованием модели Descartes, но только в том случае, если инструмент даст такие же многообещающие результаты при работе с википедистами, как и в ходе первоначального тестирования, проведённого EPFL.
В период с января по апрель 2023 года команда разработчиков создала пользовательский интерфейс и внесла необходимые изменения для интеграции модели Descartes, одновременно внедрив механизмы защиты от возможных рисков. Затем, с середины мая по середину июня 2023 года, была развёрнута модифицированная версия модели. Эта версия модели, доступная пользователям в приложении для Android, включала в себя систему контроля качества. Более того, автоматически сгенерированные предложения были скрыты за специальной функцией, требующей от пользователей нажатия для просмотра. После этого пользователи могли либо выбрать одно из предложенных описаний, либо самостоятельно составить краткoe описание.
В конце июня эта функция была деактивирована в приложении. С середины июня до конца июля команда Android обратилась к различным языковым сообществам с предложением выступить в роли оценщиков и наблюдателей за правками, внесёнными с помощью инструмента в ходе эксперимента. Добровольцы, откликнувшиеся на призыв о поддержке через электронную рассылку в Википедии, приняли участие в эксперименте в качестве оценщиков. Опытные редакторы оценивали контент, опубликованный редакторами приложений в ходе эксперимента, который включал как предложения, сгенерированные машиной, так и краткие описания, созданные человеком. Добровольцам было предложено исправить любые ошибки. Процесс оценки, проводимый добровольцами, завершился в начале августа 2023 года.
После предварительного изучения полученных данных команда пришла к выводу, что имеется достаточно оснований для перемещения модели Descartes из временного размещения на Cloud VPS в LiftWing для постоянного хостинга. Тщательный анализ данных, проведённый аналитиком нашей команды совместно с исследовательской группой EPFL, подтвердил надёжность результатов. Было принято решение о постоянном внедрении модифицированной версии модели в приложение в качестве рекомендательного инструмента для редакторов. Однако это будет реализовано только после получения одобрения от языковых сообществ и проведения дополнительных сессий для определения возможности дальнейшего усовершенствования модели с целью повышения её эффективности в помощи редакторам при создании более качественных кратких описаний.
Текущий статус
По состоянию на август 2024 года мы представили результаты эксперимента, детально описали модификации, внесённые в облачную версию модели для повышения её эффективности, и предоставили рекомендации касательно целесообразности внедрения этой функции языковым сообществом. С сентября по ноябрь 2024 года планируется проведение информационных сессий для обсуждения с командой разработчиков Android потенциальных усовершенствований и выявления заинтересованности сообществ во внедрении данной функции. Несмотря на наличие рекомендаций о потенциальной пользе этой функции, основанных на полученных данных, окончательное решение о её внедрении полностью зависит от членов языкового сообщества. Мы осознаём, что подходы к кратким описаниям варьируются в разных языковых сообществах, и что процесс обеспечения статей краткими описаниями развивался на протяжении многих лет. В связи с этим мы придерживаемся подхода, основанного на тесном взаимодействии с сообществами.