Jump to content

بارسويد

متتبع الأخطاء: #parsoid
From mediawiki.org
This page is a translated version of the page Parsoid and the translation is 26% complete.
Languages:
مشاريع مؤسسة ويكيميديا
Parsoid
محلل نص ويكي ثنائي الاتجاه وقت التشغيل يُحول ذهابًا وإيابًا بين نص ويكي وهيكل وثيقة HTML/XML مع تضمين بيانات وصف الموارد (RDFa).
مجموعة: Content Transform Team
البدء: 2011-10
أعضاء الفريق: Arlo Breault, C.Scott Ananian, Isabelle Hurbain-Palatin, Mateus Santos, Yiannis Giannelos
الأعمال المتراكمة: #parsoid
قائد المشروع: Subramanya Sastry
الإدارة: Sérgio Lopes
Artist's impression of the Parsoid HTML5 + RDFa wiki runtime

بارسويد مكتبة تُتيح التحويل بين نص ويكي وHTML. كُتب التطبيق الأصلي بلغة جافاسكريبت (باستخدام نود.جي إس) وبدأ تشغيله على مجموعة ويكيميديا في ديسمبر 2012. في عام 2019، نُقل بارسويد إلى PHP، وحلت نسخة PHP محل نسخة جافاسكريبت على مجموعة ويكيميديا في ديسمبر 2019. يُدمج بارسويد في نواة ميدياويكي، بهدف استبدال محلل ميدياويكي الأصلي الحالي في نهاية المطاف. In early 2024, Parsoid began to be used on some production wikis as the default parser for read views.

حُزم بارسويد (نسخة بي إتش بي) أصلاً مع ميدياويكي منذ الإصدار 1.35، الذي صدر في سبتمبر 2020. بالنسبة للتثبيتات غير التابعة لميدياويكي، دُعم بارسويد/ جافاسكريبت حتى نهاية عمر ميدياويكي 1.31 (LTS) في سبتمبر 2021. The legacy parser will still be supported in MediaWiki 1.43 (LTS).

التفاصيل التقنية

بارسويد تطبيق يمكنه الترجمة بين صيغة نص ويكي في ميدياويكي ونموذج مستند HTML/RDFa معادل مع دعم مُحسّن للمعالجة التلقائية والتحرير الغني.

طوّره فريق في مؤسسة ويكيميديا منذ عام 2012. يُستخدم حاليًا على نطاق واسع في VisualEditor و Structured discussions و أداة ترجمة المحتوى وتطبيقات أخرى.

يهدف بارسويد إلى توفير تحويل سلس ذهابًا وإيابًا، أي لتجنب فقدان المعلومات وكذلك منع "التغييرات غير المرغوب فيها".

في مواقع ويكي ويكيميديا، بالنسبة للعديد من التطبيقات، يعمل بارسويد حاليًا كوكيل خلف RESTBase ، الذي يخزن HTML الذي ترجمه بارسويد. من المتوقع أن يُستبدل RESTBase في النهاية بذاكرة تخزين مؤقت مدمجة بشكل أكبر مع ميدياويكي.

لمزيد من المعلومات حول المشروع بشكل عام، انظر منشور المدونة هذا من مارس 2013. للقراءة عن نموذج HTML المستخدم، انظر مواصفات ميدياويكي DOM.

بُني بارسويد في الأصل كهيئة خدمة ويب وكُتب بلغة جافاسكريبت، مستخدمًا Node.js. يصف عرض تقني من فبراير 2019 (الشرائح) ومنشور مدونة عملية نقله إلى PHP. واجهة برمجة تطبيقات ملحق بارسويد قيد التطوير النشط حاليًا؛ يصف عرض تقني من أغسطس 2020 هذا العمل.

مستودع غيت هاب: https://github.com/wikimedia/parsoid

الاستخدام

التثبيت

يُضمن بارسويد/PHP في حزمة في ميدياويكي 1.35 ويُحمّل تلقائيًا بواسطة المحرر المرئي. لا توجد حاجة إلى تهيئة لميدياويكي 1.35 والإصدارات الأحدث.

Parsoid exports an internal REST API which was historically used by RESTBase and not accessible outside the WMF internal cluster. This is no longer required for Visual Editor or core read views, and the internal API is being deprecated and is planned for removal in MW 1.43.

Parsoid is nominally a composer library used by mediawiki core. If you still require the internal API for some reason, you can explicitly load Parsoid "as an extension" by adding the following to LocalSettings.php: 

wfLoadExtension( 'Parsoid', "$IP/vendor/wikimedia/parsoid/extension.json" );

Any remaining third-party users of the internal Parsoid API are strongly encouraged to migrate to the core REST HTML page endpoint which provides equivalent functionality.

التطوير

يحدث التطوير في Parsoid Git repository. تتم مراجعة الأكواد في غيريت. انظر غيريت/البدء للبدء في إعداد حساب لنفسك.

إذا كنت تستخدم بيئة تطوير MediaWiki-Vagrant باستخدام جهاز افتراضي، يمكنك ببساطة إضافة دور visualeditor إليها وسيقوم بإعداد بارسويد عامل جنبًا إلى جنب مع Extension:VisualEditor . (ربما يكون هذا قد تعطّل بسبب التبديل إلى Parsoid/PHP: T258940)

Note that the most-recently released version of Parsoid is written in PHP, and installation of Parsoid/PHP is what is described below. This is what you should use if you are running MediaWiki 1.35 or later. Check Parsoid/JS if you are running the old version of Parsoid written in JavaScript, and used for MW 1.34 and earlier.

Linking a developer checkout of Parsoid

In a standard MediaWiki installation, Parsoid is included from MediaWiki as a composer library, wikimedia/parsoid.

For development purposes you usually want to use a git checkout of Parsoid, and not the version bundled in MediaWiki core as a composer library. The following lines added to LocalSettings.php allow use of a git checkout of Parsoid (optionally), load the Parsoid REST API with wfLoadExtension (rather than using the version bundled in VisualEditor) and manually do the Parsoid configuration which is usually done by VisualEditor: 

$parsoidInstallDir = 'vendor/wikimedia/parsoid'; # bundled copy
#$parsoidInstallDir = '/my/path/to/git/checkout/of/Parsoid';

// For developers: ensure Parsoid is executed from $parsoidInstallDir,
// (not the version included in mediawiki-core by default)
// Must occur *before* wfLoadExtension()
if ( $parsoidInstallDir !== 'vendor/wikimedia/parsoid' ) {
    function wfInterceptParsoidLoading( $className ) {
        // Only intercept Parsoid namespace classes
        if ( preg_match( '/(MW|Wikimedia\\\\)Parsoid\\\\/', $className ) ) {
           $fileName = Autoloader::find( $className );
           if ( $fileName !== null ) {
               require $fileName;
           }
        }
    }
    spl_autoload_register( 'wfInterceptParsoidLoading', true, true );
    // AutoLoader::registerNamespaces was added in MW 1.39
    AutoLoader::registerNamespaces( [
        // Keep this in sync with the "autoload" clause in
        // $parsoidInstallDir/composer.json
        'Wikimedia\\Parsoid\\' => "$parsoidInstallDir/src",
    ] );
}

wfLoadExtension( 'Parsoid', "$parsoidInstallDir/extension.json" );

# Manually configure Parsoid
$wgVisualEditorParsoidAutoConfig = false;
$wgParsoidSettings = [
    'useSelser' => true,
    'rtTestMode' => false,
    'linting' => false,
];
$wgVirtualRestConfig['modules']['parsoid'] = [
    // URL to the Parsoid instance.
    // If Parsoid is not running locally, you should change $wgServer to match the non-local host 
    // While using Docker in macOS, you may need to replace $wgServer with http://host.docker.internal:8080
    // While using Docker in linux, you may need to replace $wgServer with http://172.17.0.1:8080
    'url' => $wgServer . $wgScriptPath . '/rest.php',
    // Parsoid "domain", see below (optional, rarely needed)
    // 'domain' => 'localhost',
];
unset( $parsoidInstallDir );

These lines are not necessary for most users of VisualEditor, who can use auto-configuration and the bundled Parsoid code included in MediaWiki 1.35 and VisualEditor, but they will be required for most developers.

If you're serving MediaWiki with Nginx, you'll need to also add something like this in your server block (Assuming your MediaWiki setup has its files residing in /w/): 

location /w/rest.php/ {
    try_files $uri $uri/ /w/rest.php?$query_string;
}

To test proper configuration, visit {$wgScriptPath}/rest.php/{$domain}/v3/page/html/Main%20Page where $domain is the hostname in your $wgCanonicalServer. (Note that production WMF servers do not expose the Parsoid REST API to the external network.)

Running the tests

To run all parser tests and mocha tests: 

$ composer test

The parser tests have quite a few options now which can be listed using php bin/parserTests.php --help.

If you have the environment variable MW_INSTALL_DIR pointing to a configured MediaWiki installation, you can run some additional tests with: 

$ composer phan-integrated

Converting simple wikitext

You can convert simple wikitext snippets from the command line using the parse.php script in the bin/ directory: 

echo 'Foo' | php bin/parse.php

The parse script has a lot of options. php bin/parse.php --help gives you information about this.

Debugging Parsoid (for developers)

See Parsoid/Debugging for debugging tips.

Continuous Integration

As of October 2021

Parsoid is always available as a library since it is a composer dependency of MediaWiki core. But two pieces are not enabled:

  • Parsoid ServiceWiring
  • Parsoid's external REST api

The test runner Quibble would enable it if it detects mediawiki/services/parsoid.git has been cloned as part of the build. In which case it:

  • points the autoloader for Wikimedia\Parsoid to the cloned code (effectively replacing the version installed by composer)
  • Load the extension wfLoadExtension( 'Parsoid', '/path/to/cloned/repo' );

The ServiceWiring should be enabled in MediaWiki starting with 1.38.

The REST API would theorically never get merged in MediaWiki: a) it has never been exposed to the public in production, it is an internal API used by RESTBase which is going away; b) it never has been security audited and c) it is redundant with the enterprise MediaWiki API. The solution will be for VisualEditor to invoke Parsoid directly via the VisualEditor Action API which would save a round trip through the REST API.

Loading the extension is thus a hack which enables using interfaces subject to change and which we don't really want people to use yet.

For most purposes, parsoid should thus not be added as a CI dependency, the only exception as of October 2021 is the Disambiguator MediaWiki extension.

Loading parsoid as an extension let us run MediaWiki integration test jobs against mediawiki/services/parsoid.git (such as Quibble, apitesting) and ensure Parsoid and MediaWiki work together.

An extension may be able to write tests with Parsoid even when the repository has not been cloned. Since it is a composer dependency of MediaWiki core the MediaWiki\Parsoid namespace is available, but the service wiring part is not (it is extension/src in the Parsoid repository and exposed as the \MWParsoid namespace). The ParsoidTestFileSuite.php code would only run the parser tests if Parsoid has been loaded (which should be the default with MediaWiki 1.38).

For CI, Parsoid is tested against the tip of mediawiki, whereas mediawiki is tested with the composer dependency. In case of a breaking change, the Parsoid change get merged first (which breaks its CI but not MediaWiki one) and MediaWiki get adjusted when Parsoid is updated. It is thus a one way change.

Release build

For MediaWiki release builds, we have an integration of Parsoid ServiceWiring into VisualEditor in order to have VisualEditor work without further configuration (beside a wfLoadExtension( 'VisualEditor' )). The release build also enables the REST API and hook everything us so that parsoid works out of the box. This is done by copying a bit of parsoid code into VisualEditor which is not in the master branch of VisualEditor since that would be obsolete as soon as Parsoid is updated. Instead the code is maintained in two places.

Technical documents

See also

Contact

If you need help or have questions/feedback, you can contact us in #mediawiki-parsoid تواصل or the wikitext-l mailing list. If all that fails, you can also contact us by email at content-transform-team at the wikimedia.org domain.

Retrieved from "https://www.mediawiki.org/w/index.php?title=Parsoid/ar&oldid=6906639"