Lees-/Web-/PDF-functionaliteit
Update op PDF-weergave, 15 juli 2019
We hebben de nieuwe PDF-rederer gelanceerd. We kijken naar feedback, maar hebben tot nu toe geen significante problemen gezien. We kunnen enkele suggesties opnemen, maar we willen aangeven dat dit geen lopend project met continue ontwikkeling is. Met andere woorden, nu het is ingezet en bewezen is te werken, gaat de nieuwe renderer in onderhoudsmodus. De besprekingspagina van deze pagina zal niet worden verlaten, maar het kan een tijd duren voordat iemand reageert, gewoon omdat iedereen zoveel meer op zijn bord heeft.
Wat boeken betreft hebben we het in handen van vrijwilligers en PediaPress overgelaten. We nemen graag contact met ze op als je vragen hebt, maar we plannen geen betrokkenheid in termen van de technische implementatie.
Update op PDF-weergave, 4 juni 2019
We hebben de nieuwe renderer ingezet voor één-artikel-PDF's voor alle projecten. We hopen dat dit de problemen oplost die verband houden met de Electron renderer, die vaak niet in staat was om PDF's te genereren zoals verwacht. Voelt u vrij om de nieuwe renderer uit te proberen en laat ons weten als u vragen hebt of problemen ondervindt.
Update op PDF-weergave, 18 maart 2019
We komen dicht bij de implementatie van onze nieuwe renderer, Proton, met slechts een paar taken als blokkers over (zoals u kunt zien in de taakgrafiek in phab:T181084). We zullen een andere update plaatsen zodra de datum van de inzet is vastgesteld. Deze renderer zal de elektron-renderer vervangen als de standaard PDF-renderer voor één-pagina-PDF's.
Boeken-update, 17 augustus 2018
Hier is een geactualiseerde en meer uitgebreide steekproef van de nieuwe boek-renderer. De lay-out is flink veranderd van de eerste versie die op Wikimania werd gepresenteerd. Bedankt voor alle feedback. De export heeft nog steeds een aantal belangrijke problemen: pagina-eindes, infoboxen, tabellen en wiskundige formules moeten aanzienlijk worden verbeterd. Dit voorbeeldbestand met als focus internationale scripts en wiskundige formules onthult enkele van de problemen die nog moeten worden opgelost. Wiskundige formules worden momenteel weergegeven met MathML - het overstappen naar LaTeX zou moeten leiden tot aanzienlijke verbeteringen.
Boeken-update, 8 augustus 2018
We hebben samen met PediaPress gewerkt aan het genereren en vormgeven van de nieuwe boeken. Zij hebben ons een steekproef van de huidige uitgang gegeven, die zeer vergelijkbaar zal zijn met de uiteindelijke versie. We hebben met het PediaPress-team over verbeteringen gesproken, die ze momenteel aanpakken. Als u feedback of andere opmerkingen heeft over deze steekproeven, laat het ons dan weten op de besprekingspagina.
Boeken-update, april 2018
De boekenfunctionaliteit zal terugkeren via PediaPress. Na het diepgaand onderzoeken van de nieuwe renderer, realiseerden we ons dat de basisfuncties van de originele boekemnmaker (zoals de paginanummers en inhoudslijst) zeer moeilijk zouden zijn om te implementeren met de nieuwe renderer. Bovendien hadden we belangrijke problemen met onze samenvoegingscode. We moesten dus op zoek gaan naar alternatieven om de PDF-boekenfunctionaliteit terug te brengen op Wikimedia-projecten. We hebben contact opgenomen met PediaPress, de oorspronkelijke patronen van boeken op Wikipedia, om te kijken of ze nog een keer geïnteresseerd zouden zijn in het oppakken van PDF-verwerkingen voor boeken. Ze zijn daarmee akkoord gegaan en we zijn op dit moment aan het werken aan de details en het schema. Ze zullen beginnen met een tijdelijke oplossing op basis van een oudere technologie die eerder is gebruikt om PDF's te maken. Dit kan een aantal nadelen hebben als het gaat om grafische elementen, zoals kaarten, maar zal een snellere werkoplossing betekenen. Vervolgens is het hun plan om te werken aan een nieuwe HTML-to-PDF-renderer, gebaseerd op feedback op de eerste implementatie.
Update januari 2018
We zijn momenteel prestatietests aan het voorbereiden van de PDF-naar-boek-functie. We zouden begin februari meer moeten weten.
Update september 2017
Onze huidige PDF-renderingservice, de offline content generator (OCG), is niet langer onderhoudbaar. Eenvoudig gezegd, het is kapot aan het gaan. Het Lezers-team van de Wikimedia Foundation werkt al maanden aan het vervangen ervan. OCG heeft een verouderde code gebruikt die in de toekomst mogelijk kwetsbaarheden en andere belangrijke problemen kan veroorzaken. De afgelopen drie maanden hebben we banners op de PDF-creatiepagina gehad die vroegen om feedback op het prototype voor onze nieuwe renderer. De nieuwe renderer zal verbeterde mogelijkheden hebben ten opzichte van OCG - het zal tabellen en infoboxen kunnen afdrukken en zal een stijl bevatten gericht op een betere leesbaarheid. We hebben veel goede feedback verzameld over het prototype en werken aan het maken van de vereiste updates aan onze nieuwe PDF's.
Latere toevoeging: PDF-boek-renderen op korte termijn uitschakelen
Helaas dwingen grootschalige problemen met onze oude renderer (OCG) ons om het te verwijderen als render-optie voordat we de noodzakelijke updates kunnen maken aan de boekenfunctie. Dit is eerder dan we wilden. Tegen de tijd dat we OCG verwijderen zal het werk om enkele artikelen te renderen voltooid zijn. Het renderen van boeken zal gepauzeerd worden terwijl we evalueren en het noodzakelijke werk voltooien. Onze eerste keuze als vervangende renderer, de Electron rendering service, is niet in staat om PDF's van grotere formaten te ondersteunen en faalt bij een poging om een boek met meerdere artikelen te renderen. We zullen een nieuw renderingssysteem voor boeken kiezen dat de grootte van de bestanden kan verwerken en aan onze eisen kan voldoen. Dit is niet hoe we dit gepland hebben. Het is nooit ons doel geweest om tijdelijk de PDF-naar-boek-functionaliteit uit te schakelen.
Tijdlijn:
- Uitrol van de volledige renderer voor enkele artikelen (print naar PDF) - 1 oktober 2017
- Pauzeren van de boek-PDF-rendering - 1 oktober 2017
- Uitfaseren van de OCG-renderer - 1 oktober 2017
- Uitrol van de nieuwe PDF-renderer - januari 2018 (voorlopig gebaseerd op basis van onderzoeksresultaten naar alternatieve renderingsystemen)
Functionaliteit:
Voor een volledige lijst van de huidige en toekomstige functionaliteiten, zie hieronder.
Naast het bijwerken van deze pagina wordt dit in een banner op de PDF-creatiepagina gecommuniceerd, in Tech News en op enkele mailinglijsten van Wikimedia.
Introductie
Onze huidige PDF-renderingservice, de offline content generator (OCG), is niet langer onderhoudbaar. Eenvoudig gezegd, het gaat kapot. Het is oorspronkelijk door een derde gecreëerd en draait momenteel op verouderde code die in de toekomst mogelijk kwetsbaarheden en andere belangrijke problemen in de beveiliging kan veroorzaken. Als we de PDF-functionaliteit willen hebben, moeten we deze helaas vervangen, anders kunnen we ons plotseling in een situatie bevinden waar we het moeten verwijderen zonder dat we dat hadden gepland.
Bovendien ondersteunt het een aantal renderingverzoeken van de community niet, waarvan de belangrijkste de mogelijkheid om tabellen te renderen is. We hebben een nieuwe dienst, de electron rendering service, als een geschikte vervanging geselecteerd. Onze volgende stap is om de functionaliteit van OCG te dupliceren door de electron rendering service te gebruiken. Hieronder beschrijven we de belangrijkste onderdelen van de functionaliteit waarvan we hebben vastgesteld dat ze nodig zijn. We willen een gesprek aanmoedigen rond wat er mist of wat er overbodig is in de aangeleverde lijst. We willen ook graag onze toekomstige plannen voor het renderen van PDF's onder de aandacht brengen om de eerste feedback te verzamelen.
Bekende problemen
- Er is op dit moment een bug binnen Firefox (upstream) die de opmaak aantast van infoboxen weergegeven op meerdere pagina's. Voortgang van Mozilla zal hier gevolgd worden: https://bugzilla.mozilla.org/show_bug.cgi?id=688556.
Gebruikersbestand
De volgende tabel toont een monster van het verkeer naar de Electron "Download als PDF"-service over een periode van 6 uur. Het verkeer wordt uitgesplitst naar besturingssysteem (OS), browser en de hoofdversie van de browser (bijv. Windows 7, Chrome v61.*). Merk op dat het grootste deel van ons verkeer afkomstig lijkt te zijn van Windows-gebaseerde machines.
| OS | Browser | Browser Hoofdversie | % van verzoeken |
|---|---|---|---|
| Overig | Overig | - | 14.38 |
| Windows 7 | Chrome | 61 | 12.42 |
| Windows 10 | Chrome | 61 | 8.83 |
| Windows 7 | IE | 11 | 7.33 |
| Windows 7 | Firefox | 56 | 6.59 |
| Windows 10 | Firefox | 56 | 3.82 |
| Windows 10 | Edge | 15 | 3.24 |
| Windows 8.1 | Chrome | 61 | 3.07 |
| Windows XP | Chrome | 49 | 2.2 |
| Windows 10 | Chrome | 59 | 1.53 |
| Windows 10 | IE | 11 | 1.51 |
| Windows 8.1 | Firefox | 56 | 1.31 |
| Windows XP | Firefox | 52 | 1.22 |
| Windows 8 | Chrome | 61 | 1.15 |
| Windows 8.1 | IE | 11 | 1.15 |
| Mac OS X | Safari | 11 | 0.9 |
| Windows 7 | Firefox | 53 | 0.89 |
| Windows 7 | Firefox | 52 | 0.78 |
| Ubuntu | Firefox | 56 | 0.78 |
| Windows XP | IE | 6 | 0.7 |
| Windows 7 | Chrome | 55 | 0.68 |
| Windows 7 | Firefox | 55 | 0.62 |
| Mac OS X | Chrome | 61 | 0.62 |
| Android | UC Browser | 11 | 0.6 |
| Windows 10 | Edge | 14 | 0.59 |
| Windows 7 | Opera | 48 | 0.53 |
| Android | Chrome Mobile | 61 | 0.49 |
| Windows 10 | Opera | 48 | 0.44 |
| Windows 7 | Chrome | 60 | 0.4 |
| Windows Vista | Chrome | 49 | 0.39 |
| Windows 7 | Yandex Browser | 17 | 0.37 |
| Windows 10 | Firefox | 55 | 0.37 |
| Mac OS X | Safari | 10 | 0.36 |
| Windows 10 | Chrome | 50 | 0.34 |
| Android | Android | 4 | 0.33 |
| Mac OS X | Firefox | 56 | 0.33 |
| Windows 10 | Chrome | 60 | 0.32 |
| Windows 8.1 | Chrome | 43 | 0.3 |
| Android | Amazon Silk | 60 | 0.29 |
| Windows 7 | Sogou Explorer | 1 | 0.27 |
| Windows 8 | IE | 10 | 0.26 |
| Windows 7 | IE | 8 | 0.26 |
| Windows 7 | IE | 9 | 0.25 |
| Windows 8 | Opera | 12 | 0.25 |
| Linux | Firefox | 52 | 0.25 |
| Mac OS X | Firefox | 53 | 0.24 |
| Windows 7 | Firefox | 45 | 0.24 |
| Windows 10 | Firefox | 57 | 0.24 |
| Windows 7 | Firefox | 38 | 0.22 |
| Windows 10 | Firefox | 47 | 0.21 |
Actuele functionaliteitsvereisten
Hieronder vindt u een lijst van de huidige vereisten voor PDF-verwerking voor PDF's met één artikel en voor boeken. De eisen die verschillen van de huidige uitvoering worden dikgedrukt weergegeven.
Geschiedenis
- Het renderen van PDF-artikelen en boeken van Wikipediapagina's wordt afgehandeld door een service genaamd OCG. Wanneer een boek wordt gerenderd door de boekenmaker, gebruikt het OCG zoals opgenomen in de Collection-extensie. OCG heeft meerdere problemen, vooral met tabellen.
- Er zijn verschillende problemen met OCG geïdentificeerd, waaronder klachten van de gemeenschap over het onvermogen van OCG om tabellen te maken.
- Het renderen van tabellen staat op nummer 9 van de Duitstalige Community Technical Wishlist.
- Wikimedia Deutschland begint met het werken aan een oplossing voor het weergeven van tabellen in PDF's, en introduceert Electron. Ze willen het samen met OCG gebruiken, niet OCG vervangen.
- Terwijl Wikimedia Deutschland werkt aan de Electron-dienst, komen de verantwoordelijke beheerders van de OCG-dienst bij de Wikimedia Foundation tot de conclusie dat OCG moet worden vervangen.
- Het WMF Reading Team neemt de verantwoordelijkheid over voor het lange termijn onderhoud van PDF-rendering en begint met plannen voor het implementeren van tabelrendering in alle projecten.
- Het Reading-team lanceert een community-consultatie voor het verzamelen van feedback over Electron.
- De teams van Reading Infrastructure en Web beginnen met de werkzaamheden die nodig zijn om de OCG-functionaliteit over te zetten naar de Electron-service.
Update na consultatie
We hebben begin juni 2017 een consultatie gestart over de huidige implementatie van de PDF-renderer. Na de beoordeling van de consultatie-antwoorden hebben wij de volgende observaties gedaan:
- Een groter aantal gebruikers gaf de voorkeur aan het eenkolomformaat in plaats van het dubbelkolomformaat
- Gebruikers die het dubbelkolomformaat voorkeurden, onderstreepten dat hun voorkeur was gebaseerd op de stijl en het uiterlijk van dubbelkolommen. Sommige gebruikers hebben ook hun zorgen geuit over lettergrootte en verspilling van papier bij het printen van PDF's in de optie met één kolom
- De volgende functieverzoeken werden ingediend:
- Functionele hyperlinks
- Datum en url, 'deze pagina is gedownload van [datum] van [URL]'
- Aanpasbare css voor lay-out, titel, TOC
- Optie voor het format van twee kolommen
- Toevoegen/verwijderen van afbeeldingversies
- Aanpasbare marges
- Printen per sectie - laat u verwijzingen verwijderen, paragrafen die u niet wilt, index, etc
- het mogelijk maken van een instelbare tekstgrootte
Op basis van de feedback hebben wij het volgende in onze nieuwe drukstijlen opgenomen:
- hyperlinks
- artikelinformatie
- kleinere lettertypen en boek-achtige stijlen
De rest van de bovenstaande verzoeken zal worden uitgesteld tot de tweede iteratie van de PDF renderer, waarin we van plan zijn om een instellingenmodus te bouwen die het mogelijk maakt om de beschikbare opties aan te passen.
Voorstel
Het volgende is een voorstel voor de functionaliteit die nodig is voor het renderen van PDF's:
- Individuele artikelen worden tot PDF gerenderd met behulp van de link "Download als PDF" in de zijbalk
- Meerdere artikelen worden tot PDF gerenderd met de Book Creator tool.
- Alle artikelen bevatten bronvermelding voor tekst en afbeeldingen
- Alle gerenderde PDF's zullen tabellen kunnen weergeven
- Gebruikers kunnen de lay-out van hun PDF aanpassen (optioneel)
Verschillen tussen huidige en toekomstige implementatie
| OCG | Nieuwe Service | Notities | |
|---|---|---|---|
| Individuele artikelen renderen | Ja | Ja | |
| Meerdere artikelen renderen middels de boekmaker | Ja | Ja | |
| Bevat inhoudsopgave voor meerdere artikelen | Ja | Ja | |
| Rendert tabellen | Nee | Ja | |
| Naamsvermelding | Ja | Ja | Open vraag: plaats van naamsvermelding binnen de nieuwe service |
| Opmaak | LaTeX | Nieuwe stijlen | |
| N-kolom-layout | Ja | Nee | |
| Standaard 2-kolom-layout | Ja | Voorlopig | De standaard één- of twee-kolom-layout wordt gekozen op basis van feedback en kwantitatieve en/of kwalitatieve testen. |
| Output-formaat | PDF, platte tekst | Alleen PDF |
Ontwerp
De nieuwe PDF-stijlen zullen worden ontworpen om de leesbaarheid te vergroten. Op basis van feedback van de gemeenschap en kwalitatieve of kwantitatieve testen kan ondersteuning voor een 2-kolom-layout worden gebouwd voor de boekmaker en/of voor individuele PDF's.
-
Voorbeelden van nieuwe PDF-output - Stijlen worden bijgewerkt op basis van feedback uit de lopende consultatie -
Routekaart voor ontwikkeling en uitrol
Het volgende is een grof overzicht van het ontwikkelings- en implementatie-routeplan. Het is onderhevig aan veranderingen.
- April - mei 2017:
- Het Reading-team bouwt back-end ondersteuning voor de hierboven geïdentificeerde functionaliteit
- Gemeenschappen worden geraadpleegd over de uitbreiding of inkrimping van de voorgestelde functionaliteit
- Kwalitatieve test uitgevoerd voor vormgeving
- Juni - juli 2017:
- Nieuwe stijlen geïmplementeerd
- De eerste iteratie wordt gelanceerd samen met OCG op alle projecten en de prestaties worden vergeleken
- Iteraties op basis van overleg en geïdentificeerde randgevallen
- Augustus 2017 - september 2017
- Aanvullende wijzigingen die gemaakt worden indien noodzakelijk
- oktober 2017
- Tweede iteratie zonder OCG op alle projecten
Enkele artikelen
- Een PDF voor een enkel artikel wordt gemaakt door de link "Download als PDF" te selecteren
- Als u "Download as PDF" kiest, wordt het PDF-bestand gegenereerd. Om het bestand te downloaden, kiezen gebruikers de "Download de bestandslink"
- Elk PDF-bestand bevat het volgende:
- Artikeltitel en -tekst
- Infobox (indien van toepassing)
- Tabellen (indien van toepassing)
- Eén-kolom-layout
- Paginanummer
- Alle artikelfoto's en ondertitels
- Links naar pagina's gelinkt vanuit het artikel (blauwe links en externe links)
- Tekst- en beeldbronnen, bijdragen en licenties
Phabricator tracking
Alle PDF-gerelateerde wijzigingen, waaronder het uitfaseren van OCG, de vervanging van de Electron PDF-renderer en eventuele updates aan boeken of de verzamelings-extensie, worden gevolgd onder het phabricatorproject Proton. De projectpagina zal alle recente updates tonen voor alle taken die verband houden met PDF's.
Boeken
Functionaliteit beschikbaar in oktober 2017
Opmerking: er zullen op dit moment geen wijzigingen worden aangebracht in de huidige werkstroom van de boekmaker
- Gebruiker start de boekenmaker door te selecteren "Maak een boek"
- Dit zal naar de huidige boekcreatie-pagina leiden
- Om een boek te downloaden, kiezen gebruikers de "download"-link van de boekenpagina
- Gebruikers mogen alleen boeken downloaden in PDF-formaat
- Boeken bevatten alle elementen uit een enkel-artikel-format evenals:
- Boek-titelpagina
- Aan het einde van het artikel worden de verwijzingen naar elk artikel uit het boek weergegeven
- Elk artikel begint op een nieuwe pagina.
- Een enkele sectie voor tekst- en beeldbronnen, bijdragers en licenties, die de verzamelde bijdragen van alle artikelen bevat
Functionaliteit beschikbaar in november - december 2017
- Boeken bevatten een inhoudsopgave met paginanummers
- Het selecteren van een sectie in de inhoudsopgave zal de gebruiker leiden tot de bijbehorende sectie in het boek
Stijlen voor boeken worden bijgewerkt om de leesbaarheid te verbeteren
Alternatieven
Er is een alternatieve manier om MediaWiki te exporteren naar LaTeX, PDF, ODT en EPUB:
http://mediawiki2latex.wmflabs.org/
De rekenmiddelen op de server zijn beperkt.
Als je Ubuntu Linux gebruikt en sneller resultaten wilt krijgen, kan men de m2l-pyqt of mediawiki2latex pakketten installeren.