Довідка:CirrusSearch
Зверніть увагу! Коли Ви редагуєте цю сторінку, то погоджуєтесь робити свій внесок під ліцензією CC0. Детальніше про умови ліцензії можна дізнатися на сторінці довідки. |
Найшвидший спосіб знайти інформацію в проектах Вікімедіа — пошукати її прямо. На кожній сторінці є поле пошук.
CirrusSearch — розширення MediaWiki, що використовує Elasticsearch для надання покращених функцій пошуку порівняно з пошуком MediaWiki за замовчуванням. Фонд Вікімедіа використовує CirrusSearch у всіх проєктах Вікімедіа. На цій сторінці описані властивості CirrusSearch. Якщо ви не знайшли відповіді на ваше запитання, не вагайтеся запитувати на сторінці обговорення, і хтось вам відповість.
Інформацію про розширення MediaWiki можна отримати на сторінці Extension:CirrusSearch .
Про його використання у Wikidata див. Help:Extension:WikibaseCirrusSearch .
Як це працює
Введіть ключові слова та фрази, а на клавіатурі натисніть «Enter» або «Return». Або натисніть піктограму лупи, кнопку «Пошук» або «Перейти».
Якщо назва сторінки збігається з текстом, що ви ввели, ви потрапите безпосередньо на цю сторінку. В іншому випадку виконується пошук на всіх сторінках вікі, результатом якого виводиться список статей (або також сторінок вікі) які відповідають уведеним критеріям, або повідомлення про відсутність сторінок, які б відповідали цим критеріям
Якщо ви натиснете кнопку «Знайти», не заповнюючи нічого, ви перейдете до розділу «Спеціальна сторінка: Пошук», який надає додаткові параметри пошуку (також доступні з будь-якого списку результатів пошуку)
Вам може стати в нагоді обмежити пошук лише сторінками в певному просторі назв MediaWiki, наприклад, шукати тільки на особистих сторінках користувачів вікі — User. Позначте потрібні вам простори назв для цього пошуку.
Що покращилося?
CirrusSearch відрізняється трьома основними покращеннями порівняно з пошуком MediaWiki за замовчуванням, а саме:
- Краща підтримка пошуку різними мовами.
- Швидше оновлення пошукового індексу, що означає, що зміни на сторінках вікі відображаються в результатах пошуку набагато швидше.
- Розкриття шаблонів, що означає, що увесь вміст сторінки, разом із таким, що створений включеними шаблонами, тепер відображається в результатах пошуку.
Яка періодичність оновлення індексу пошуку?
There are two primary search indexes to consider:
The first is full-text search, on Special:Search. This index is updated in near real time. Зміни на сторінках мають з'явитися в результатах пошуку впродовж кількох хвилин, але 30 хвилин усе одно вважаються нормальною роботою. Зміни в шаблонах мають відображатися в сторінках, які мають включення цих шаблонів, протягом кількох хвилин, що займає до кількох годин залежно від кількості сторінок, на яких використовується шаблон. Щоб перерендерити сторінку, можна зробити нульове редагування, але при нормальній роботі рушія це не знадобиться.
The second index to consider is the fuzzy auto-complete title search. This index is updated once a day and mirrors what was found in the full-text search index at the time the index was updated. Depending on timing a new page could take two days to be found in the fuzzy title autocomplete. If this is unacceptable for a particular use case, within user search options the title completion can be changed to classic prefix search which uses the full-text search index.
Пошукові підказки
Варіанти фрази чи слова, що з'являються у спадному меню після початку пошукового набору, чітко відповідають назвам статей, ранжованих за кількістю зовнішніх посилань на них. При цьому враховується кількість вхідних вікі-статей, розмір сторінки, кількість зовнішніх посилань, кількість заголовків і кількість перенаправлень.
Підказки пошуку можна оминути і запит перекине одразу на сторінку результатів пошуку.
Додайте тильду ~
перед пошуковою фразою.
Наприклад, «~Фріда Кало».
Підказки пошуку все одно показуватимуться, але натискання на клавішу «Enter» у будь-який час одразу виведе вам результати пошуку.
Для деяких мов увімкнено "згортання" наголосів/діакритики; деталі залежать від мови.
The algorithm used to rank suggestions is described in more detail at Extension:CirrusSearch/CompletionSuggester#Ranking criteria.
Повнотекстовий пошук
«Повнотекстовий пошук» — це «індексований пошук». Усі сторінки зберігаються у базі даних вікі і всі слова на сторінках, які не є перенаправленнями, зберігаються у базі даних пошуку, яка є індексом для практично повного тексту вікі. Кожне видиме слово індексується у список сторінок, де його можна знайти, тож пошук слова є швидким прогляданням єдиного запису.[1] Більше того, будь-які зміни в словах вносяться в індекс пошуку впродовж секунд.
Є багато індексів «повного тексту» вікі, що забезпечують різні потрібні типи пошуку. Повний вікітекст індексується багато разів у багато спеціалізованих індексів, кожен з яких аналізує вікітекст певним чином, оптимізованим для використання цих індексів. Приклади індексів:
- «Допоміжний» текст, куди входять примітки, підписи, зміст та будь-який вікітекст, що має клас згідно з атрибутом HTML class=searchaux.
- «Преамбула» — вікітекст між верхом сторінки і першим заголовком.
- Текст «категорій» індексує списки унизу.
- Шаблони індексуються. Якщо в шаблоні змінюється вміст, включений до інших сторінок, то всі такі сторінки також оновлюються. (Це може зайняти чимало часом, залежно від завантаженості черги завдань). Якщо змінюються підшаблони, використані в шаблоні, індекс оновлюється.
- Вміст документів в просторі назв File/Media, тепер індексується. Розпізнаються тисячі форматів.
Реалізована підтримка для десятків мов, але бажана підтримка всіх мов. Список підтримуваних мов: elasticsearch.org; щоби відправити запит або редагування, див. документацію щодо внеску в проєкт. Також використовуються сторонні бібліотеки з відкритим кодом для підтримки додаткових мов, які не охоплюються Elasticsearch.
CirrusSearch оптимізує і опрацює ваш запит. Заголовки результатів зважуються за релевантністю і проходять ґрунтовну пост-обробку, 20 за раз, для виведення на сторінку результатів пошуку. Наприклад, зі статті вибирається фрагмент, і пошукова фраза підсвічується жирним текстом.
Результати пошуку часто супроводжуються різними попередніми повідомленнями. До них належать Можливо, ви мали на увазі (корекція орфографії) і, якщо в іншому випадку не буде знайдено жодного результату, буде сказано Показано результати для (скоректований запит) і замість пошуку (ваш запит).
Можливостями пошуку також є:
- Сортування результатів за кількістю вхідних посилань.
- Символ тильди
~
на початку, щоб вимкнути навігацію та пропозиції із збереженням рейтингу сторінок. - Інтелектуальне зіставлення символів шляхом нормалізації (або «згортання») неклавіатурних символів у символи клавіатури.
- На сторінці результатів пошуку знайдені слова та фрази виділяються жирним шрифтом. Механізм виділення — це косметичний аналізатор, який працює після індексного пошуку, що фактично знаходить сторінку, тому вони можуть бути не на 100% синхронізовані, особливо для регулярного виразу. Механізм виділення може бути більш або менш точним, ніж індексатор.
Слова, фрази, модифікатори
Простий пошуковий запит представляє собою слово або «фразу в лапках». Details vary by language, especially for languages without spaces, but search typically recognizes a "word" to be:
- a string of digits
- a string of letters
- subwords between letters/digit transitions, such as in txt2regex
- subwords inside a compoundName using camelCase
A "stop word" is a word that is ignored (because it is common, or for other reasons). The list of stop words is language-specific and not all languages support stop words.[2] A given search term matches against content (rendered on the page). To match against wikitext instead, use the insource search parameter (See section below). Each search parameter has its own index, and interprets its given term in its own way.[3]
Spacing between words, phrases, parameters, and input to parameters, can include generous instances of whitespace and greyspace characters. "Greyspace characters" are all the non-alphanumeric characters ~!@#$%^&()_+-={}|[]\:";'<>?,./. A mixed string of greyspace characters and whitespace characters, is "greyspace", and is treated as one big word boundary. Greyspace is how indexes are made and queries are interpreted.[4]
Two exceptions are where 1) an embedded:colon is one word (it being treated as a letter), and 2) an embedded comma , such as in 1,2,3, is treated as a number. Greyspace characters are otherwise ignored unless, due to query syntax, they can be interpreted as modifier characters.
The modifiers are ~ * \? - " ! . Depending on their placement in the syntax they can apply to a term, a parameter, or to an entire query. Word and phrase modifiers are the wildcard, proximity, and fuzzy searches. Each parameter can have their own modifiers, but in general:
- A fuzzy-word or fuzzy-phrase search can suffix a tilde
~
character (and a number telling the degree). - A tilde
~
character prefixed to the first term of a query guarantees search results instead of any possible navigation. - A wildcard character inside a word can be an (escaped) question mark \? for one character or an asterisk * character for zero or more characters.
- Truth-logic can interpret AND and OR, but parameters cannot. Note that the AND and OR operators currently do not function in the traditional truth-logic manner! For details see more on logical operators.
- Truth-logic understands - or ! prefixed to a term to invert the usual meaning of the term from "match" to "exclude".
- Quotes around words mark an "exact phrase" search. For parameters they are also needed to delimit multi-word input.
- Stemming is automatic but can be turned off using an "exact phrase".
A phrase search can be initiated by various hints to the search engine. Each method of hinting has a side-effect of how tolerant the matching of the word sequence will be. For greyspace, camelCase, or txt2number hints:
- given words-joined_by_greyspace(characters) or wordsJoinedByCamelCaseCharacters it finds words joined by ... characters, in their bare forms or greyspace forms.
- txt2number will match
txt 2 number
ortxt-2.number
. - Stop words are enabled for the edge cases (in the periphery) of a grey_space or camelCase phrase. An example using the, of, and a is that the_invisible_hand_of_a matches
invisible hand
within the textmeetings invisible hand shake
.
A "search instead" report is triggered when a universally unknown word is ignored in a phrase.
Each one of the following types of phrase-matching contains and widens the match-tolerances of the previous one:
- An "exact phrase" "in quotes" will tolerate (match with) greyspace. Given "exact_phrase" or "exact phrase" it matches
"exact]phrase"
.
- A greyspace_phrase initiates stemming and stop word checks.
- Given CamelCase it will additionally match
camelcase
, in all lowercase, because CirrusSearch is not case sensitive in matching.
Note that CamelCase matching is not enabled for all languages.
Some parameters interpret greyspace phrases, but other parameters, like insource
only interpret the usual "phrase in quotes".
Пошукова фраза | parserfunction | parserFunction | parser function | parser-function | parser:function | parSer:funcTion |
---|---|---|---|---|---|---|
parserfunction | ||||||
"parser function" | ||||||
parser_function | ||||||
parserFunction | ||||||
"parser:function" | ||||||
"parser_function" | ||||||
"parSer_funcTion" | ||||||
parSer_FuncTion |
Note that all stemming is case insensitive.
Note how the "exact phrase" search interpreted the embedded:colon character as a letter, but not the embedded_underscore character. A similar event occurs with the comma , character inside a number.
Given in:this:word
, CirrusSearch, when in an "exact phrase" context, (which includes the insource parameter context), will not match in
, this
, or word
, but will then only match in:this:word
.
Otherwise, remember that for CirrusSearch words are letters, numbers, or a combination of the two, and case does not matter.
The common word search employs the space character and is aggressive with stemming, and when the same words are joined by greyspace characters or camelCase they are aggressive with phrases and subwords.
When common words like "of" or "the" are included in a greyspace-phrase, they are ignored, so as to match more aggressively.
A greyspace_phrase search term, or a camelCase, or a txt2number term, match the signified words interchangeably. You can use any of those three forms.[5] Now camelcase matches camelCase because Search is not case sensitive, but camelCase matches camelcase because camelCase is more aggressive. Like the rest of Search, subword "words" are not case-sensitive. By comparison the "exact phrase" is greyspace oriented and ignores numeric or letter-case transitions, and stemming. "Quoted phrases" are not case sensitive.
From the table we can surmise that the basic search parser_function -"parser function" is the sum of the basic searches parserFunction
and parser<stems> function<stems>
.
Making inquiries with numbers, we would find that:
- Plan9 or Plan_9 matches any of:
plan9
,plans 9
,planned 9th
,(planned) 9.2
,"plans" (9:24)
- "plan9" only matches
plan9
(case insensitive) - Plan*9 matches
plan9
orplanet4589
.
The star * wildcard matches a string of letters and digits within a rendered word, but never the beginning character. One or more characters must precede the * character.
- When * matches numbers, a comma is considered part of one number, but the decimal point is considered a greyspace character, and will delimit two numbers.
- Inside an "exact phrase" * is treated as a greyspace character and not a wild card character, so it delimits words.
The \? wildcard represents one letter or number; *\? is also accepted, but \?* is not recognized.
The wildcards are for basic word, phrase, and insource searches, and may also be an alternative to (some) advanced regex searches (covered later).
Putting a tilde ~ character after a word or phrase activates a fuzzy search.
- For a phrase it is termed a proximity search, because proximal words are tolerated to an approximate rather than exact phrase.
- For example, "exact one two phrase"~2 matches
exact phrase
.
- For a word it means extra characters or changed characters.
- For a phrase a fuzzy search requires a whole number telling it how many extra words to fit in, but for a word a fuzzy search can have a decimal fraction, defaulting to word~0.5 (word~.5), where at most two letters can be found swapped, changed, or added, but never the first two letters.
- For a proximity phrase, a large number can be used, but that is an "expensive" (slow) search.
- For a word word~2 is most fuzzy with an edit distance of 2 (default), and word~1 is least fuzzy, and word~0 is not fuzzy at all.
flowers algernon | Flowers for Algernon | flowers are for Algernon | Flowers a1 2b 3c 4f 5j 6l 7j 8p q9 z10 for Algernon | |
"flowers algernon" | ||||
"flowers algernon"~0 | ||||
"flowers algernon"~1 | ||||
"flowers algernon"~2 | ||||
"flowers algernon"~11 | ||||
"algernon flowers"~1 | ||||
"algernon flowers"~2 | ||||
"algernon flowers"~3 | ||||
"algernon flowers"~4 | ||||
"algernon flowers"~13 |
For the closeness value necessary to match in reverse (right to left) order, count and discard all the extra words, then add twice the total count of remaining words minus one. (In other words, add twice the number of segments). For the full proximity algorithm, see Elasticsearch slop.
Лапки вимикають морфологічний пошук, тильда "but appending"~ його повертає.
flowers | flower | Flowers for Algernon | flower for Algernon | ||
flowers | Stemming is in effect. | ||||
"flowers" | Proximity search turns off stemming. | ||||
"flowers"~ | Proximity plus stemming by suffixing a tilde. | ||||
"flowers for algernon" | Proximity search turns off stemming. | ||||
"flowers for algernon"~ | Proximity plus stemming by suffixing a tilde. | ||||
"flowers algernon"~1 | Proximity search turns off stemming. | ||||
"flowers algernon"~1~ | Proximity plus stemming by suffixing a tilde. |
Insource
≥ 1.24 Gerrit change 137733 |
Insource searches can be used to find any one word rendered on a page, but it's made for finding any phrase you might find - including MediaWiki markup (aka wikicode), on any page except redirects. This phrase completely ignores greyspace: insource: "state state autocollapse" matches |state={{{state|autocollapse}}}
.
insource: word insource: "word1 word2" |
Greyspace characters are ignored, just as they are with word searches and exact-phrase searches. |
insource:/regexp/ insource:/regexp/i |
These are regular expressions. They aren't efficient, so only a few are allowed at a time on the search cluster, but they are very powerful. The regular expression matches case-sensitively by default; case-insensitivity can be opted in with the extra i , which is even less efficient.
|
Insource complements itself. On the one hand it has full text search for any word in the wikitext, instantly. On the other hand it can process a regexp search for any string of characters.[6] Regexes scan all the textual characters in a given list of pages; they don't have a word index to speed things up, and the process is interrupted if it runs for more than twenty seconds. Regexes run last in a query, so to limit needless character-level scanning, every regex query should include other search terms to limit the number of documents that need to be scanned.[7] Often the best candidate to add to the regex query insource:/arg/ is insource:arg, where arg is the same (and uses no wildcards).
The syntax for the regexp is insource: no space, and then /regexp/. (No other parameter disallows a space. All the parameters except insource:/regexp/ accept space after their colon.)
Insource indexed-search and regexp-search roles are similar in many respects:
- Both search wikitext only.
- Neither finds things "sourced" by a transclusion.
- Neither does stemmed, fuzzy, or proximity searches.
- Both want the fewest results, and both work faster when accompanied by another clause.
But indexed searches all ignore greyspace; wildcards searches do not match greyspace, so regexes are the only way to find an exact string of any and all characters, for example a sequence of two spaces. Regexes are an entirely different class of search tool that make matching a literal string easy (basic, beginner use), and make matching by metacharacter expressions possible (advanced use) on the wiki. See #Regular expression searches below.
"in-law" insource:/-in-law/i
or "kung" insource:/!kung/i
.Prefix and namespace
Prepending a namespace term like file:
to a search query limits results to a specific namespace , instead of searching the entire wiki.
The default namespace is "Main".
У пошуковому вікні можна задати лише одну назву просту назв.
It must be the first term in the query, or, if used as part of a prefix:
term, must appear as the last term in the query.
Two or more namespaces may be searched from the Advanced pane of the search bar found on the top of every search results page, Special:Search. Your search domain, as a profile of namespaces, can be set here. The namespaces list will then present itself on the first page of future search results to indicate the search domain of the search results. To unset this, select the default namespace (shown in parentheses), select "Remember", and press Search.
The search bar graphically sets and indicates a search domain. "Content pages" (mainspace), "Multimedia" (File), "Everything" (all plus File), "Translations", etc., are hyperlinks that can activate the query in that domain, and then indicate this by going inactive (dark). But the query will override the search bar. When a namespace or prefix is used in the query the search bar activations and indications may be misleading, so the search bar and the search box are mutually exclusive (not complementary) ways to set the search domain.
A namespace term overrides the search bar, and a prefix:
term overrides a namespace.
To specify a namespace name, prefix it with a colon, e.g., talk:
.
Use all:
to search across all namespaces, or :
(a single colon) to search just the main article namespace.
The all:
term does not include the File: namespace, which includes media content held at Commons such as PDF, which are all indexed and searchable.
When File is involved, a namespace modifier local:
has an effect, otherwise it is ignored.
As with search parameters, local:
and all:
must be lowercase.
Namespaces names, though, are case insensitive.
Namespace aliases are accepted.
talk: "Wind clock" | Find pages in the Talk namespace whose title or text contains the phrase "wind clock". |
file: "Wind clock" | Find pages in File namespace, whose title, text, or media content contains the phrase "wind clock". |
file: local: "Wind clock" | Filter out results from Commons wiki. |
local: "Wind clock" | Ignored. Searches mainspace. Local is ignored unless File is involved. |
prefix:
The prefix:
parameter matches any number of first-characters of all pagenames in one namespace.[8]
When the first letters match a namespace name and colon, the search domain changes.
Given a namespace only, prefix:
will match all its pagenames. Given one character only, it cannot be -
(dash), '
(quote), or "
(double quote). The last character cannot be a colon.
For pagenames that match, their subpage titles match by definition.
The prefix:
parameter does not allow a space before a namespace, but allows whitespace before a pagename.
This term always goes at the end, so that pagename characters may contain quotation marks ("
).
prefix:cow | Знайти статті в основному просторів назв, чия назва починається з трьох букв c o w. |
domestic prefix:cow | Знайти статті в основному просторів назв, чия назва починається з трьох букв c o w, і містить слово «domestic». |
domestic prefix:cow/ | Знайти всі підсторінки статті Cow в основному просторі назв, які містять слово «domestic». Це дуже загальний пошук і часто побудований з використанням спеціального параметра URL з ім'ям prefix=. |
domestic prefix:Talk:cow/ | List any subpages of Talk:cow, but only if they contain the word "domestic". |
1967 prefix:Pink Floyd/ | List any subpages of Pink Floyd, but only if it also contains the word "1967". |
The Translate extension creates a sort of "language namespace" of translated versions of a page. However, unlike namespace or prefix, which create the initial search domain, the inlanguage parameter is a filter of it. (See the next section.)
Вилучення вмісту з пошукового індексу
Content can be excluded from the search index by adding class="navigation-not-searchable"
. This will instruct CirrusSearch to ignore this content from the search index (see завдання T162905 for more context).
Additionally content can be marked as auxiliary information by adding class="searchaux"
.
This will instruct CirrusSearch to move the content from the main text to an auxiliary field which has lower importance for search and snippet highlighting.
This distinction is used for items such as image thumbnail descriptions, 'see also' sections, etc.
Фільтри
A filter will have multiple instances, or negated instances, or it can run as a standalone filtering a search domain. A query is formed as terms that filter a search domain.
Adding another word, phrase, or parameter filters more. A highly refined search result may have very many Y/N filters when every page in the results will be addressed. (In this case ranking is largely irrelevant.) Filtering applies critically to adding a regex term; you want as few pages as possible before adding a regex (because it can never have a prepared index for its search).
A namespace is a specified search domain but not a filter because a namespace will not run standalone. A prefix will negate so it is a filter. The search parameters below are filters for which there may be multiple instances.
Insource (covered above) is also a filter, but insource:/regexp/ is not a filter. Filters and all other search parameters are lowercase. (Namespaces are an exception, being case insensitive.)
Intitle й incategory
Word and phrase searches match in a title and match in the category box on bottom of the page. But with these parameters you can select titles only or category only.
- cow*
- Find articles whose title or text contains words that start with cow
- intitle:foo
- Знаходить сторінки, в заголовку яких є «foo» (з врахуванням похідних).
- intitle:"fine line"
- Знаходить сторінки, в заголовку яких є fine line (похідні заборонені).
- intitle:foo bar
- Знаходить сторінки, в заголовку яких є «foo» і в заголовку або в тексті є «bar».
- -intitle:foo bar
- Знаходить сторінки, в заголовку яких нема «foo» і заголовок або текст містить «bar».
- incategory:Music
- Знаходить сторінки, включені до категорії Category:Music
- incategory:"music history"
- Знаходить сторінки, включені до категорії Category:Music_history
- incategory:"musicals" incategory:"1920"
- Знаходить сторінки, включені одночасно до категорій Category:Musicals та Category:1920
- -incategory:"musicals" incategory:"1920"
- Знаходить сторінки, включені до категорії Category:1920, але не включені до Category:Musicals
Intitle and incategory are old search parameters. Incategory no longer searches any subcategory automatically, but you can now add multiple category pagenames manually.
≥ 1.31 Gerrit change 413896 |
Since MediaWiki 1.31-wmf.23 Regular expression searches are supported for intitle:
- intitle:/regex/, intitle:/regex/i
Everything written in the #Regular expression searches is also valid for these searches, including warnings.
Deepcategory
Deep category search allows to search in category and all subcategories. The depth of the tree is limited by 5 levels currently (configurable) and the number of categories is limited by 256 (configurable). The deep search uses SPARQL Category service from WDQS. Keywords are deepcategory or deepcat. Example:
- deepcat:"musicals"
- Find articles that are in Category:Musicals or any of the subcategories.
The DeepCat gadget that previously implemented the parameter was sunsetted in January 2020.
Linksto
Linksto finds wikilinks to a given name, not links to content. The input is the canonical, case sensitive, page name. It must match the title line of the content page, exactly, before any title modifications of the letter-case. (It must match its {{FULLPAGENAME}}, e.g. Help:CirrusSearch/uk.)
Linksto does not find redirects. It only finds [[wikilinks]], even when they are made by a template. It does not find a link made by a URL, even if that URL is an internal wiki link.
To find all wikilinks to a "Help:Cirrus Search", if "Help:Searching" and "H:S" are redirects to it:
- linksto: "Help:Cirrus Search"
- linksto: Help:Searching
- linksto: H:S
CirrusSearch -linksto: Help:CirrusSearch
finds articles that mention "CirrusSearch" but not in a wikilink.
Hastemplate
You can specify template usage with hastemplate: template
. Input the canonical pagename to find all usage of the template, but use any of its redirect pagenames finds just that naming. Namespace aliases are accepted, capitalization is entirely ignored, and redirects are found, all in one name-search. (Compare boost-template no default namespace; linksto no namespace aliases, case-sensitive, no redirects; intitle no redirects.)
Hastemplate finds secondary (or meta-template) usage on a page: it searches the post-expansion inclusion. This is the same philosophy as for words and phrases from a template, but here it's for templates from a template. The page will be listed as having that content even though that content is not seen in the wikitext.
- hastemplate: "quality image", finds "Template:Quality image" usage in your default search domain (namespaces).
- hastemplate: portal:contents/tocnavbar, finds mainspace usage of a "Contents/TOCnavbar" template in the Portal namespace.
For installations with the Translate extension, hastemplate searches get interference wherever Template:Translatable template name wraps the template name of a translatable template. Use insource instead.
Inlanguage
For installations with the Translate extension, inlanguage is important for highly refined searches and page counts.
- inlanguage: language code
will produce search results in that language only.
Наприклад
- to count all Japanese pages on the wiki
- all: inlanguage: ja
- to filter out German and Spanish pages in the Help namespace
- help: -inlanguage: de -inlanguage: es
- to ignore Translate, and where English is the base language, add
- inlanguage:en
Contentmodel
The contentmodel: keyword allows to limit the search to pages of a specific content model. For possible models cf. Content handlers. E.g.:
- To see only JSON pages:
contentmodel:json
subpageof
To find sub-pages.
- subpageof: ParentPage
Наприклад
- To find all subpages of CirrusSearch.
- subpageof:CirrusSearch
- Use double quotes if the parent page contains spaces.
- subpageof:"Requests for comment"
Articletopic
The articletopic: keyword allows filtering search results by topic. For possible topics see Help:CirrusSearch/articletopic . E.g. articletopic:books will filter the search results to articles about books. articletopic:books|films will filter to articles about books or films. articletopic:books articletopic:films will filter to articles which are about both books and films.
Only mainspace articles belong into topics, and topics are only available on Wikipedias. Unlike other filters, articletopic also does page weighting: articles which are a stronger match for a topic will be higher in the search results (while articles which aren't about that subject at all will be removed from the result set completely).
Topic models are derived via machine learning from ORES. Any given article receives a score on dozens of different topics, and therefore may appear under different keywords. For instance, the article on Albert Einstein may appear as a "physics" article and a "biography" article. All Wikipedias have scores available -- some have local-language topic models that have coverage on all articles. Other languages do not have local ORES models, and are using English-language scores assigned to articles in the local language that also exist in English Wikipedia. The languages with such "cross-wiki" scores do not have 100% coverage -- depending on the language, it may only be something like 60% of articles that have topics available.
Topic-related search data is updated weekly, so recently created articles might not show up in topic-based search queries.
Pageid
The pageid: keyword restricts search results to the given set of page IDs. This is not really useful for manual searching; it can be used by software tools for checking whether a set of pages match the given set of search conditions (e.g. for re-validating cached search results).
Page weighting
Weighting determines snippet, suggestions, and page relevance. The normal weight is one. Additional weighting is given through multipliers.
If the query is just words, pages that match them in order are given a boost. If you add any explicit phrases to your search, or for certain other additions, this "prefer phrase" feature is not applied.
Morelike
- morelike:page name 1|page name 2|...|page name n
- Знаходить статті, текст яких є найбільш подібний на текст вказаних статей.
morelike:wasp|bee|ant
- Знайти статті про stinging insects.
morelike:template:search|template:regex|template:usage
- Знайти шаблони про regex-пошук для використання шаблонів у Вікі.
Ключове слово morelike
є «жадібним», що означає, що воно не може поєднуватися з іншими пошуковими запитами. Якщо ви хочете використовувати інші пошукові запити, використовуйте morelikethis у своєму пошуку:
morelikethis:bee hastemplate:"featured article"
- Знайти статті про bees, які також мають шаблон «featured article».
Запит morelike: вибирає набір слів з вказаних статей і виконує запит з вибраними словами. Ви можете налаштувати спосіб його роботи додаванням таких параметрів до URL результатів пошуку:
- cirrusMltMinDocFreq: Мінімальна кількість документів (per shard), що потрібні терму для його розгляду.
- cirrusMltMaxDocFreq: Максимальна кількість документів (per shard), які має терм для його розгляду.
- cirrusMltMaxQueryTerms: Максимальна кількість термів, що розглядаються.
- cirrusMltMinTermFreq: Мінімальна кількість разів появи терму на вході в документі, який буде розглянутий. Для малих полів (title) це значення дорівнює 1.
- cirrusMltMinWordLength: Мінімальна довжина терму, що розглядається. За умовчанням 0.
- cirrusMltMaxWordLength: Максимальна довжина слова, вище якої слова будуть проігноровані. За умовчанням не обмежена (0).
- cirrusMltFields (список значень розділених комами): Це поля, що використовуються. Допустимі такі поля title, text, auxiliary_text, opening_text, headings і all.
- cirrusMltUseFields (
true
|false
): використовувати тільки дані поля. За умовчаннямfalse
: система буде вибирати вмістtext
поля для побудови запиту. - cirrusMltPercentTermsToMatch: Відсоток термів для відповідності. За умовчанням 0.3 (30 відсотків).
- Приклад:
&cirrusMtlUseFields=yes&cirrusMltFields=title&cirrusMltMinTermFreq=1&cirrusMltMinDocFreq=1&cirrusMltMinWordLength=2
Ці установки можуть бути зроблені постійними перевизначенням cirrussearch-morelikethis-settings
в системних повідомленнях.
Prefer-recent
Adding prefer-recent: anywhere in the query gives recently edited articles a slightly larger than normal boost in the page-ranking rules.
Prefer-recent is only applied when using the default relevance
sort order.
It defaults to boost only 60% of the score, in a large, 160-day window of time, which can be entered in the query as prefer-recent:0.6,160. This plays well with other page ranking rules, and is intended for most searches.
You can manipulate the rules: prefer-recent:boost,recent Technically, "boost" is the proportion of score to scale, and "recent" is the half life in days. The boost is more than the usual multiplier, it is an exponential boost. The factor used in the exponent is the time since the last edit.
Наприклад
- prefer-recent:,7
Pages older than 7 days are boosted half as much, and pages older than 14 days are boosted half as much again, and so on. For a simple "sort by date" in highly refined search results, where page ranking and boosting are largely meaningless, just boost the entire score.
- prefer-recent:1,7 - weeks
- prefer-recent:1,1 - days
- prefer-recent:1,0.0007 - minutes
- prefer-recent:1,0.0001 - 8.64 seconds
- prefer-recent:1,0.00001 - seconds
Boost-templates
Можна збільшити пошукову оцінку сторінок залежно від того, які шаблони вони містять. Це можна застосувати до всіх пошукових запитів, оголосивши збільшення через MediaWiki:Cirrussearch-boost-templates або ad-hoc в окремих запитах через оператор boost-templates:""
. Якщо в запиті встановлено оператор boost-templates
, вміст cirrussearch-boost-templates
ігнорується.
Similar to the prefer-recent feature, boost-templates is applied as part of the default relevance
sort order. It has no effect on other search orders.
The syntax of the message is as follows:
- Everything from a
#
character to the end of the line is considered a comment, and ignored. - Every non-blank line is interpreted as the exact name of a template that should receive boosting (including namespace prefix), followed by a pipe "|" character, followed by a number, followed by a "%" character.
Good examples:
Template:Important|150% Template:Very_Very_Important|300% Template:Less_important|50%
Bad examples:
Template:Foo|150.234234% # decimal points are not allowed. Foo|150% # technically valid, but acts on transclusions of Foo (main space article) instead of Template:Foo.
Деякі приклади:
- boost-templates:"Template:Quality_Image|200%" incategory:china
- Знаходить файли в категорії China, сортуючи якісні зображення на початок.
- boost-templates:"Template:Quality_Image|200% Template:Low_Quality|50%" incategory:china
- Знаходить файли в категорії China, сортуючи високоякісні зображення на початок, а низькоякісні — в кінець.
- boost-templates:"Template:Quality_Image|200% Template:Low_Quality|50%" popcorn
- Find files about popcorn, sorting quality images first and low-quality images last. Remember that through the use of the
cirrussearch-boost-templates
message this can be reduced to justpopcorn
.
Десяткові крапки не допускаються у відсоткових значеннях. Оцінка результатів пошуку така, що частки відсотка навряд чи мають значення.
Будьте обережні: якщо ви додаєте дуже малі або дуже великі відсотки через cirrussearch-boost-templates, вони можуть зіпсувати оцінку повного тексту. Наприклад, якби Вікіпедія збільшила оцінку шаблону «Вибрана стаття» на 1 мільйон відсотків, тоді пошук за будь-яким терміном, згаданим у вибраних статтях, ставив би вибрану статтю вище навіть спеціалізованої статті про цей термін.
Пошук за фразою також буде неефективним, тому що такий пошук, як brave new world
, першим результатом видасть вибрану статтю, навіть якщо в ній згадуються лише ці три слова, замість більш релевантної статті про Brave New World.
Пошук з допомогою регулярних виразів
A basic indexed search finds words rendered visible on a page. Hyphenation and punctuation marks and bracketing, slash and other math and computing symbols, are merely boundaries for the words. It is not possible to include them in an indexed search. Mostly that search behavior is wanted by the user. However, sometimes one wants to have the ability for a more precise search.
To get around the syntactic deficiency of index-based searches regexp searches can be used. But as queries with only regexp expressions are very slow and resource consuming, they should always be combined with an index-based search, such that the regexp search-domain gets limited to the results of one or more index-based search.
An "exact string" regexp search is a basic search; it will simply "quote" the entire regexp, or "backslash-escape" all non-alphanumeric characters in the string. All regexp searches also require that the user develops a simple filter to generate the search domain for the regex engine to search (index based search domain marked bold, regexp part marked in italics):
- insource:"debian.reproducible.net" insource:/debian\.reproducible\.net/
- insource:"c:\program files (x86)" insource:/C\:\\Program Files \(x86\)/i
- insource:"<tag>{{template}}</tag>" insource:/"<tag>{{template}}<"\/"tag>"/
- insource:"[[title|link label]]'s" insource:/"[[title|link label]]'s"/
- insource:/regexp/ prefix:{{FULLPAGENAME}}
The last example works from a link on a page, but {{FULLPAGENAME}} doesn't function in the search box.
Наприклад: [[Special:Search/insource:/regex/ prefix:{{FULLPAGENAME}}]] знаходить термін regex на цій стрінці.
A query with no namespace specified and no prefix specified searches your default search domain, (settable on any search-results page, i.e. at Special:Search). Some users keep their default search domain at "all namespaces", i.e. the entire wiki. On a large wiki if this user does a bare regexp search it will probably fail, incurring a timeout, before completing the search.
A regex search actually scours each page in the search domain character-by character. By contrast, an indexed search actually queries a few records from a database separately maintained from the wiki database, and provides nearly instant results. So when using an insource:// (a regexp of any kind), consider adding other search terms that will limit the regex search domain as much as possible. There are many search terms that use an index and so instantly provide a more refined search domain for the /regexp/. In order of general effectiveness:
- insource:"" with quotation marks, duplicating the regexp except without the slashes or escape characters, is ideal.
- intitle (without regex search), incategory, and linksto are excellent filters.
- hastemplate: is a very good filter.
- "word1 word2 word3", with or without the quotation marks, are good.
- namespace: is practically useless, but may enable a slow regexp search to complete.
To test a bare regexp query you can create a page with test patterns, and then use the prefix parameter with that fullpagename. The match will be highlighted. It searches that page (in the database) and its subpages.
Search terms that do not increase the efficiency of a regexp search are the page-scoring operators: morelike, boost-template, and prefer-recent.
Метасимволи
This section covers how to escape metacharacters used in regexp searches. For the actual meaning of the metacharacters see the explanation of the syntax.[9]
Наприклад:
- to search a namespace, gauge the number of pages with a single term that is a namespace. This will list the number of pages in that namespace.
- starting out to find again what you may have seen, like "wiki-link" or "(trans[in]clusion)" start with namespace and insource filters.
Є деякі помітні відмінності від стандартних метасимволів регулярних виразів:
\n
або\r\n
не зарезервовані для відповідності до нового рядка. To search for a string that contains a newline, you can do a search likeinsource:/[^\}]\}\}[^\} \|]{2}\<noinclude/i
which means not a curly brace, then two curly braces, then any two characters except a curly brace, space, or pipe, then a<noinclude>
tag. The "any character except" will include a newline in the search. Note thas this search was designed only to match to the following string:
}} <noinclude>
- Метасимвол крапка
.
означає будь-який символ, включаючи новий рядок, тобто.*
відповідає всім рядкам. - Знак числа
#
означає щось і має бути екранований.[10]
- Символи ^ і $ не потрібні. Подібно до "grep" (глобальний для рядка, регулярний вираз, друк кожного рядка), кожен insource:// це "глобальний для документа, регулярний вираз, список-результатів-пошуку кожного документа" для документа.
- Символи
<
і>
підтримують багатоцифровий числовий діапазон, подібно до[0-9]
, але без урахування кількості позицій символів або діапазону в кожній позиції, тому працює<9-10>
і навіть<1-111>
.
Substitutions for some metacharacters
While character classes \n
, \s
, \S
are not supported, in case of an acute need to use them in a regular expression, you may use these workarounds:
PCRE | CirrusSearch | Description |
---|---|---|
\n |
[^ -] |
A newline (also a tabulation character can be found)[11] |
[^\n] |
[ -] |
Any character except a newline and tabulation |
\s |
[^!-] |
A whitespace character: space, newline, or tabulation |
\S |
[!-] |
Any character except whitespace |
In these ranges, " " (space) is the character immediately following the control characters, "!" is the character immediately following space, and "" is U+10FFFF, the last character in Unicode. Thus, the range from " " to "" includes all characters except for control characters (of which articles may contain newlines and tabulation), while the range from "!" to "" includes all characters except for control characters and space.
Refining with an exact string
- refining an ongoing search process with what you want to see, like "2 + 2 = 4", or "site.org" This is ideally the best use of regex, because it adds it as a single regexp term while refining a search, the limited number of pages the regexp must crawl is can be seen.
You can start out intending an exact string search, but keep in mind:
- regex only search the wikitext not the rendered text, so there are some differences around the markup, and even the number of space characters must match precisely.
- You are obligated to supply an accompanying filter.
- You must learn how to escape regex metacharacters.
There are two ways to escape metacharacters. They are both useful at times, and sometimes concatenated side-by-side in the escaping of a string.
- Backslash-escape one of them \char. The insource:/regexp/ uses slashes to delimit the regexp. Giving /reg/exp/ is ambiguous, so you must write /reg\/exp/.
- Put a string of them in double quotes "string". Because escaping a character can't hurt, you can escape any character along with any possible metacharacters in there. Escaping with quotes is cleaner.
- You can't mix methods, but you can concatenate them.
Double-quotes escaping using insource:/"regexp"/ is an easy way to search for many kinds of strings, but you can't backslash-escape anything inside a double-quoted escape.
/"[[page/name|{{temp-late"/
instead of/\[\[page\/name\|\{\{temp\-late/
/"literal back\slash"/
is as good as/literal back\\slash/
- But
/"This \" fails"/
always.
- And
/"This \/ depends"/
. It finds the\/
literally, which is not the/
you probably wanted.
Backslash-escape using insource:/regexp/ allows escaping the " and / delimiters, but requires taking into account metacharacters, and escaping any:
- To match a
/
delimiter character use\/
.
- To match a
"
delimiter character use\"
.
- The escaped metacharacters would be
\~\@\#\&\*\(\)\-\+\{\}\[\]\|\<\>\?\.\\
.
- The equivalent expression escaped with double-quotes is
"~@#&*()-+{}[]|\<>?.\"
.
The simplest algorithm to create the basic string-finding expression using insource:/"regexp"/, need not take metacharacters into account except for the " and / characters:
- Write
the/str"ing
out. (The /" delimiters "/ are not shown.)
- Replace
"
with"\""
(previous double-quote: stop, concatenate, quote restart).
- Replace
/
with"\/"
(stop, concatenate, start).
- You get
insource:/"the"\/"str"\""ing"/
, showing concatenation of the two methods.
The square-bracket notation for creating your own character-class also escapes its metacharacters. To target a literal right square bracket in your character-class pattern, it must be backslash escaped, otherwise it can be interpreted as the closing delimiter of the character-class pattern definition.
The first position of a character class will also escape the right square bracket. Inside the delimiting square brackets of a character class, the dash character also has special meaning (range) but it too can be included literally in the class the same way as the right square bracket can.
For example both of these patterns target a character that is either a dash or a right square bracket or a dot: [-.\]]
or [].\-]
.
For general examples using metacharacters:
- insource:"2+2=4" insource:/"2+2=4"/ matches "2 + 2 = 4", with zero spaces between the characters.
- insource:"2 + 2 = 4" insource:/2 ?\+ ?2 ?= ?4\./ match with zero or one space in between. The equals = sign is not a metacharacter, but the plus + sign is.
- insource:"<tag>[[link|2\3?]]\</tag>" insource:/"<tag>[[link|2\3?]]<"\/"tag>"/
Regex у назвах
Ключове слово insource здійснює пошук лише у вмісті сторінки. Для запуску regex-пошуку в рядках назв можна використовувати intitle:/regex/.
Складніший приклад
For example, using metacharacters to find the usage of a template called Val having, inside the template call, an unnamed parameter containing a possibly signed, three to four digit number, possibly surrounded by space characters, and on the same page, inside a template Val call, a named argument fmt=commas
having any allowable spaces around it, (it could be the same template call, or a separate one):
hastemplate:val insource:"fmt commas" insource:/\{\{ *[Vv]al *\|[^}]*fmt *= *commas/ insource:/\{\{ *[Vv]al *\|[^}]*[-+]?[0-9]{3,4} *[|}]/
Note that the = sign in "fmt commas" is not needed but that adding it would not change the search results. It is fast because it uses two filters so that every page the regexp crawls has the highest possible potential.
Гео-пошук
Searching based on the (primary) coordinates associated with pages.
Depends on Extension:GeoData and {{#coordinates:}}
bounded
You can limit search to pages identified as being near some specified geographic coordinates. The coordinates can either be specified as a <lat>,<lon> pair, or by providing a page title from which to source the coordinates. A distance to limit the search to can be prepended if desired. Приклади:
- neartitle:"San Francisco"
- neartitle:"100km,San Francisco"
- nearcoord:37.776,-122.39
- nearcoord:42km,37.776,-122.39
boosted
You can alternatively increase the score of pages within a specified geographic area. The syntax is the same as bounded search, but with boost- prepended to the keyword. This effectively doubles the score for pages within the search range, giving a better chance for nearby search results to be near the top.
- boost-neartitle:"San Francisco"
- boost-neartitle:"100km,San Francisco"
- boost-nearcoord:37.776,-122.39
- boost-nearcoord:42km,37.776,-122.39
Пошук властивостей файлів
≥ 1.28 Gerrit change 311061 |
Since MediaWiki 1.28, CirrusSearch supports indexing and searching of properties of files in the File:
namespace. This includes:
- file media type
- MIME type
- size
- width & height
- resolution
- bit depth for files that support these
File:
namespace. It is recommended to include this namespace in a search or restrict the search to only this namespace when using these conditionals.filetype
Searching for file type allows to retrieve files according to their classification, such as office documents, videos, raster images, vector images, etc. The following types currently exist:
UNKNOWN
BITMAP
DRAWING
AUDIO
VIDEO
MULTIMEDIA
OFFICE
TEXT
EXECUTABLE
ARCHIVE
This list may be extended in the future. See also MEDIATYPE_*
constants in Defines.php
.
The syntax of the search is: filetype:{type}. Example:
filetype:video - looks for all videos
The filetype search is not case-sensitive.
filemime
Matches file MIME type. The syntax is:
filemime:{MIMEtype} - look for files of this MIME type
The argument can be quoted to specify exact match. Without quotes, partial matches to components of MIME type will be accepted too.
Приклади:
- filemime:"image/png" - look for files with MIME type exactly
image/png
- filemime:pdf - look for all PDF documents
- -filemime:pdf - skip all PDF documents (notably on Commons)
The MIME type search is not case-sensitive.
filesize
Search for file of given size, in kilobytes (kilobyte means 1024 bytes). The syntax is:
- filesize:{number} or filesize:>{number} - file with size at least given number
- filesize:<{number} - file with size no more than given number
- filesize:{number},{number} - file with size between given numbers
Приклади:
- filesize:>20 or filesize:20 - files 20KB and bigger
- filesize:<1024 - files smaller than 1MB
- filesize:100,500 - files with sizes between 100KB and 500KB
File measures
It is possible to search for specific file measures: width, height, resolution (which is defined as square root of height × width), and bit depth. Not all files may have these properties. The syntax is:
- {measure}:{number} - file with measure that equals to given number
- {measure}:>{number} - file with measure that is at least given number
- {measure}:<{number} - file with measure that is no more than given number
- {measure}:{number},{number} - file with measure that is between given numbers
Where measure
can be:
filew or filewidth - file width
fileh or fileheight - file height
fileres - file resolution (see above)
filebits - file bit depth
Приклади:
filew:>800 fileh:>600 - files that are at least 800×600 pixels in size
filebits:16 - files with 16-bit color depth
fileheight:100,500 - file between 100 and 500 pixels high
Wikibase-пошук
Розширення Wikibase визначає деякі ключові слова для пошуку, щоб полегшити пошук певних елементів Wikibase. Це корисно на Wikidata та інших сайтах Wikibase, зокрема для пошуку зображень із Структуровані дані на Вікісховище . Подробиці див. у Help:WikibaseCirrusSearch .
Результати пошуку в інших вікі-проектах («крос-вікі»)
There are two kinds of cross-wiki results that may be shown when searching on Wikipedia.
Cross-project search (also known as interwiki search, sister search, or sister projects search) shows additional results from other projects (Wiktionary, Wikisource, Wikiquote, etc.) shown to the side on the Wikipedia results page. Cross-project search is available on most Wikipedias with sister projects.
Cross-language search (see blog post) refers to additional results shown below the main results that are from a Wikipedia in a different language. Cross-language search uses a heavily modified and optimized version of a light-weight language detector called TextCat . Cross-language search is currently only available on a few Wikipedias (see TextCat link for details).
Explicit sort orders
In addition to the default relevance based sort, CirrusSearch can provide results using a few other explicit sort orders.
Specifying a sorting order other than relevance
will disable all search keywords that affect scoring, such as prefer-recent
or boost-templates
.
The keywords will still be parsed, but they will have no effect.
Sorting options are currently available from the MediaWiki API by providing the srsort
parameter.
Guidance:
Sorting options can be manually added to a search URL by adding &sort=order
, for example:
Valid sort orders include:
URL supplement | Description |
---|---|
&sort=incoming_links_asc
|
Lowest to highest number of incoming links. This is approximately from least to most popular. |
&sort=incoming_links_desc
|
Highest to lowest number of incoming links. This is approximately from most to least popular. |
&sort=last_edit_asc
|
From least recently to most recently edited |
&sort=last_edit_desc
|
From most to least recently edited |
&sort=create_timestamp_asc
|
From least to most recently created |
&sort=create_timestamp_desc
|
From most to least recently created |
&sort=just_match
|
A simple relevance sort based only on text matching |
&sort=relevance
|
A relevance sort taking into account many features of the document |
&sort=random
|
Randomized |
&sort=none
|
Unsorted, arbitrarily ordered lists. Preferred for large result sets. |
Інтерфейс для розширених параметрів
The AdvancedSearch extension adds an improved interface to the search page allowing the use of several options described above in a user-friendly manner. See here for the user manual.
Див. також
- Completion Suggester - the incremental search feature of CirrusSearch
- Wikimedia Search Platform/Search/Glossary — definitions, context, and links for terms related to search.
- See Довідка:Пошук for MWSearch, used by the many wikis that don't have a search extension.
Зовнішні посилання
- From Lucene, highly relevant documentation.
- Full specifications in the extension's browser tests Від 2017
- Extension:CirrusSearch/Profiles – sets of tunable parameters that influence various aspect of the indexing
- Wikimedia blog articles related to search
- WMF Global Search
Примітки й посилання
- ↑ Зверніть увагу, що підзаголовок сайту (tagline) не є частиною власне контенту. Щоб побачити, що на сторінці є вмістом, який можна шукати, додайте до URL ?action=cirrusdump.
- ↑ Stop words are rarely called for in CirrusSearch, except for when they are in certain kinds of phrases, as explained below.
- ↑ CirrusSearch parameters do not use a consistent way to handle these search terms.
- ↑ The same analyzer used to index the wikitext is also used to interpret the query.
- ↑ For example, common terms on this wiki, MediaWiki.org, are, redundantly, (searched):
- udp2log or udp2log2 (though the extra 2 will affect ranking)
- html2wt or wt2html
- log2ip or ip2log
There's test2wiki, wiki2xml, wiki2dict, apache2handler, apache2ctl, etc.
- ↑ CirrusSearch regex do not address the newline character directly, but a dot . will match a newline.
- ↑ A slow regex search cannot disable search, but can disable another's regex search, since there are only a limited number of regex searches allowed at a time.
- ↑ Prefix does not match on first-characters of fullpagenames, so you cannot search two namespaces at once just because they start with the same letters, such as both namespace and namespace talk in one query.
- ↑ For the formal definition see the Lucene grammar for regular expressions.
- ↑ Class RegExp, Lucene RegExp syntax
- ↑ To exclude the tabulation character as well, copy it and add it to the character set.