PostgreSQL 詞典

停用詞是非常常用、在幾乎每一個文檔中出現(xiàn)并且沒有任何區(qū)分度的詞。因此，在全文搜索的環(huán)境中它們可以被忽略。例如，每一段英語文本都包含a和the等次，因此把它們存儲在一個索引中是沒有用處的。但是，停用詞確實(shí)會影響在tsvector中的位置，這進(jìn)而會影響排名：

SELECT to_tsvector('english', 'in the list of stop words');
        to_tsvector
----------------------------
 'list':3 'stop':5 'word':6

缺失的位置 1、2、4 是因?yàn)橥Ｓ迷~。文檔的排名計(jì)算在使用和不使用停用詞的情況下是很不同的：

SELECT ts_rank_cd (to_tsvector('english', 'in the list of stop words'), to_tsquery('list & stop'));
 ts_rank_cd
------------
       0.05

SELECT ts_rank_cd (to_tsvector('english', 'list stop words'), to_tsquery('list & stop'));
 ts_rank_cd
------------
        0.1

如何對待停用詞是由指定詞典決定的。例如，ispell詞典首先正規(guī)化詞并且查看停用詞列表，而Snowball詞干分析器首先檢查停用詞的列表。這種不同行為的原因是一沖降低噪聲的嘗試。

simple詞典模板的操作是將輸入記號轉(zhuǎn)換為小寫形式并且根據(jù)一個停用詞文件檢查它。如果該記號在該文件中被找到，則返回一個空數(shù)組，導(dǎo)致該記號被丟棄。否則，該詞的小寫形式被返回作為正規(guī)化的詞位。作為一種選擇，該詞典可以被配置為將非停用詞報(bào)告為未識別，允許它們被傳遞給列表中的下一個詞典。

下面是一個使用simple模板的詞典定義的例子：

CREATE TEXT SEARCH DICTIONARY public.simple_dict (
    TEMPLATE = pg_catalog.simple,
    STOPWORDS = english
);

這里，english是一個停用詞文件的基本名稱。該文件的全名將是$SHAREDIR/tsearch_data/english.stop，其中$SHAREDIR表示PostgreSQL安裝的共享數(shù)據(jù)目錄，通常是/usr/local/share/postgresql（如果不確定，使用 pg_config --sharedir）。該文件格式是一個詞的列表，每行一個。空行和尾部的空格都被忽略，并且大寫也被折疊成小寫，但是沒有其他對該文件內(nèi)容的處理。

現(xiàn)在我們能夠測試我們的詞典：

SELECT ts_lexize('public.simple_dict', 'YeS');
 ts_lexize
-----------
 {yes}

SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------
 {}

如果沒有在停用詞文件中找到，我們也可以選擇返回NULL而不是小寫形式的詞。這種行為可以通過設(shè)置詞典的Accept參數(shù)為false來選擇。繼續(xù)該例子：

ALTER TEXT SEARCH DICTIONARY public.simple_dict ( Accept = false );

SELECT ts_lexize('public.simple_dict', 'YeS');
 ts_lexize
-----------


SELECT ts_lexize('public.simple_dict', 'The');
 ts_lexize
-----------
 {}

在使用默認(rèn)值Accept = true，只有把一個simple詞典放在詞典列表的尾部才有用，因?yàn)樗鼘⒉粫鬟f任何記號給后續(xù)的詞典。相反，Accept = false只有當(dāng)至少有一個后續(xù)詞典的情況下才有用。

這個詞典模板被用來創(chuàng)建用于同義詞替換的詞典。不支持短語（使用分類詞典模板（本文中第 12.6.4 節(jié)）可以支持）。一個同義詞詞典可以被用來解決語言學(xué)問題，例如，阻止一個英語詞干分析器詞典把詞“Paris”縮減成 “pari”。在同義詞詞典中有一行Paris paris并把它放在english_stem詞典之前就足夠了。例如：

SELECT * FROM ts_debug('english', 'Paris');
   alias   |   description   | token |  dictionaries  |  dictionary  | lexemes 
-----------+-----------------+-------+----------------+--------------+---------
 asciiword | Word, all ASCII | Paris | {english_stem} | english_stem | {pari}

CREATE TEXT SEARCH DICTIONARY my_synonym (
    TEMPLATE = synonym,
    SYNONYMS = my_synonyms
);

ALTER TEXT SEARCH CONFIGURATION english
    ALTER MAPPING FOR asciiword
    WITH my_synonym, english_stem;

SELECT * FROM ts_debug('english', 'Paris');
   alias   |   description   | token |       dictionaries        | dictionary | lexemes 
-----------+-----------------+-------+---------------------------+------------+---------
 asciiword | Word, all ASCII | Paris | {my_synonym,english_stem} | my_synonym | {paris}

synonym模板要求的唯一參數(shù)是SYNONYMS，它是其配置文件的基本名 — 上例中的my_synonyms。該文件的完整名稱將是$SHAREDIR/tsearch_data/my_synonyms.syn（其中$SHAREDIR表示 PostgreSQL安裝的共享數(shù)據(jù)目錄）。該文件格式是每行一個要被替換的詞，后面跟著它的同義詞，用空白分隔?？招泻徒Y(jié)尾的空格會被忽略。

synonym模板還有一個可選的參數(shù)CaseSensitive，其默認(rèn)值為false。當(dāng)CaseSensitive為false時，同義詞文件中的詞被折疊成小寫，這和輸入記號一樣。當(dāng)它為true時，詞和記號將不會被折疊成小寫，但是比較時就好像被折疊過一樣。

一個星號（*）可以被放置在配置文件中一個同義詞的末尾。這表示該同義詞是一個前綴。當(dāng)項(xiàng)被用在to_tsvector()中時，星號會被忽略；當(dāng)它被用在to_tsquery()中時，結(jié)果將是一個帶有前綴匹配標(biāo)記器（見第 12.3.2 節(jié)）的查詢項(xiàng)。例如，假設(shè)我們在$SHAREDIR/tsearch_data/synonym_sample.syn中有這些項(xiàng)：

postgres        pgsql
postgresql      pgsql
postgre pgsql
gogle   googl
indices index*

那么我們將得到這些結(jié)果：

mydb=# CREATE TEXT SEARCH DICTIONARY syn (template=synonym, synonyms='synonym_sample');
mydb=# SELECT ts_lexize('syn', 'indices');
 ts_lexize
-----------
 {index}
(1 row)

mydb=# CREATE TEXT SEARCH CONFIGURATION tst (copy=simple);
mydb=# ALTER TEXT SEARCH CONFIGURATION tst ALTER MAPPING FOR asciiword WITH syn;
mydb=# SELECT to_tsvector('tst', 'indices');
 to_tsvector
-------------
 'index':1
(1 row)

mydb=# SELECT to_tsquery('tst', 'indices');
 to_tsquery
------------
 'index':*
(1 row)

mydb=# SELECT 'indexes are very useful'::tsvector;
            tsvector             
---------------------------------
 'are' 'indexes' 'useful' 'very'
(1 row)

mydb=# SELECT 'indexes are very useful'::tsvector @@ to_tsquery('tst', 'indices');
 ?column?
----------
 t
(1 row)

一個分類詞典（有時被簡寫成TZ）是一個詞的集合，其中包括了詞與短語之間的聯(lián)系，即廣義詞（BT）、狹義詞（NT）、首選詞、非首選詞、相關(guān)詞等。

基本上一個分類詞典會用一個首選詞替換所有非首選詞，并且也可選擇地保留原始術(shù)語用于索引。PostgreSQL的分類詞典的當(dāng)前實(shí)現(xiàn)是同義詞詞典的一個擴(kuò)展，并增加了短語支持。一個分類詞典要求一個下列格式的配置文件：

# this is a comment
sample word(s) : indexed word(s)
more sample word(s) : more indexed word(s)
...

其中冒號（:）符號扮演了一個短語及其替換之間的定界符。

一個分類詞典使用一個子詞典（在詞典的配置中指定）在檢查短語匹配之前正規(guī)化輸入文本。只能選擇一個子詞典。如果子詞典無法識別一個詞，將報(bào)告一個錯誤。在這種情況下，你應(yīng)該移除該詞的使用或者讓子詞典學(xué)會這個詞。你可以在一個被索引詞的開頭放上一個星號（*）來跳過在其上應(yīng)用子詞典，但是所有采樣詞必須被子詞典知道。

如果有多個短語匹配輸入，則分類詞典選擇最長的那一個，并且使用最后的定義打破連結(jié)。

由子詞典識別的特定停用詞不能夠被指定；改用?標(biāo)記任何可以出現(xiàn)停用詞的地方。例如，假定根據(jù)子詞典a和the是停用詞：

? one ? two : swsw

匹配a one the two和the one a two；兩者都將被swsw替換。

由于一個分類詞典具有識別短語的能力，它必須記住它的狀態(tài)并與解析器交互。一個分類詞典使用這些任務(wù)來檢查它是否應(yīng)當(dāng)處理下一個詞或者停止累積。分類詞典必須被小心地配置。例如，如果分類詞典被分配只處理asciiword記號，則一個形如one 7的分類詞典定義將不會工作，因?yàn)橛浱栴愋?code class="literal">uint沒有被分配給該分類詞典。

CREATE TEXT SEARCH DICTIONARY thesaurus_simple (
    TEMPLATE = thesaurus,
    DictFile = mythesaurus,
    Dictionary = pg_catalog.english_stem
);

ALTER TEXT SEARCH CONFIGURATION russian
    ALTER MAPPING FOR asciiword, asciihword, hword_asciipart
    WITH thesaurus_simple;

supernovae stars : sn
crab nebulae : crab

CREATE TEXT SEARCH DICTIONARY thesaurus_astro (
    TEMPLATE = thesaurus,
    DictFile = thesaurus_astro,
    Dictionary = english_stem
);

ALTER TEXT SEARCH CONFIGURATION russian
    ALTER MAPPING FOR asciiword, asciihword, hword_asciipart
    WITH thesaurus_astro, english_stem;

SELECT plainto_tsquery('supernova star');
 plainto_tsquery
-----------------
 'sn'

SELECT to_tsvector('supernova star');
 to_tsvector
-------------
 'sn':1

SELECT to_tsquery('''supernova star''');
 to_tsquery
------------
 'sn'

supernovae stars : sn supernovae stars

SELECT plainto_tsquery('supernova star');
       plainto_tsquery
-----------------------------
 'sn' & 'supernova' & 'star'

Ispell詞典模板支持詞法詞典，它可以把一個詞的很多不同語言學(xué)的形式正規(guī)化成相同的詞位。例如，一個英語Ispell詞典可以匹配搜索詞bank的詞尾變化和詞形變化，例如banking、banked、 banks、banks'和bank's。

標(biāo)準(zhǔn)的PostgreSQL發(fā)布不包括任何Ispell配置文件。用于很多種語言的詞典可以從Ispell得到。此外，也支持一些更現(xiàn)代的詞典文件格式 — MySpell（OO < 2.0.1）和Hunspell（OO >= 2.0.2）。一個很大的詞典列表在OpenOffice Wiki上可以得到。

要創(chuàng)建一個Ispell詞典，執(zhí)行這三步：

這里，DictFile、AffFile和StopWords指定詞典、詞綴和停用詞文件的基礎(chǔ)名稱。停用詞文件的格式和前面解釋的simple詞典類型相同。其他文件的格式在這里沒有指定，但是也可以從上面提到的網(wǎng)站獲得。

Ispell 詞典通常識別一個有限集合的詞，這樣它們后面應(yīng)該跟著另一個更廣義的詞典；例如，一個 Snowball 詞典，它可以識別所有東西。

Ispell的.affix文件具有下面的結(jié)構(gòu)：

prefixes
flag *A:
    .           >   RE      # As in enter > reenter
suffixes
flag T:
    E           >   ST      # As in late > latest
    [^AEIOU]Y   >   -Y,IEST # As in dirty > dirtiest
    [AEIOU]Y    >   EST     # As in gray > grayest
    [^EY]       >   EST     # As in small > smallest

.dict文件具有下面的結(jié)構(gòu)：

lapse/ADGRS
lard/DGRS
large/PRTY
lark/MRS

.dict文件的格式是：

basic_form/affix_class_name

在.affix文件中，每一個詞綴標(biāo)志以下面的格式描述：

condition > [-stripping_letters,] adding_affix

這里的條件具有和正則表達(dá)式相似的格式。它可以使用分組[...]和[^...]。例如，[AEIOU]Y表示詞的最后一個字母是"y"并且倒數(shù)第二個字母是"a"、"e"、 "i"、"o"或者"u"。[^EY]表示最后一個字母既不是"e"也不是"y"。

Ispell 詞典支持劃分復(fù)合詞，這是一個有用的特性。注意詞綴文件應(yīng)該用compoundwords controlled語句指定一個特殊標(biāo)志，它標(biāo)記可以參與到復(fù)合格式中的詞典詞：

compoundwords  controlled z

下面是挪威語的一些例子：

SELECT ts_lexize('norwegian_ispell', 'overbuljongterningpakkmesterassistent');
   {over,buljong,terning,pakk,mester,assistent}
SELECT ts_lexize('norwegian_ispell', 'sjokoladefabrikk');
   {sjokoladefabrikk,sjokolade,fabrikk}

MySpell格式是Hunspell格式的一個子集。Hunspell的.affix文件具有下面的結(jié)構(gòu)：

PFX A Y 1
PFX A   0     re         .
SFX T N 4
SFX T   0     st         e
SFX T   y     iest       [^aeiou]y
SFX T   0     est        [aeiou]y
SFX T   0     est        [^ey]

一個詞綴類的第一行是頭部。頭部后面列出了詞綴規(guī)則的域：

.dict文件看起來和Ispell的.dict文件相似：

larder/M
lardy/RT
large/RSPMYT
largehearted

Snowball詞典模板基于 Martin Porter 的一個項(xiàng)目，他是流行的英語 Porter 詞干分析算法的發(fā)明者。Snowball 現(xiàn)在對許多語言提供詞干分析算法（詳見Snowball 站點(diǎn)）。每一個算法懂得按照其語言中的拼寫，如何縮減詞的常見變體形式為一個基礎(chǔ)或詞干。一個 Snowball 詞典要求一個language參數(shù)來標(biāo)識要用哪種詞干分析器，并且可以選擇地指定一個stopword文件名來給出一個要被消除的詞列表（PostgreSQL的標(biāo)準(zhǔn)停用詞列表也是由 Snowball 項(xiàng)目提供的）。例如，有一個內(nèi)建的定義等效于

CREATE TEXT SEARCH DICTIONARY english_stem (
    TEMPLATE = snowball,
    Language = english,
    StopWords = english
);

停用詞文件格式和已經(jīng)解釋的一樣。

一個Snowball詞典識別所有的東西，不管它能不能簡化該詞，因此它應(yīng)當(dāng)被放置在詞典列表的最后。把它放在任何其他詞典前面是沒有用處的，因?yàn)橐粋€記號永遠(yuǎn)不會穿過它而進(jìn)入到下一個詞典。