Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Die Erweiterung lakebase_tokenizer fügt der PostgreSQL-Volltextsuche in Lakebase konfigurierbare Tokenisierung hinzu, einschließlich vollständiger Textverarbeitung und morphologischer Analyse für chinesischen, japanischen und koreanischen (CJK)-Text. Textsuchkonfigurationen, die mit der Erweiterung gebaut wurden, arbeiten mit to_tsvector, dem @@ Operator, Rangfunktionen und GIN-Indexen. Du kannst auch generierte tsvector Werte für lakebase_text das BM25-Ranking verwenden.
Die Erweiterung stellt die und tokenizer_morph Vorlagen tokenizer_wholeword über die Standard-Textsuchwörterbuchoberfläche von PostgreSQL bereit. Verwendung tokenizer_wholeword für die vollständige Textverarbeitung, einschließlich Normalisierung, Stoppwörtern, Synonymen und englischem Stemming. Verwendung tokenizer_morph für die morphologische Analyse des CJK.
Installieren
Installiere die Erweiterung in deiner Datenbank. Die Beispiele auf dieser Seite verwenden ein dediziertes Schema, um die Erweiterungsobjekte leicht zu identifizieren:
CREATE SCHEMA IF NOT EXISTS tokenizer_ext;
CREATE EXTENSION IF NOT EXISTS lakebase_tokenizer WITH SCHEMA tokenizer_ext;
Die Verlängerung ist verlegbar. Du kannst es bei der Installation durch ein anderes Schema ersetzen tokenizer_ext .
Erweiterung aktualisieren
Eine neue Lakebase Search-Version kann Funktionen, Korrekturen und Leistungsverbesserungen hinzufügen. PostgreSQL aktualisiert die installierte Erweiterungsversion nicht automatisch. Überprüfen Sie die installierten und aktuellsten verfügbaren Versionen:
SELECT installed_version, default_version
FROM pg_available_extensions
WHERE name = 'lakebase_tokenizer';
Aktualisieren Sie die Erweiterung auf die aktuellste verfügbare Version:
ALTER EXTENSION lakebase_tokenizer UPDATE;
ALTER EXTENSION regeneriert keine gespeicherten tsvector Werte und stellt keine abhängigen GIN oder lakebase_bm25 Indizes wieder auf. Wenn ein Update die Tokenisierungsausgabe ändert, regeneriere wiederhergestellte Werte tsvector und folge den Release Notes für die erforderliche Indexpflege.
Ein Upgrade von 0.1.x auf 0.2.0 ändert nichts an der Tokenisierungsausgabe. Version 0.2.0 fügt die tokenizer_morph Vorlage und die integrierten CJK-Konfigurationen hinzu und lässt deine bestehenden Konfigurationen unverändert, sodass du keine Werte neu generieren tsvector oder Indizes neu erstellen musst.
Schnellstart
Wählen Sie einen Weg basierend auf der Sprache Ihres Textes:
- Für Englisch und andere frei abgegrenzte Sprachen erstelle ein Wörterbuch aus der Vorlage
tokenizer_wholeword. - Für chinesischen, japanischen oder koreanischen Text verwenden Sie eine eingebaute Konfiguration. Du musst kein Wörterbuch erstellen.
Ganzworttext
Das folgende Beispiel erstellt ein Wörterbuch aus der Vorlage tokenizer_wholeword und mappt dann gängige PostgreSQL-Token-Typen in einer Textsuchkonfiguration darauf:
CREATE TEXT SEARCH DICTIONARY documents_dict (
TEMPLATE = tokenizer_ext.tokenizer_wholeword,
Lowercase = 'true',
StripAccents = 'true',
Stemmer = 'english'
);
CREATE TEXT SEARCH CONFIGURATION documents_cfg (COPY = pg_catalog.simple);
ALTER TEXT SEARCH CONFIGURATION documents_cfg
ALTER MAPPING FOR asciiword, word, numword, hword_numpart, hword_part, hword_asciipart
WITH documents_dict;
Verwenden Sie die Konfiguration, um einen tsvector, erstellen Sie einen GIN-Index und führen Sie Volltextabfragen aus:
CREATE TABLE documents (
id BIGSERIAL PRIMARY KEY,
body TEXT NOT NULL,
search_vector TSVECTOR GENERATED ALWAYS AS (
to_tsvector('documents_cfg', body)
) STORED
);
INSERT INTO documents (body) VALUES
('Cats are running near the café.'),
('A dog is sleeping in the house.');
CREATE INDEX documents_search_idx ON documents USING gin (search_vector);
SELECT id, body
FROM documents
WHERE search_vector @@ plainto_tsquery('documents_cfg', 'running café');
Verwenden Sie dieselbe Textsuchkonfiguration für Dokumente und Abfragen, sodass beide Seiten dieselbe Tokenisierungsstrategie und dieselbe Optionen anwenden.
CJK-Text
Die Installation der Erweiterung erzeugt die tokenizer_chinese, tokenizer_japanese, und Textsuchkonfigurationen tokenizer_korean . Verwenden Sie eine davon direkt, um einen tsvectorzu erstellen, erstellen Sie einen GIN-Index und führen Sie Volltextabfragen aus:
Chinese
CREATE TABLE chinese_documents (
id BIGSERIAL PRIMARY KEY,
body TEXT NOT NULL,
search_vector TSVECTOR GENERATED ALWAYS AS (
to_tsvector('tokenizer_ext.tokenizer_chinese', body)
) STORED
);
INSERT INTO chinese_documents (body) VALUES
('现代分布式文件系统架构');
CREATE INDEX chinese_idx ON chinese_documents USING gin (search_vector);
-- The built-in Chinese configuration uses mixed mode, so use plainto_tsquery instead of to_tsquery.
SELECT id, body
FROM chinese_documents
WHERE search_vector @@ plainto_tsquery('tokenizer_ext.tokenizer_chinese', '现代分布式');
Japanese
CREATE TABLE japanese_documents (
id BIGSERIAL PRIMARY KEY,
body TEXT NOT NULL,
search_vector TSVECTOR GENERATED ALWAYS AS (
to_tsvector('tokenizer_ext.tokenizer_japanese', body)
) STORED
);
INSERT INTO japanese_documents (body) VALUES
('関西国際空港へのアクセス');
CREATE INDEX japanese_idx ON japanese_documents USING gin (search_vector);
SELECT id, body
FROM japanese_documents
WHERE search_vector @@ to_tsquery('tokenizer_ext.tokenizer_japanese', '関西国際空港');
Korean
CREATE TABLE korean_documents (
id BIGSERIAL PRIMARY KEY,
body TEXT NOT NULL,
search_vector TSVECTOR GENERATED ALWAYS AS (
to_tsvector('tokenizer_ext.tokenizer_korean', body)
) STORED
);
INSERT INTO korean_documents (body) VALUES
('선생님께서 도서관에 갑니다');
CREATE INDEX korean_idx ON korean_documents USING gin (search_vector);
SELECT id, body
FROM korean_documents
WHERE search_vector @@ to_tsquery('tokenizer_ext.tokenizer_korean', '선생님께서');
Vorlage: tokenizer_wholeword
So funktioniert es
Für jedes Token, das vom Textsuchparser von PostgreSQL an das Wörterbuch übergeben wird, tokenizer_wholeword werden folgende Operationen angewendet:
-
Lowercase: Konvertiere das Token in Kleinbuchstaben. -
Normalize: Anwenden Sie Unicode-Normalisierung. -
StripAccents: Entfernen Sie Akzente. -
EnglishPossessive: Entfernen Sie ein englisches possessives Suffix, wenn mindestens ein Zeichen übrig bleibt. -
Stopwords: Kein Lexem ausgeben und die Verarbeitung stoppen, wenn das Token mit einem konfigurierten Stoppwort übereinstimmt. Das Token wird aus dem erzeugtentsvectorToken weggelassen. -
Synonyms: Senden Sie den konfigurierten Ersatz aus und stoppen Sie die Verarbeitung, wenn das Token mit einem Synonym übereinstimmt. -
Stemmer: Wenn kein Synonym gematcht und Stemming aktiviert ist, wenden Sie den englischen stemmer an.
Fügen Sie Stoppwörter und Synonyme hinzu
Die Vorlage tokenizer_wholeword kann benutzerdefinierte Stopwörter und Synonyme aus von Erweiterungen verwalteten SQL-Tabellen lakebase_tokenizer_stopwords laden und lakebase_tokenizer_synonyms. Die Spalte name gruppiert die Zeilen zu einer Menge, die du mit der Option " Stopwords oder Synonyms " auswählen kannst.
INSERT INTO tokenizer_ext.lakebase_tokenizer_stopwords (name, word) VALUES
('app_stopwords', 'the'),
('app_stopwords', 'and'),
('app_stopwords', 'or');
INSERT INTO tokenizer_ext.lakebase_tokenizer_synonyms (name, word, synonym) VALUES
('app_synonyms', 'usa', 'united_states'),
('app_synonyms', 'uk', 'united_kingdom');
Beziehen Sie sich auf die Mengen, wenn Sie ein tokenizer_wholeword Wörterbuch erstellen oder verändern:
ALTER TEXT SEARCH DICTIONARY documents_dict (
Stopwords = 'app_stopwords',
Synonyms = 'app_synonyms'
);
Die Erweiterung vergleicht Verschlusswörter und Quellwörter von Synonymen mit jedem Token nach Anwendung Lowercasevon , Normalize, StripAccents, und EnglishPossessive, jedoch vor der Anwendung Stemmer. Katalogeinträge werden nicht automatisch umgewandelt, daher werden sie in der exakt von den aktivierten Optionen erzeugten Form gespeichert:
-
Lowercase = 'true'Mit , verwenden Sie Kleinbuchstaben. Mit , muss dieLowercase = 'false'Großschreibung mit dem Token übereinstimmen. - Mit aktiviert speichern Sie
NormalizeEinträge im ausgewählten Unicode-Normalisierungsformular. - Mit , speichere
StripAccents = 'true'die akzentgestreifte Form. Zum Beispiel speicherncafe, um zu übereinstimmencafé. - Lagern Sie die Form vor dem Stimmen auf. Zum Beispiel entspricht
runningmitStemmer = 'english', einrunEintrag nicht mit . Fügen Sie diesen Token zum Filter hinzurunningoder ersetzen Sie es.
Set-Namen können bis zu 256 Bytes enthalten. Wörter und Synonyme können bis zu 1024 Bytes umfassen. Jedes benannte Stopwort oder Synonymset kann bis zu 100.000 Zeilen enthalten.
Ein Synonymersatz wird genau so emittiert, wie gespeichert, und wird vom Stemmer nicht verarbeitet. Synonyme unterstützen einen Ersatz für jedes Quellwort. Um einen Mehrwortersatz als ein Lexem darzustellen, verwendet man einen Separator wie einen Unterstrich, wie in united_states.
Nach der Änderung einer Menge muss der Besitzer jedes Wörterbuchs, das auf die Menge verweist, ein no-op ALTER TEXT SEARCH DICTIONARY ausführen, um ein Nachladen zu erzwingen:
ALTER TEXT SEARCH DICTIONARY documents_dict (dummy);
Die Option dummy existiert nicht auf tokenizer_wholeword. Das Weglassen eines Wertes bittet PostgreSQL, diese nicht vorhandene Option zu entfernen, was den Cache ungültig macht, ohne dass eine der konfigurierten Wörterbuchoptionen geändert wird.
Nach dem Neuladen des Wörterbuchs generieren Sie die gespeicherten tsvector Werte, indem Sie die Quellzeilen neu schreiben:
UPDATE documents SET body = body;
Rollen und Zugang
Verwenden Sie zwei Rollen, um den Anwendungszugriff von der Tokenizer-Verwaltung zu trennen:
-
app_roleverwendet bestehende Wörterbücher. Es mussUSAGEdie relevanten Schemata undSELECTdie Erweiterungskatalogtabellen enthalten, aber es muss nicht die Wörterbücher besitzen. -
tokenizer_adminverwaltet Stop-Word- und Synonym-Sets, erstellt und besitzt Wörterbücher und Textsuchkonfigurationen und führt nach Änderung einer Menge den Reload-Befehl aus.
Gewähren Sie Zugriff auf das Erweiterungsschema und die Katalogtabellen:
GRANT USAGE ON SCHEMA tokenizer_ext TO app_role, tokenizer_admin;
GRANT SELECT ON
tokenizer_ext.lakebase_tokenizer_stopwords,
tokenizer_ext.lakebase_tokenizer_synonyms
TO app_role;
GRANT SELECT, INSERT, UPDATE, DELETE ON
tokenizer_ext.lakebase_tokenizer_stopwords,
tokenizer_ext.lakebase_tokenizer_synonyms
TO tokenizer_admin;
tokenizer_admin auch benötigt CREATE das Schema, in dem Wörterbücher und Textsuchkonfigurationen gespeichert sind. Erstelle diese Objekte als tokenizer_admin, oder übertrage ihr Eigentum daran. Schreibzugriff auf die Katalogtabellen gewährt keinen Eigentum an bestehenden Wörterbüchern.
Options
Spezifizieren Sie tokenizer_wholeword Optionen in CREATE TEXT SEARCH DICTIONARY oder ALTER TEXT SEARCH DICTIONARY. Die Optionsnamen sind nicht groß- und kleinschreibungsabhängig.
| Auswahl | Typ | Vorgabe | Description |
|---|---|---|---|
Lowercase |
boolean | true |
Wandelt Token in Kleinbuchstaben um, bevor weitere Operationen angewendet werden.
Stemmer = 'english' erfordert Lowercase = 'true'. |
Normalize |
NFC, NFD, NFKC, NFKD oder none |
none |
Verwendet das ausgewählte Unicode-Normalisierungsformular. Dies kanonisiert die Darstellung, entfernt jedoch keine Charaktere. Zum Beispiel NFC macht präkomponiert é und e gefolgt von einem kombinierten akuten Akzentäquivalent. |
EnglishPossessive |
boolean | true |
Entfernt ein nachlaufendes 's, ’s, oder 's wenn mindestens ein Zeichen vor dem Suffix steht. Ein eigenständiges Suffix bleibt unverändert. |
StripAccents |
boolean | false |
Wendet NFKD-Normalisierung an und entfernt kombinierte Markierungen.
café wird beispielsweise zu cafe. Wenn diese Option aktiviert ist, lassen Sie weg, Normalize da der NFKD-Schritt jede separate Unicode-Normalisierung überflüssig macht. |
Stopwords |
Setname | Nichts | Verwendet die benannte Menge aus tokenizer_ext.lakebase_tokenizer_stopwords. |
Synonyms |
Setname | Nichts | Verwendet die benannte Menge von Eins-zu-eins-Ersetzungen aus tokenizer_ext.lakebase_tokenizer_synonyms. |
Stemmer |
english |
Nichts | Verwendet den mitgelieferten englischen Stemmer Snowball 3.1.0. Verzichte auf diese Option, um das Stimmen zu deaktivieren. Der Stemmer enthält keine Stop-Word-Liste. |
Katalogtabellen
| Tabelle | Columns | Description |
|---|---|---|
lakebase_tokenizer_stopwords |
name text, word text |
Geschäfte mit Namen Stop-Word-Sets für tokenizer_wholeword. Der Primärschlüssel ist (name, word). |
lakebase_tokenizer_synonyms |
name text, word text, synonym text |
Geschäfte benannten Einzelersatz für tokenizer_wholeword. Der Primärschlüssel ist (name, word). |
Vorlage: tokenizer_morph
Die Vorlage tokenizer_morph bietet Tokenisierungsunterstützung für chinesischen, japanischen und koreanischen Text in der PostgreSQL-Volltextsuche. Verwenden Sie eine integrierte Textsuchkonfiguration oder definieren Sie eine benutzerdefinierte, um die Begriffgenerierung zu steuern.
So funktioniert es
tokenizer_morph verwendet den Lindera-Analyzer mit beigelegten Wörterbüchern: Jieba für Chinesisch, IPADIC für Japanisch und MeCab KoDic für Koreanisch.
Für koreanische Parser-Token tokenizer_morph ersetzt ㆍ First (U+318D) durch eine Token-Grenze.
Für jedes Token, das vom Textsuchparser von PostgreSQL an das Wörterbuch übergeben wird, tokenizer_morph werden folgende Operationen folgendermaßen angewendet:
-
Normalize: Wende die Unicode-Normalisierung auf das Parser-Token an. -
Language: Segmentieren Sie das Parser-Token mit dem ausgewählten Sprachanalysator. - Symbolfilter: Verwerfen Sie Segmente, die keine Buchstaben oder Ziffern enthalten.
- Sprachspezifische Analyse: Wandeln Sie jedes verbleibende Segment in null oder mehr Terme um, wie unten beschrieben.
-
Lowercase: Jedes Term in Kleinbuchstaben umwandeln. -
Stemmer: Wenn aktiviert, Stammbegriffe, die vollständig aus ASCII-Buchstaben bestehen, mit dem beigefügten englischen stemmer. Dieser Schritt verhindert keine Amtszeiten von CJK.
Der sprachspezifische Analyseschritt wendet folgende Regeln an:
Chinesisch
- Unterworterweiterung: Im Modus
mixedfügen Sie die zwei- und drei-Zeichen-Begriffe hinzu, die das beigefügte Wörterbuch enthält.
Japanisch
- Wortart-Filterung: Verwerfen erkannter Teilchen, Hilfsverben, Konjunktionen, Füller, nonverbale Laute, nicht-alphabetische Symbole und markierte
その他,間投Segmente . - Basisform-Umwandlung: Verwenden Sie die Wörterbuchbasisform jedes verbleibenden anerkannten Segments, wenn verfügbar. Ansonsten behalte seine Oberflächenform.
- Stop-Word-Filterung: Verwerfen Sie einen Begriff, der mit der eingebauten Liste gängiger japanischer Funktionswörter übereinstimmt.
- Katakana-Stammung: Entfernen Sie eine Nachfolge
ーaus einem Term von mindestens vier Zeichen, deren Zeichen alle im Katakana-Block liegen (U+30A0 bis U+30FF).
Koreanisch
- Zerlegung: In
discardundmixedModi wird ein erkanntes Verbindungs-, flektiertes oder voranalysiertes Segment gespalten, wenn das Wörterbuch seine Komponenten bereitstellt.discardsetzt die Komponenten anstelle des vollständigen Terms undmixedbeide ein. - Wortart-Filterung: Filtern werden auf den vollständigen Term und auf jede Komponente unabhängig angewendet. Lasse Begriffe weg, die als Teilchen, Endungen, Affixe, Adverbien, Determinanten, Interjektionen, Zeichensetzungen, Symbole oder unanalysierbare Formen markiert sind.
- Hangul-Lese-Umwandlung: Verwenden Sie die Hangul-Lesung des Wörterbuchs für einen erhaltenen vollständigen Term, sofern verfügbar. Die Komponenten behalten ihre Wörterbuchform.
Der Textsuch-Parser von PostgreSQL teilt Text bei Weißraum und Zeichensetzung auf, bevor er aufgerufen tokenizer_morphwird. Jeder Parser-Token kann bis zu 2046 Bytes enthalten, und längere Token werden mit einem NOTICE übersprungen. Die meisten chinesischen, japanischen und koreanischen Zeichen verwenden 3 Bytes in UTF-8, sodass eine Reihe von mehr als 682 dieser Zeichen ohne Leerraum oder Zeichensetzung im to_tsvector Ergebnis ausgelassen wird.
Unterstützte Sprachen und Modi
Die verfügbaren Modi hängen von der Sprache ab. Jedes Beispiel zeigt Quelltext → emittierten Begriffen:
| Sprache | Modus | Behavior | Example |
|---|---|---|---|
| Chinese | none |
Gibt Wörter aus der Standardsegmentierung aus, ohne kürzere Suchbegriffe hinzuzufügen. |
现代分布式文件系统架构 → 现代, 分布式文件系统, 架构 |
| Chinese | mixed |
Vermeidet Wörter aus der Standardsegmentierung und fügt kürzere Suchbegriffe aus längeren Wörtern hinzu. |
现代分布式文件系统架构→ 现代, 分布式文件系统, 分布, , 布式分布式, , 文件系统, ,架构 |
| Japanese | none |
Bevorzugt längere Wörterbuchzusammensetzungen. |
関西国際空港へのアクセス → 関西国際空港, アクセス |
| Japanese | discard |
Erzeugt feinkörnigere Terme für einige lange Verbindungen, ohne gleichzeitig ihre volle Form zu behalten. |
関西国際空港へのアクセス → 関西, 国際, 空港, アクセス |
| Korean | none |
Behält zusammengesetzte und flektierte Wörterbucheinträge als ganzheitliche Begriffe. |
한국어 형태소 분석 → 한국어, 형태소, 분석 |
| Korean | discard |
Wenn eine zusammengesetzte oder flektierte Form gespalten werden kann, emittiert sie ihre Teile statt des vollständigen Terms. |
한국어 형태소 분석 → 한국, 어, 형태, 소, 분석 |
| Korean | mixed |
Wenn eine zusammengesetzte oder flektierte Form gespalten werden kann, werden sowohl der vollständige Term als auch seine Teile ausgegeben. |
한국어 형태소 분석 → 한국어, 한국, , 어, 형태소, 형태, 소, 분석 |
Im Modus mixed fragen Sie mit plainto_tsqueryab. Wenn ein Abfragewort mehrere Lexeme erzeugt, to_tsquery, websearch_to_tsquery, und phraseto_tsquery verbindet sie mit dem Operator <-> , was benachbarte Positionen erfordert.
mixed Modus fügt zusätzliche Positionen für die zusätzlichen Terme ein, sodass diese Phrasenbedingungen erwartete Übereinstimmungen übersehen können. Für positionsbasierte Abfragen definieren Sie eine benutzerdefinierte Konfiguration mit none oder discard Modus.
Nutzen Sie die eingebauten Konfigurationen
Die Installation der Erweiterung erzeugt diese Textsuchkonfigurationen:
| Configuration | Wörterbuch | Sprache | Modus |
|---|---|---|---|
tokenizer_chinese |
tokenizer_chinese_dict |
Chinese | mixed |
tokenizer_japanese |
tokenizer_japanese_dict |
Japanese | discard |
tokenizer_korean |
tokenizer_korean_dict |
Korean | discard |
Alle drei Wörterbücher setzen Stemmer = 'english' und verwenden standardmäßig und Normalize = 'NFKC'Lowercase = 'true'.
Für End-to-End-Beispiele, die diese Konfigurationen verwenden, siehe CJK-Text.
Definieren Sie eine benutzerdefinierte Konfiguration
Um einen anderen Modus zu wählen oder die Standardoptionen zu ändern, erstellen Sie ein Wörterbuch aus der Vorlage tokenizer_morph und eine Textsuchkonfiguration, die PostgreSQL-Token-Typen darauf zuordnet, wie unten gezeigt. Dieses Beispiel verwendet den chinesischen none Modus für Phrasenanfragen:
CREATE TEXT SEARCH DICTIONARY chinese_none_dict (
TEMPLATE = tokenizer_ext.tokenizer_morph,
Language = 'chinese',
Mode = 'none',
Stemmer = 'english'
);
CREATE TEXT SEARCH CONFIGURATION chinese_none_cfg (COPY = pg_catalog.simple);
ALTER TEXT SEARCH CONFIGURATION chinese_none_cfg
ALTER MAPPING FOR asciiword, word, numword, hword_asciipart, hword_part, hword_numpart
WITH chinese_none_dict;
SELECT to_tsvector('chinese_none_cfg', '现代分布式文件系统架构')
@@ phraseto_tsquery('chinese_none_cfg', '分布式文件系统 架构');
Options
Spezifizieren Sie tokenizer_morph Optionen in CREATE TEXT SEARCH DICTIONARY oder ALTER TEXT SEARCH DICTIONARY. Die Optionsnamen sind nicht groß- und kleinschreibungsabhängig.
| Auswahl | Typ | Vorgabe | Description |
|---|---|---|---|
Language |
chinese, japanese oder korean |
Required | Wählt den sprachspezifischen Analyzer aus. |
Mode |
none, discard oder mixed |
Required | Kontrolliert die Ausgabe von zusammengesetzten und Unterwörtern. Unterstützte Modi hängen ab von Language: none oder mixed für Chinesisch, none oder discard für Japanisch, und none, discard, oder mixed für Koreanisch. |
Normalize |
NFC, NFKC oder none |
NFKC |
Normalisiert den Text vor der Segmentierung.
NFC bewahrt Kompatibilitätsunterschiede. Zum Beispiel wird Vollbreite ABC mit Kleinbuchstaben auf abc verkleinert, anstatt in umgewandelt zu abcwerden, sodass es nicht gestemmt ist. |
Lowercase |
boolean | true |
Konvertierer emittierten Lexeme in Kleinbuchstaben.
Stemmer = 'english' erfordert Lowercase = 'true'. |
Stemmer |
english |
Nichts | Nur Stämme, Lexeme bestehen vollständig aus ASCII-Buchstaben. Lass diese Option weg, um englische Stem zu deaktivieren. |
Nutze das BM25-Ranking mit lakebase_text
Textsuchkonfigurationen, die mit lakebase_tokenizer erstellt wurden, erzeugen Standard-PostgreSQL-Werte tsvector , die mit kompatibel lakebase_textsind. Um die Relevanzrangordnung von BM25 und die Top-K-Abfrage zu verwenden, erstellen Sie einen Index lakebase_bm25 in derselben tsvector Spalte. Für Installation, Indexerstellung und Abfragesyntax siehe lakebase_text.