Поделиться через


LexicalTokenizerName Перечисление

Определяет имена всех создателей маркеров, поддерживаемых поисковой системой.

Наследование
builtins.str
LexicalTokenizerName
LexicalTokenizerName

Конструктор

LexicalTokenizerName(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

Поля

CLASSIC
EDGE_N_GRAM
KEYWORD
LETTER
LOWERCASE
MICROSOFT_LANGUAGE_STEMMING_TOKENIZER
MICROSOFT_LANGUAGE_TOKENIZER
N_GRAM
PATH_HIERARCHY
PATTERN
STANDARD
UAX_URL_EMAIL
WHITESPACE