Freigeben über


LuceneStandardTokenizer Klasse

Definition

Teilt Text gemäß den Regeln für Unicode-Textsegmentierung auf. Dieser Tokenizer wird mithilfe von Apache Lucene implementiert.

public class LuceneStandardTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizer
type LuceneStandardTokenizer = class
    inherit LexicalTokenizer
Public Class LuceneStandardTokenizer
Inherits LexicalTokenizer
Vererbung
LuceneStandardTokenizer

Konstruktoren

LuceneStandardTokenizer(String)

Initialisiert eine neue instance von LuceneStandardTokenizer.

Eigenschaften

MaxTokenLength

Die maximale Tokenlänge. Der Standardwert ist 255. Token, die die maximale Länge überschreiten, werden geteilt. Die maximale Tokenlänge, die verwendet werden kann, beträgt 300 Zeichen.

Name

Der Name des Tokenizers. Er darf nur Buchstaben, Ziffern, Leerzeichen, Bindestriche und Unterstriche enthalten. Er muss mit alphanumerischen Zeichen beginnen und enden und darf maximal 128 Zeichen lang sein.

(Geerbt von LexicalTokenizer)

Gilt für: