Freigeben über


MicrosoftLanguageTokenizer.MaxTokenLength Eigenschaft

Definition

Die maximale Tokenlänge. Token, die die maximale Länge überschreiten, werden geteilt. Ein Token darf maximal 300 Zeichen lang sein. Token, die länger als 300 Zeichen sind, werden zunächst in Token mit der Länge 300 aufgeteilt, und dann wird jedes dieser Token basierend auf der maximalen Tokenlänge aufgeteilt. Der Standardwert ist 255.

public int? MaxTokenLength { get; set; }
member this.MaxTokenLength : Nullable<int> with get, set
Public Property MaxTokenLength As Nullable(Of Integer)

Eigenschaftswert

Gilt für: