MicrosoftLanguageTokenizer interface

パッケージ:

@azure/search-documents

言語固有のルールを使用してテキストを分割します。

Extends

BaseLexicalTokenizer

プロパティ

isSearchTokenizer	トークナイザーの使用方法を示す値。 検索トークナイザーとして使用する場合は true に設定し、インデックス作成トークナイザーとして使用する場合は false に設定します。 既定値は false です。
language	使用する言語。 既定値は英語です。
maxTokenLength	トークンの最大長。 最大長を超えるトークンは分割されます。 使用できるトークンの最大長は 300 文字です。 300 文字を超えるトークンは、最初に長さ 300 のトークンに分割され、その後、各トークンは最大トークン長セットに基づいて分割されます。 既定値は 255 です。
odatatype	ポリモーフィック識別子。このオブジェクトは、さまざまな型を指定します。

継承されたプロパティ

name	トークナイザーの名前。 文字、数字、スペース、ダッシュ、アンダースコアのみを含める必要があり、開始と終了は英数字のみで、128 文字に制限されます。

プロパティの詳細

isSearchTokenizer

トークナイザーの使用方法を示す値。 検索トークナイザーとして使用する場合は true に設定し、インデックス作成トークナイザーとして使用する場合は false に設定します。 既定値は false です。

isSearchTokenizer?: boolean

プロパティ値

boolean

language

使用する言語。 既定値は英語です。

language?: MicrosoftTokenizerLanguage

プロパティ値

MicrosoftTokenizerLanguage

maxTokenLength

トークンの最大長。 最大長を超えるトークンは分割されます。 使用できるトークンの最大長は 300 文字です。 300 文字を超えるトークンは、最初に長さ 300 のトークンに分割され、その後、各トークンは最大トークン長セットに基づいて分割されます。 既定値は 255 です。

maxTokenLength?: number

プロパティ値

number

odatatype

ポリモーフィック識別子。このオブジェクトは、さまざまな型を指定します。

odatatype: "#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

プロパティ値

"#Microsoft.Azure.Search.MicrosoftLanguageTokenizer"

継承されたプロパティの詳細

name

トークナイザーの名前。 文字、数字、スペース、ダッシュ、アンダースコアのみを含める必要があり、開始と終了は英数字のみで、128 文字に制限されます。

name: string

プロパティ値

string

BaseLexicalTokenizer.name から継承された