LuceneStandardTokenizer interface

유니코드 텍스트 구분 규칙에 따라 텍스트를 구분합니다. 이 토큰화기는 Apache Lucene을 사용하여 구현됩니다.

속성

maxTokenLength	최대 토큰 길이입니다. 기본값은 255입니다. 최대 길이보다 긴 토큰은 분할됩니다. 사용할 수 있는 최대 토큰 길이는 300자입니다. 기본값: 255.
name	토큰라이저의 이름입니다. 문자, 숫자, 공백, 대시 또는 밑줄만 사용해야 하며 영숫자 문자로만 시작하고 끝낼 수 있습니다. 길이는 128자로 제한됩니다.
odatatype	다형 판별자

최대 토큰 길이입니다. 기본값은 255입니다. 최대 길이보다 긴 토큰은 분할됩니다. 사용할 수 있는 최대 토큰 길이는 300자입니다. 기본값: 255.

maxTokenLength?: number

number

토큰라이저의 이름입니다. 문자, 숫자, 공백, 대시 또는 밑줄만 사용해야 하며 영숫자 문자로만 시작하고 끝낼 수 있습니다. 길이는 128자로 제한됩니다.

name: string

string

다형 판별자

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"