Partilhar via

LuceneStandardTokenizer interface

  • Referência
Pacote:
@azure/search-documents

Quebra o texto ao seguir as regras de Segmentação de Texto Unicode. Este tokenizador é implementado com o Apache Lucene.

Propriedades

maxTokenLength

O comprimento máximo do token. A predefinição é 255. Os tokens com mais comprimento do que o comprimento máximo são divididos. O comprimento máximo do token que pode ser utilizado é de 300 carateres. Valor predefinido: 255.
name

O nome do tokenizer. Só tem de conter letras, dígitos, espaços, traços ou carateres de sublinhado, só pode começar e terminar com carateres alfanuméricos e está limitado a 128 carateres.
odatatype

Discriminador Polimórfico

Detalhes de Propriedade

maxTokenLength

O comprimento máximo do token. A predefinição é 255. Os tokens com mais comprimento do que o comprimento máximo são divididos. O comprimento máximo do token que pode ser utilizado é de 300 carateres. Valor predefinido: 255.

maxTokenLength?: number

Valor de Propriedade

number

name

O nome do tokenizer. Só tem de conter letras, dígitos, espaços, traços ou carateres de sublinhado, só pode começar e terminar com carateres alfanuméricos e está limitado a 128 carateres.

name: string

Valor de Propriedade

string

odatatype

Discriminador Polimórfico

odatatype: "#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"

Valor de Propriedade

"#Microsoft.Azure.Search.StandardTokenizer" | "#Microsoft.Azure.Search.StandardTokenizerV2"