Поделиться через


ClassicTokenizer interface

Токенизатор на основе грамматики, подходящий для обработки большинства европейских языковых документов. Этот токенизатор реализуется с помощью Apache Lucene.

Extends

Свойства

maxTokenLength

Максимальная длина маркера. Значение по умолчанию — 255. Маркеры длиннее, чем максимальная длина, разделены. Максимальная длина маркера, которую можно использовать, составляет 300 символов.

odatatype

Полиморфная дискриминация, указывающая различные типы этого объекта, может быть

Унаследованные свойства

name

Имя токенизатора. Он должен содержать только буквы, цифры, пробелы, дефисы или символы подчеркивания, может начинаться и заканчиваться буквенно-цифровыми символами и ограничен 128 символами.

Сведения о свойстве

maxTokenLength

Максимальная длина маркера. Значение по умолчанию — 255. Маркеры длиннее, чем максимальная длина, разделены. Максимальная длина маркера, которую можно использовать, составляет 300 символов.

maxTokenLength?: number

Значение свойства

number

odatatype

Полиморфная дискриминация, указывающая различные типы этого объекта, может быть

odatatype: "#Microsoft.Azure.Search.ClassicTokenizer"

Значение свойства

"#Microsoft.Azure.Search.ClassicTokenizer"

Сведения об унаследованном свойстве

name

Имя токенизатора. Он должен содержать только буквы, цифры, пробелы, дефисы или символы подчеркивания, может начинаться и заканчиваться буквенно-цифровыми символами и ограничен 128 символами.

name: string

Значение свойства

string

унаследован отBaseLexicalTokenizer.name