你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

MicrosoftLanguageTokenizer 类

定义

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

使用特定于语言的规则划分文本。

public class MicrosoftLanguageTokenizer : Azure.Search.Documents.Indexes.Models.LexicalTokenizer

type MicrosoftLanguageTokenizer = class
    inherit LexicalTokenizer

Public Class MicrosoftLanguageTokenizer
Inherits LexicalTokenizer

初始化 MicrosoftLanguageTokenizer 的新实例。

IsSearchTokenizer	一个指示如何使用 tokenizer 的值。如果用作搜索 tokenizer，则设置为 true;如果用作索引标记器，则设置为 false。默认值为 false。
Language	要使用的语言。默认值为英语。
MaxTokenLength	最大令牌长度。超过最大长度的标记将被拆分。可以使用的最大标记长度为 300 个字符。长度超过 300 个字符的令牌首先拆分为长度为 300 的令牌，然后根据设置的最大令牌长度拆分每个令牌。默认值为 255。
Name	tokenizer 的名称。它必须仅包含字母、数字、空格、短划线或下划线，只能以字母数字字符开头和结尾，且最多包含 128 个字符。 (继承自 LexicalTokenizer)