BertOptions 類別

定義

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

Bert 分詞器的選項。

public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptions

type BertOptions = class
    inherit WordPieceOptions

Public NotInheritable Class BertOptions
Inherits WordPieceOptions

名稱	Description
BertOptions()	Bert 分詞器的選項。

名稱	Description
ApplyBasicTokenization	取得或設定一個值，指示是否應用基本分詞化。
ClassificationToken	取得或設定分類令牌以使用。
ContinuingSubwordPrefix	取得或設定前綴用於非單字首部分的子詞。 (繼承來源 WordPieceOptions)
IndividuallyTokenizeCjk	會取得或設定一個值，指示是否將日韓漢字分成獨立的分子。
LowerCaseBeforeTokenization	取得或設定一個值，指示在分詞化前是否將輸入縮小。
MaskingToken	取得或設定遮蔽標記的使用權杖。
MaxInputCharsPerWord	取得或設定單一單字可考慮的最大字元數。 (繼承來源 WordPieceOptions)
Normalizer	如果需要，可以設定或設定 Normalizer 來覆寫預設正規化器。 (繼承來源 WordPieceOptions)
PaddingToken	取得或設定填充標記的使用權杖。
PreTokenizer	如果需要，可以設定或設定 PreTokenizer 來覆寫預設正規化器。 (繼承來源 WordPieceOptions)
RemoveNonSpacingMarks	取得或設定一個值，指示是否移除非間距標記。
SeparatorToken	取得或設定分隔符代幣使用。
SpecialTokens	取得或設定特殊代幣來使用。 (繼承來源 WordPieceOptions)
SplitOnSpecialTokens	會獲得或設定一個值，指示是否要在特殊標記上分拆。
UnknownToken	取得或設定未知標記以使用。 (繼承來源 WordPieceOptions)