BertOptions クラス

定義

名前空間:

Microsoft.ML.Tokenizers

アセンブリ:

Microsoft.ML.Tokenizers.dll

パッケージ:

Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:

BertOptions.cs

Bert トークナイザーのオプション。

public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptions

type BertOptions = class
    inherit WordPieceOptions

Public NotInheritable Class BertOptions
Inherits WordPieceOptions

継承

Object

WordPieceOptions

BertOptions

コンストラクター

名前	説明
BertOptions()	Bert トークナイザーのオプション。

プロパティ

名前	説明
ApplyBasicTokenization	基本的なトークン化を適用するかどうかを示す値を取得または設定します。
ClassificationToken	使用する分類トークンを取得または設定します。
ContinuingSubwordPrefix	単語の最初の部分ではないサブワードに使用するプレフィックスを取得または設定します。 (継承元 WordPieceOptions)
IndividuallyTokenizeCjk	個別のトークンで CJK 文字をトークン化するかどうかを示す値を取得または設定します。
LowerCaseBeforeTokenization	トークン化の前に入力を小文字にするかどうかを示す値を取得または設定します。
MaskingToken	使用するマスク トークンを取得または設定します。
MaxInputCharsPerWord	1 つの単語について考慮する最大文字数を取得または設定します。 (継承元 WordPieceOptions)
Normalizer	必要に応じて、既定のノーマライザーをオーバーライドする Normalizer を取得または設定します。 (継承元 WordPieceOptions)
PaddingToken	使用する埋め込みトークンを取得または設定します。
PreTokenizer	必要に応じて、既定のノーマライザーをオーバーライドする PreTokenizer を取得または設定します。 (継承元 WordPieceOptions)
RemoveNonSpacingMarks	空白以外のマークを削除するかどうかを示す値を取得または設定します。
SeparatorToken	使用する区切り記号トークンを取得または設定します。
SpecialTokens	使用する特別なトークンを取得または設定します。 (継承元 WordPieceOptions)
SplitOnSpecialTokens	特別なトークンで分割するかどうかを示す値を取得または設定します。
UnknownToken	使用する不明なトークンを取得または設定します。 (継承元 WordPieceOptions)