英語で読む

次の方法で共有


Bpe コンストラクター

定義

オーバーロード

Bpe()

トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。

Bpe(String, String, String, String, String)

文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

Bpe()

トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。

public Bpe ();

適用対象

ML.NET Preview
製品 バージョン
ML.NET Preview

Bpe(String, String, String, String, String)

文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

パラメーター

vocabFile
String

文字列キーのディクショナリとその ID を含む JSON ファイル パス。

mergesFile
String

トークンのペア リストを含むファイル パス。

unknownToken
String

モデルで使用される不明なトークン。

continuingSubwordPrefix
String

単語の先頭を表さないサブワード単位にアタッチするプレフィックス。

endOfWordSuffix
String

単語の末尾を表すサブワード単位にアタッチするサフィックス。

適用対象

ML.NET Preview
製品 バージョン
ML.NET Preview