英語で読む

次の方法で共有


Bpe コンストラクター

定義

オーバーロード

Bpe()

トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。

Bpe(String, String, String, String, String)

文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

Bpe()

トークン化ボキャブラリを使用しない新しい Bpe モデル オブジェクトを構築します。 このコンストラクターは、トレーニング シナリオでのみ役立ちます。

C#
public Bpe ();

適用対象

ML.NET Preview
製品 バージョン
ML.NET Preview

Bpe(String, String, String, String, String)

文のトークン化とトークナイザーのトレーニングに使用する新しい Bpe モデル オブジェクトを構築します。

C#
public Bpe (string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

パラメーター

vocabFile
String

文字列キーのディクショナリとその ID を含む JSON ファイル パス。

mergesFile
String

トークンのペア リストを含むファイル パス。

unknownToken
String

モデルで使用される不明なトークン。

continuingSubwordPrefix
String

単語の先頭を表さないサブワード単位にアタッチするプレフィックス。

endOfWordSuffix
String

単語の末尾を表すサブワード単位にアタッチするサフィックス。

適用対象

ML.NET Preview
製品 バージョン
ML.NET Preview