BpeTokenizer.Create メソッド

定義

名前空間:

Microsoft.ML.Tokenizers

アセンブリ:

Microsoft.ML.Tokenizers.dll

パッケージ:

Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

オーバーロード

名前	説明
Create(Stream, Stream)	テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。
Create(String, String)	テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。
Create(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。
Create(String, String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)	テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。

Create(Stream, Stream)

ソース:

BPETokenizer.cs

テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream? mergesStream);

static member Create : System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream) As BpeTokenizer

パラメーター

vocabStream

Stream

文字列キーとその ID のディクショナリを含む JSON ストリーム。

mergesStream

Stream

トークンのペア リストを含むストリーム。

返品

BpeTokenizer

注釈

トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

Create(String, String)

ソース:

BPETokenizer.cs

テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(string vocabFile, string? mergesFile);

static member Create : string * string -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabFile As String, mergesFile As String) As BpeTokenizer

パラメーター

vocabFile

String

文字列キーのディクショナリとその ID を含む JSON ファイル パス。

mergesFile

String

トークンのペア リストを含むファイル パス。

返品

BpeTokenizer

注釈

トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。

Create(Stream, Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)

ソース:

BPETokenizer.cs

テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream? mergesStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);

static member Create : System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As BpeTokenizer

パラメーター

vocabStream

Stream

文字列キーとその ID のディクショナリを含む JSON ストリーム。

mergesStream

Stream

トークンのペア リストを含むストリーム。

preTokenizer

PreTokenizer

使用する事前トークナイザー。

normalizer

Normalizer

使用するノーマライザー。

specialTokens

IReadOnlyDictionary<String,Int32>

特殊なトークンを ID にマッピングするディクショナリ。

unknownToken

String

モデルで使用される不明なトークン。

continuingSubwordPrefix

String

単語の先頭を表さないサブワード単位にアタッチするプレフィックス。

endOfWordSuffix

String

単語の末尾を表すサブワード単位にアタッチするサフィックス。

fuseUnknownTokens

Boolean

複数の不明なトークンを許可するかどうかを示します。

返品

BpeTokenizer

注釈

トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

Create(String, String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, String, String, String, Boolean)

ソース:

BPETokenizer.cs

テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを作成します。

public static Microsoft.ML.Tokenizers.BpeTokenizer Create(string vocabFile, string? mergesFile, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);

static member Create : string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> Microsoft.ML.Tokenizers.BpeTokenizer

Public Shared Function Create (vocabFile As String, mergesFile As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As BpeTokenizer

パラメーター

vocabFile

String

文字列キーのディクショナリとその ID を含む JSON ファイル パス。

mergesFile

String

トークンのペア リストを含むファイル パス。

preTokenizer

PreTokenizer

使用する事前トークナイザー。

normalizer

Normalizer

使用するノーマライザー。

specialTokens

IReadOnlyDictionary<String,Int32>

特殊なトークンを ID にマッピングするディクショナリ。

unknownToken

String

モデルで使用される不明なトークン。

continuingSubwordPrefix

String

単語の先頭を表さないサブワード単位にアタッチするプレフィックス。

endOfWordSuffix

String

単語の末尾を表すサブワード単位にアタッチするサフィックス。

fuseUnknownTokens

Boolean

複数の不明なトークンを許可するかどうかを示します。

返品

BpeTokenizer

注釈

トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。