BpeTokenizer.CreateAsync メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
テキスト エンコードに使用する新しい Bpe トークナイザー オブジェクトを非同期的に作成します。
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer> CreateAsync(System.IO.Stream vocabStream, System.IO.Stream? mergesStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default, bool fuseUnknownTokens = false);static member CreateAsync : System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * string * string * string * bool -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.BpeTokenizer>Public Shared Function CreateAsync (vocabStream As Stream, mergesStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing, Optional fuseUnknownTokens As Boolean = false) As Task(Of BpeTokenizer)パラメーター
- vocabStream
- Stream
文字列キーとその ID のディクショナリを含む JSON ストリーム。
- mergesStream
- Stream
トークンのペア リストを含むストリーム。
- preTokenizer
- PreTokenizer
使用する事前トークナイザー。
- normalizer
- Normalizer
使用するノーマライザー。
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンを ID にマッピングするディクショナリ。
- unknownToken
- String
モデルで使用される不明なトークン。
- continuingSubwordPrefix
- String
単語の先頭を表さないサブワード単位にアタッチするプレフィックス。
- endOfWordSuffix
- String
単語の末尾を表すサブワード単位にアタッチするサフィックス。
- fuseUnknownTokens
- Boolean
複数の不明なトークンを許可するかどうかを示します。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。