CodeGenTokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) メソッド

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

指定されたボキャブから CodeGen トークナイザーを作成し、ストリームをマージします。

public static Microsoft.ML.Tokenizers.CodeGenTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.CodeGenTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As CodeGenTokenizer

パラメーター

vocabStream: Stream

ボキャブファイルを含むストリーム。

mergesStream: Stream

マージファイルを含むストリーム。

addPrefixSpace: Boolean

トークンの前にスペースを追加するかどうかを示します。

addBeginOfSentence: Boolean

エンコード中に文トークンの先頭を出力することを示します。

addEndOfSentence: Boolean

エンコード中に文の末尾トークンを出力することを示します。

返品

CodeGenTokenizer

CodeGen トークナイザーオブジェクト。

注釈

トークナイザーは、次で指定した構成に従って作成されます。 https://huggingface.co/Salesforce/codegen-350M-mono/raw/main/tokenizer.json. 同様のボキャブを提供し、モデルのトレーニングで使用されるファイルにファイルをマージすることが重要です。 vocab ファイルとマージファイルは、次のリンクからダウンロードできます。 https://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/vocab.json?download=truehttps://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/merges.txt?download=true トークナイザーを作成するときは、ボキャブラリストリームが信頼できるプロバイダーから提供されていることを確認します。

適用対象