CodeGenTokenizer.GetIndexByTokenCount メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。 |
| GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。 |
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。
public int GetIndexByTokenCount(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCount : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCount (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integerパラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- maxTokenCount
- Int32
エンコード容量を制限する最大トークン数。
- addPrefixSpace
- Boolean
テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。
- addBeginningOfSentence
- Boolean
エンコードに文トークンの先頭を含めるかどうかを示します。
- addEndOfSentence
- Boolean
エンコードに文末トークンを含めるかどうかを示します。
- normalizedText
- String
トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。
- tokenCount
- Int32
トークン数は、最大トークン数よりも小さくする必要がある生成できます。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
トークンの制限を超えずに処理されたテキスト内の最大エンコード容量のインデックス。
これは、含める最後の文字の直後のインデックスを表します。 トークンが適合しない場合、結果は 0 になります。逆に、すべてのトークンが適合する場合、結果はテキストの長さになります。正規化が有効な場合は normalizedText になります。
適用対象
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
protected override int GetIndexByTokenCount(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings, bool fromEnd, out string? normalizedText, out int tokenCount);override this.GetIndexByTokenCount : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings * bool * string * int -> intProtected Overrides Function GetIndexByTokenCount (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings, fromEnd As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer) As Integerパラメーター
- text
- String
エンコードするテキスト。
- textSpan
- ReadOnlySpan<Char>
textがnullされている場合に使用されるエンコードするテキストのスパン。
- settings
- EncodeSettings
テキストのエンコードに使用する設定。
- fromEnd
- Boolean
テキストの末尾からインデックスを検索するかどうかを指定します。
- normalizedText
- String
トークナイザーの正規化が有効になっているか、 <paramRef name="settings"></paramRef> に ConsiderNormalization が falseされている場合、これは正規化された形式で <paramRef name="text"></paramRef> に設定されます。それ以外の場合、この値は nullに設定されます。
- tokenCount
- Int32
トークン数は、最大トークン数よりも小さくする必要がある生成できます。
返品
トークンの制限を超えずに処理されたテキスト内の最大エンコード容量のインデックス。
<paramRef name="fromEnd"></paramRef> がfalse場合は、含める最後の文字の直後のインデックスを表します。 トークンが適合しない場合、結果は 0 になります。逆に、すべてのトークンが適合する場合、結果は入力テキストの長さ、または正規化が有効になっている場合は normalizedText になります。
<paramRef name="fromEnd"></paramRef> がtrue場合、含める最初の文字のインデックスを表します。 トークンが適合しない場合、結果はテキストの長さになります。逆に、すべてのトークンが適合する場合、結果はゼロになります。
適用対象
GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
トークンの制限を超えることなく、テキスト内の先頭から最大エンコード容量のインデックスを検索します。
public int GetIndexByTokenCount(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCount : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCount (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integerパラメーター
- text
- String
エンコードするテキスト。
- maxTokenCount
- Int32
エンコード容量を制限する最大トークン数。
- addPrefixSpace
- Boolean
テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。
- addBeginningOfSentence
- Boolean
エンコードに文トークンの先頭を含めるかどうかを示します。
- addEndOfSentence
- Boolean
エンコードに文末トークンを含めるかどうかを示します。
- normalizedText
- String
トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。
- tokenCount
- Int32
トークン数は、最大トークン数よりも小さくする必要がある生成できます。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
トークンの制限を超えずに処理されたテキスト内の最大エンコード容量のインデックス。
これは、含める最後の文字の直後のインデックスを表します。 トークンが適合しない場合、結果は 0 になります。逆に、すべてのトークンが適合する場合、結果はテキストの長さになります。正規化が有効な場合は normalizedText になります。