RobertaPreTokenizer クラス
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
Roberta English トークナイザーの事前トークナイザー。
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer
type RobertaPreTokenizer = class
inherit PreTokenizer
Public NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer
- 継承
Roberta |
Roberta English トークナイザーの事前トークナイザー。 |
Instance |
Roberta pre-tokenizer のシングルトン インスタンスを取得します。 |
Pre |
指定された文字列を単語の境界で複数の部分文字列に分割し、元の文字列からの部分文字列のオフセットを追跡します。 |