Bpe.Tokenize(String) 方法

参考

定义

命名空间:: Microsoft.ML.Tokenizers

程序集:: Microsoft.ML.Tokenizers.dll

包:: Microsoft.ML.Tokenizers v0.20.1

重要

一些信息与预发行产品相关，相应产品在发行之前可能会进行重大修改。对于此处提供的信息，Microsoft 不作任何明示或暗示的担保。

将序列字符串标记化为标记列表。

C#

public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);

override this.Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>

Public Overrides Function Tokenize (sequence As String) As IReadOnlyList(Of Token)

参数

sequence: String

要标记化的序列。

返回

IReadOnlyList<Token>

从序列标记化生成的令牌列表。

适用于

产品	版本
ML.NET	2.0.0