RobertaPreTokenizer Classe

Referência

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v0.21.1

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

O pré-tokenizador para o tokenizador inglês Roberta.

public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RobertaPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer

Herança: Object

PreTokenizer
RobertaPreTokenizer

Construtores

RobertaPreTokenizer()

O pré-tokenizador para o tokenizador inglês Roberta.

Campos

Instance

Obtém uma instância singleton do pré-tokenizador Roberta..

Métodos

PreTokenize(String)

Divide a cadeia de caracteres fornecida em várias subcadeias de caracteres no limite da palavra, mantendo o controle dos deslocamentos das subcadeias de caracteres da cadeia de caracteres original.

Aplica-se a

Compartilhar via