TokenizerResult Classe

Definizione

Spazio dei nomi:

Microsoft.ML.Tokenizers

Assembly:

Microsoft.ML.Tokenizers.dll

Pacchetto:

Microsoft.ML.Tokenizers v0.21.1

La codifica rappresenta l'output di un tokenizzatore.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

Ereditarietà

Object

TokenizerResult

Costruttori

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

Creare un nuovo oggetto dell'oggetto TokenizerResult.

Proprietà

Ids	Ottiene l'elenco degli ID token. Gli ID sono l'input principale di un modello di linguaggio. Sono gli indici token, le rappresentazioni numeriche che un LM comprende.
NormalizedString	Ottiene la forma normalizzata della stringa originale.
Offsets	Ottiene l'elenco di offset. Questi offset consentono di tagliare la stringa di input e quindi recuperare la parte originale che ha portato alla produzione del token corrispondente.
OffsetsMappedToOriginalString	Ottiene la forma normalizzata della stringa originale.
OriginalString	Ottiene la stringa tokenizzata originale.
Tokens	Ottiene i token generati. Sono la rappresentazione di stringa degli ID.