Sdílet prostřednictvím

TokenizerResult Třída

  • Reference

Definice

Obor názvů:
Microsoft.ML.Tokenizers
Sestavení:
Microsoft.ML.Tokenizers.dll
Balíček:
Microsoft.ML.Tokenizers v0.21.1

Kódování představuje výstup tokenizátoru.

public sealed class TokenizerResult
type TokenizerResult = class
Public NotInheritable Class TokenizerResult
Dědičnost
Object
TokenizerResult

Konstruktory

TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)

Vytvořte nový objekt TokenizerResult objektu.

Vlastnosti

Ids

Získá seznam ID tokenů. ID jsou hlavním vstupem pro jazykový model. Jsou to indexy tokenů, číselné reprezentace, kterým LM rozumí.
NormalizedString

Získá normalizovanou formu původního řetězce.
Offsets

Získá seznam posunů. Tyto posuny umožňují rozdělit vstupní řetězec a načíst tak původní část, která vedla k vytvoření odpovídajícího tokenu.
OffsetsMappedToOriginalString

Získá normalizovanou formu původního řetězce.
OriginalString

Získá původní tokenizovaný řetězec.
Tokens

Získá vygenerované tokeny. Jedná se o řetězcovou reprezentaci ID.

Platí pro