AddedToken Struktura

Reference

Definice

Obor názvů:: Microsoft.ML.Tokenizers

Sestavení:: Microsoft.ML.Tokenizers.dll

Balíček:: Microsoft.ML.Tokenizers v0.21.1

Důležité

Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.

Představuje token přidaný uživatelem nad stávající slovník modelu. AddedToken je možné nakonfigurovat tak, aby určoval chování, které by mělo mít v různých situacích, jako jsou:

Jestli se mají shodovat jenom s jedním slovem
Jestli se mají na levé nebo pravé straně zahrnout nějaké prázdné znaky

public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>

type AddedToken = struct

Public Structure AddedToken
Implements IEquatable(Of AddedToken)

Dědičnost: ValueType
AddedToken

Implementuje: IEquatable<AddedToken>

Konstruktory

AddedToken()	Vytvořte nový Objekt AddedToken.
AddedToken(String, Boolean)	Z daného obsahu vytvořte nový Objekt AddedToken a určete, jestli má být speciálním tokenem. Speciální tokeny nejsou ve výchozím nastavení normalizovány.

Vlastnosti

Content

Získá nebo nastaví obsah přidaného tokenu.

Metody

Equals(AddedToken)	Určuje, zda jsou dvě instance tokenů stejné.
GetHashCode()	Vrátí kód hash aktuálního tokenu.

Operátory

Implicit(String to AddedToken)

Definuje implicitní převod objektu řetězce na AddedToken.

Platí pro

Sdílet prostřednictvím