Tokenizer Třída
Důležité
Některé informace platí pro předběžně vydaný produkt, který se může zásadně změnit, než ho výrobce nebo autor vydá. Microsoft neposkytuje žádné záruky, výslovné ani předpokládané, týkající se zde uváděných informací.
Poskytuje výchozí implementaci tokenizátoru.
public class Tokenizer
type Tokenizer = class
Public Class Tokenizer
- Dědičnost
-
Tokenizer
Tokenizer() |
Poskytuje výchozí implementaci tokenizátoru. |
Default |
Získá výchozí TokenizerFunction implementaci. |
Default |
Jednoduchý tokenizátor, který přeruší mezery a interpunkci. Jedinou provedenou normalizací je malá písmena. |