CommonRegexLexer class

Paquete:

adaptive-expressions

Extends

Lexer

Constructores

CommonRegexLexer(CharStream)

Propiedades

ALC
Ampersand
AUC
Backslash
BellChar
BLC
BlockQuoted
BUC
Caret
CarriageReturn
channelNames
channelNames
CharacterClassEnd
CharacterClassStart
CharWithoutProperty
CharWithProperty
CLC
CloseBrace
CloseParen
Colon
Comma
ControlChar
CUC
D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
DecimalDigit
DLC
Dot
DUC
ELC
EndOfSubject
Equals
EscapeChar
EUC
Exclamation
FLC
FormFeed
FUC
GLC
grammarFileName
GreaterThan
GUC
Hash
HexChar
HLC
HUC
Hyphen
ILC
IUC
JLC
JUC
KLC
KUC
LessThan
LLC
LUC
MLC
modeNames
modeNames
MUC
NewLine
NLC
NotDecimalDigit
NotWhiteSpace
NotWordChar
NUC
OLC
OpenBrace
OpenParen
OtherChar
OUC
Pipe
PLC
Plus
PUC
QLC
QUC
QuestionMark
Quoted
RLC
RUC
ruleNames
ruleNames
serializedATN
SingleQuote
SLC
Star
SUC
Tab
TLC
TUC
ULC
Underscore
UUC
VLC
VOCABULARY
vocabulary
VUC
WhiteSpace
WLC
WordChar
WUC
XLC
XUC
YLC
YUC
ZLC
ZUC

Propiedades heredadas

atn	Obtenga el serializedATN usado por el reconocedor para la predicción.
channel
charIndex	¿Cuál es el índice del carácter actual de lookahead?
charPositionInLine
DEFAULT_MODE
DEFAULT_TOKEN_CHANNEL
EOF
HIDDEN
inputStream	Establecimiento de la secuencia char y restablecimiento del lexer
interpreter	Establezca el intérprete atn usado por el reconocedor para la predicción.
line
MAX_CHAR_VALUE
MIN_CHAR_VALUE
MORE
parseInfo	Si la generación de perfiles durante el análisis/lex, devolverá registros DecisionInfo para cada decisión del reconocedor en un objeto ParseInfo.
SKIP
sourceName
state	Indique que el reconocedor ha cambiado el estado interno que es coherente con el estado ATN pasado. De esta manera siempre sabemos dónde estamos en el ATN a medida que avanza el analizador. Los objetos de contexto de regla forman una pila que nos permite ver la pila de invocación de reglas. Combine esto y hemos completado la información de configuración de ATN.
text	Establezca el texto completo de este token; borra los cambios anteriores en el texto.
token	Invalide si emite varios tokens.
tokenFactory
type

Métodos heredados

action(RuleContext | undefined, number, number)
addErrorListener(ANTLRErrorListener<number>)
emit()	De forma predeterminada, no admite varias emisiones por invocación nextToken por motivos de eficiencia. Subclase e invalida este método, nextToken y getToken (para insertar tokens en una lista y extraer de esa lista en lugar de una sola variable como hace esta implementación).
emit(Token)	El método estándar al que se llama para emitir automáticamente un token en la regla léxica más externa. El objeto de token debe apuntar al inicio del búfer char. parar. Si hay una invalidación de texto en "text", úselo para establecer el texto del token. Invalide este método para emitir objetos token personalizados o proporcionar una nueva fábrica.
emitEOF()
getAllTokens()	Devuelve una lista de todos los objetos Token de la secuencia char de entrada. Fuerza la carga de todos los tokens. No incluye el token EOF.
getCharErrorDisplay(number)
getErrorDisplay(string | number)
getErrorHeader(RecognitionException)	¿Cuál es el encabezado de error, normalmente información de posición de línea/carácter?
getErrorListenerDispatch()
getErrorListeners()
getRuleIndexMap()	Obtenga una asignación de nombres de regla a índices de reglas. Se usa para la compilación de patrones de árbol y XPath.
getTokenType(string)
getTokenTypeMap()	Obtenga una asignación de nombres de token a tipos de token. Se usa para la compilación de patrones de árbol y XPath.
mode(number)
more()
nextToken()	Devolver un token de este origen; Es decir, que coincida con un token en la secuencia char.
notifyListeners(LexerNoViableAltException)
popMode()
precpred(RuleContext | undefined, number)
pushMode(number)
recover(LexerNoViableAltException)
recover(RecognitionException)	Lexers normalmente puede coincidir con cualquier carácter en su vocabulario después de hacer coincidir un token, así que haga lo fácil y simplemente mate a un personaje y espere que todo funcione. En su lugar, puede usar la pila de invocación de reglas para realizar una recuperación de errores sofisticada si se encuentra en una regla de fragmento.
removeErrorListener(ANTLRErrorListener<number>)
removeErrorListeners()
reset()
reset(boolean)
sempred(RuleContext | undefined, number, number)
skip()	Indique al lexer que omita la creación de un token para la regla lexer actual y busque otro token. nextToken() sabe seguir buscando cuando una regla lexer finaliza con el token establecido en SKIP_TOKEN. Recuerde que si token==undefined al final de cualquier regla de token, crea uno automáticamente y lo emite.

Detalles del constructor

CommonRegexLexer(CharStream)

new CommonRegexLexer(input: CharStream)

Parámetros

input

CharStream

Detalles de las propiedades

ALC

public static ALC: 44 = 44

Valor de propiedad

44

Ampersand

public static Ampersand: 43 = 43

Valor de propiedad

43

AUC

public static AUC: 70 = 70

Valor de propiedad

70

Backslash

public static Backslash: 10 = 10

Valor de propiedad

10

BellChar

public static BellChar: 3 = 3

Valor de propiedad

3

BLC

public static BLC: 45 = 45

Valor de propiedad

45

BlockQuoted

public static BlockQuoted: 2 = 2

Valor de propiedad

2

BUC

public static BUC: 71 = 71

Valor de propiedad

71

Caret

public static Caret: 23 = 23

Valor de propiedad

23

CarriageReturn

public static CarriageReturn: 8 = 8

Valor de propiedad

8

channelNames

public static channelNames: string[] = [
		"DEFAULT_TOKEN_CHANNEL", "HIDDEN",
	]

Valor de propiedad

string[]

channelNames

string[] channelNames

Valor de propiedad

string[]

CharacterClassEnd

public static CharacterClassEnd: 22 = 22

Valor de propiedad

22

CharacterClassStart

public static CharacterClassStart: 21 = 21

Valor de propiedad

21

CharWithoutProperty

public static CharWithoutProperty: 16 = 16

Valor de propiedad

16

CharWithProperty

public static CharWithProperty: 15 = 15

Valor de propiedad

15

CLC

public static CLC: 46 = 46

Valor de propiedad

46

CloseBrace

public static CloseBrace: 29 = 29

Valor de propiedad

29

CloseParen

public static CloseParen: 34 = 34

Valor de propiedad

34

Colon

public static Colon: 39 = 39

Valor de propiedad

39

Comma

public static Comma: 30 = 30

Valor de propiedad

30

ControlChar

public static ControlChar: 4 = 4

Valor de propiedad

4

CUC

public static CUC: 72 = 72

Valor de propiedad

72

D0

public static D0: 105 = 105

Valor de propiedad

105

D1

public static D1: 96 = 96

Valor de propiedad

96

D2

public static D2: 97 = 97

Valor de propiedad

97

D3

public static D3: 98 = 98

Valor de propiedad

98

D4

public static D4: 99 = 99

Valor de propiedad

99

D5

public static D5: 100 = 100

Valor de propiedad

100

D6

public static D6: 101 = 101

Valor de propiedad

101

D7

public static D7: 102 = 102

Valor de propiedad

102

D8

public static D8: 103 = 103

Valor de propiedad

103

D9

public static D9: 104 = 104

Valor de propiedad

104

DecimalDigit

public static DecimalDigit: 13 = 13

Valor de propiedad

13

DLC

public static DLC: 47 = 47

Valor de propiedad

47

Dot

public static Dot: 12 = 12

Valor de propiedad

12

DUC

public static DUC: 73 = 73

Valor de propiedad

73

ELC

public static ELC: 48 = 48

Valor de propiedad

48

EndOfSubject

public static EndOfSubject: 31 = 31

Valor de propiedad

31

Equals

public static Equals: 41 = 41

Valor de propiedad

41

EscapeChar

public static EscapeChar: 5 = 5

Valor de propiedad

5

EUC

public static EUC: 74 = 74

Valor de propiedad

74

Exclamation

public static Exclamation: 42 = 42

Valor de propiedad

42

FLC

public static FLC: 49 = 49

Valor de propiedad

49

FormFeed

public static FormFeed: 6 = 6

Valor de propiedad

6

FUC

public static FUC: 75 = 75

Valor de propiedad

75

GLC

public static GLC: 50 = 50

Valor de propiedad

50

grammarFileName

string grammarFileName

Valor de propiedad

string

GreaterThan

public static GreaterThan: 36 = 36

Valor de propiedad

36

GUC

public static GUC: 76 = 76

Valor de propiedad

76

Hash

public static Hash: 40 = 40

Valor de propiedad

40

HexChar

public static HexChar: 11 = 11

Valor de propiedad

11

HLC

public static HLC: 51 = 51

Valor de propiedad

51

HUC

public static HUC: 77 = 77

Valor de propiedad

77

Hyphen

public static Hyphen: 24 = 24

Valor de propiedad

24

ILC

public static ILC: 52 = 52

Valor de propiedad

52

IUC

public static IUC: 78 = 78

Valor de propiedad

78

JLC

public static JLC: 53 = 53

Valor de propiedad

53

JUC

public static JUC: 79 = 79

Valor de propiedad

79

KLC

public static KLC: 54 = 54

Valor de propiedad

54

KUC

public static KUC: 80 = 80

Valor de propiedad

80

LessThan

public static LessThan: 35 = 35

Valor de propiedad

35

LLC

public static LLC: 55 = 55

Valor de propiedad

55

LUC

public static LUC: 81 = 81

Valor de propiedad

81

MLC

public static MLC: 56 = 56

Valor de propiedad

56

modeNames

public static modeNames: string[] = [
		"DEFAULT_MODE",
	]

Valor de propiedad

string[]

modeNames

string[] modeNames

Valor de propiedad

string[]

MUC

public static MUC: 82 = 82

Valor de propiedad

82

NewLine

public static NewLine: 7 = 7

Valor de propiedad

7

NLC

public static NLC: 57 = 57

Valor de propiedad

57

NotDecimalDigit

public static NotDecimalDigit: 14 = 14

Valor de propiedad

14

NotWhiteSpace

public static NotWhiteSpace: 18 = 18

Valor de propiedad

18

NotWordChar

public static NotWordChar: 20 = 20

Valor de propiedad

20

NUC

public static NUC: 83 = 83

Valor de propiedad

83

OLC

public static OLC: 58 = 58

Valor de propiedad

58

OpenBrace

public static OpenBrace: 28 = 28

Valor de propiedad

28

OpenParen

public static OpenParen: 33 = 33

Valor de propiedad

33

OtherChar

public static OtherChar: 106 = 106

Valor de propiedad

106

OUC

public static OUC: 84 = 84

Valor de propiedad

84

Pipe

public static Pipe: 32 = 32

Valor de propiedad

32

PLC

public static PLC: 59 = 59

Valor de propiedad

59

Plus

public static Plus: 26 = 26

Valor de propiedad

26

PUC

public static PUC: 85 = 85

Valor de propiedad

85

QLC

public static QLC: 60 = 60

Valor de propiedad

60

QUC

public static QUC: 86 = 86

Valor de propiedad

86

QuestionMark

public static QuestionMark: 25 = 25

Valor de propiedad

25

Quoted

public static Quoted: 1 = 1

Valor de propiedad

1

RLC

public static RLC: 61 = 61

Valor de propiedad

61

RUC

public static RUC: 87 = 87

Valor de propiedad

87

ruleNames

public static ruleNames: string[] = [
		"Quoted", "BlockQuoted", "BellChar", "ControlChar", "EscapeChar", "FormFeed", 
		"NewLine", "CarriageReturn", "Tab", "Backslash", "HexChar", "Dot", "DecimalDigit", 
		"NotDecimalDigit", "CharWithProperty", "CharWithoutProperty", "WhiteSpace", 
		"NotWhiteSpace", "WordChar", "NotWordChar", "CharacterClassStart", "CharacterClassEnd", 
		"Caret", "Hyphen", "QuestionMark", "Plus", "Star", "OpenBrace", "CloseBrace", 
		"Comma", "EndOfSubject", "Pipe", "OpenParen", "CloseParen", "LessThan", 
		"GreaterThan", "SingleQuote", "Underscore", "Colon", "Hash", "Equals", 
		"Exclamation", "Ampersand", "ALC", "BLC", "CLC", "DLC", "ELC", "FLC", 
		"GLC", "HLC", "ILC", "JLC", "KLC", "LLC", "MLC", "NLC", "OLC", "PLC", 
		"QLC", "RLC", "SLC", "TLC", "ULC", "VLC", "WLC", "XLC", "YLC", "ZLC", 
		"AUC", "BUC", "CUC", "DUC", "EUC", "FUC", "GUC", "HUC", "IUC", "JUC", 
		"KUC", "LUC", "MUC", "NUC", "OUC", "PUC", "QUC", "RUC", "SUC", "TUC", 
		"UUC", "VUC", "WUC", "XUC", "YUC", "ZUC", "D1", "D2", "D3", "D4", "D5", 
		"D6", "D7", "D8", "D9", "D0", "OtherChar", "UnderscoreAlphaNumerics", 
		"AlphaNumerics", "AlphaNumeric", "NonAlphaNumeric", "HexDigit", "ASCII",
	]

Valor de propiedad

string[]

ruleNames

string[] ruleNames

Valor de propiedad

string[]

serializedATN

string serializedATN

Valor de propiedad

string

SingleQuote

public static SingleQuote: 37 = 37

Valor de propiedad

37

SLC

public static SLC: 62 = 62

Valor de propiedad

62

Star

public static Star: 27 = 27

Valor de propiedad

27

SUC

public static SUC: 88 = 88

Valor de propiedad

88

Tab

public static Tab: 9 = 9

Valor de propiedad

9

TLC

public static TLC: 63 = 63

Valor de propiedad

63

TUC

public static TUC: 89 = 89

Valor de propiedad

89

ULC

public static ULC: 64 = 64

Valor de propiedad

64

Underscore

public static Underscore: 38 = 38

Valor de propiedad

38

UUC

public static UUC: 90 = 90

Valor de propiedad

90

VLC

public static VLC: 65 = 65

Valor de propiedad

65

VOCABULARY

public static VOCABULARY: Vocabulary = new VocabularyImpl(CommonRegexLexer._LITERAL_NAMES, CommonRegexLexer._SYMBOLIC_NAMES, [])

Valor de propiedad

Vocabulary

vocabulary

Vocabulary vocabulary

Valor de propiedad

Vocabulary

VUC

public static VUC: 91 = 91

Valor de propiedad

91

WhiteSpace

public static WhiteSpace: 17 = 17

Valor de propiedad

17

WLC

public static WLC: 66 = 66

Valor de propiedad

66

WordChar

public static WordChar: 19 = 19

Valor de propiedad

19

WUC

public static WUC: 92 = 92

Valor de propiedad

92

XLC

public static XLC: 67 = 67

Valor de propiedad

67

XUC

public static XUC: 93 = 93

Valor de propiedad

93

YLC

public static YLC: 68 = 68

Valor de propiedad

68

YUC

public static YUC: 94 = 94

Valor de propiedad

94

ZLC

public static ZLC: 69 = 69

Valor de propiedad

69

ZUC

public static ZUC: 95 = 95

Valor de propiedad

95

Detalles de las propiedades heredadas

atn

Obtenga el serializedATN usado por el reconocedor para la predicción.

atn: ATN

Valor de propiedad

ATN

heredado de Recognizer.atn

channel

channel: number

Valor de propiedad

number

Heredado de Lexer.channel

charIndex

¿Cuál es el índice del carácter actual de lookahead?

charIndex: number

Valor de propiedad

number

heredado de Lexer.charIndex

charPositionInLine

charPositionInLine: number

Valor de propiedad

number

Heredado de Lexer.charPositionInLine

DEFAULT_MODE

static DEFAULT_MODE: number

Valor de propiedad

number

heredado de Lexer.DEFAULT_MODE

DEFAULT_TOKEN_CHANNEL

static DEFAULT_TOKEN_CHANNEL: number

Valor de propiedad

number

heredado de Lexer.DEFAULT_TOKEN_CHANNEL

EOF

static EOF: number

Valor de propiedad

number

heredado de Recognizer.EOF

HIDDEN

static HIDDEN: number

Valor de propiedad

number

heredado de Lexer.HIDDEN

inputStream

Establecimiento de la secuencia char y restablecimiento del lexer

inputStream: CharStream

Valor de propiedad

CharStream

Heredado de Lexer.inputStream

interpreter

Establezca el intérprete atn usado por el reconocedor para la predicción.

interpreter: LexerATNSimulator

Valor de propiedad

LexerATNSimulator

heredado de Recognizer.interpreter

line

line: number

Valor de propiedad

number

Heredado de Lexer.line

MAX_CHAR_VALUE

static MAX_CHAR_VALUE: number

Valor de propiedad

number

heredado de Lexer.MAX_CHAR_VALUE

MIN_CHAR_VALUE

static MIN_CHAR_VALUE: number

Valor de propiedad

number

heredado de Lexer.MIN_CHAR_VALUE

MORE

static MORE: number

Valor de propiedad

number

heredado de Lexer.MORE

parseInfo

Si la generación de perfiles durante el análisis/lex, devolverá registros DecisionInfo para cada decisión del reconocedor en un objeto ParseInfo.

parseInfo: Promise<ParseInfo | undefined>

Valor de propiedad

Promise<ParseInfo | undefined>

heredado de Recognizer.parseInfo

SKIP

static SKIP: number

Valor de propiedad

number

heredado de Lexer.SKIP

sourceName

sourceName: string

Valor de propiedad

string

Heredado de Lexer.sourceName

state

Indique que el reconocedor ha cambiado el estado interno que es coherente con el estado ATN pasado. De esta manera siempre sabemos dónde estamos en el ATN a medida que avanza el analizador. Los objetos de contexto de regla forman una pila que nos permite ver la pila de invocación de reglas. Combine esto y hemos completado la información de configuración de ATN.

state: number

Valor de propiedad

number

heredado de Recognizer.state

text

Establezca el texto completo de este token; borra los cambios anteriores en el texto.

text: string

Valor de propiedad

string

Heredado de Lexer.text

token

Invalide si emite varios tokens.

token: Token | undefined

Valor de propiedad

Token | undefined

Heredado de Lexer.token

tokenFactory

tokenFactory: TokenFactory

Valor de propiedad

TokenFactory

heredado de Lexer.tokenFactory

type

type: number

Valor de propiedad

number

Heredado de Lexer.type

Detalles de los métodos heredados

action(RuleContext | undefined, number, number)

function action(_localctx: RuleContext | undefined, ruleIndex: number, actionIndex: number)

Parámetros

_localctx

RuleContext | undefined

ruleIndex

number

actionIndex

number

Heredado de Recognizer.action

addErrorListener(ANTLRErrorListener<number>)

function addErrorListener(listener: ANTLRErrorListener<number>)

Parámetros

listener

ANTLRErrorListener<number>

Heredado de Recognizer.addErrorListener

emit()

De forma predeterminada, no admite varias emisiones por invocación nextToken por motivos de eficiencia. Subclase e invalida este método, nextToken y getToken (para insertar tokens en una lista y extraer de esa lista en lugar de una sola variable como hace esta implementación).

function emit(): Token

Devoluciones

Token

Heredado de Lexer.emit

emit(Token)

El método estándar al que se llama para emitir automáticamente un token en la regla léxica más externa. El objeto de token debe apuntar al inicio del búfer char. parar. Si hay una invalidación de texto en "text", úselo para establecer el texto del token. Invalide este método para emitir objetos token personalizados o proporcionar una nueva fábrica.

function emit(token: Token): Token

Parámetros

token

Token

Devoluciones

Token

Heredado de Lexer.emit

emitEOF()

function emitEOF(): Token

Devoluciones

Token

Heredado de Lexer.emitEOF

getAllTokens()

Devuelve una lista de todos los objetos Token de la secuencia char de entrada. Fuerza la carga de todos los tokens. No incluye el token EOF.

function getAllTokens(): Token[]

Devoluciones

Token[]

Heredado de Lexer.getAllTokens

getCharErrorDisplay(number)

function getCharErrorDisplay(c: number): string

Parámetros

c

number

Devoluciones

string

Heredado de Lexer.getCharErrorDisplay

getErrorDisplay(string | number)

function getErrorDisplay(s: string | number): string

Parámetros

s

string | number

Devoluciones

string

Heredado de Lexer.getErrorDisplay

getErrorHeader(RecognitionException)

¿Cuál es el encabezado de error, normalmente información de posición de línea/carácter?

function getErrorHeader(e: RecognitionException): string

Parámetros

e

RecognitionException

Devoluciones

string

Heredado de Recognizer.getErrorHeader

getErrorListenerDispatch()

function getErrorListenerDispatch(): ANTLRErrorListener<number>

Devoluciones

ANTLRErrorListener<number>

Heredado de Recognizer.getErrorListenerDispatch

getErrorListeners()

function getErrorListeners(): Array<ANTLRErrorListener<number>>

Devoluciones

Array<ANTLRErrorListener<number>>

Heredado de Recognizer.getErrorListeners

getRuleIndexMap()

Obtenga una asignación de nombres de regla a índices de reglas. Se usa para la compilación de patrones de árbol y XPath.

function getRuleIndexMap(): ReadonlyMap<string, number>

Devoluciones

ReadonlyMap<string, number>

Heredado de Recognizer.getRuleIndexMap

getTokenType(string)

function getTokenType(tokenName: string): number

Parámetros

tokenName

string

Devoluciones

number

Heredado de Recognizer.getTokenType

getTokenTypeMap()

Obtenga una asignación de nombres de token a tipos de token. Se usa para la compilación de patrones de árbol y XPath.

function getTokenTypeMap(): ReadonlyMap<string, number>

Devoluciones

ReadonlyMap<string, number>

Inherited From Recognizer.getTokenTypeMap

mode(number)

function mode(m: number)

Parámetros

m

number

Heredado de Lexer.mode

more()

function more()

Heredado de Lexer.more

nextToken()

Devolver un token de este origen; Es decir, que coincida con un token en la secuencia char.

function nextToken(): Token

Devoluciones

Token

Heredado de Lexer.nextToken

notifyListeners(LexerNoViableAltException)

function notifyListeners(e: LexerNoViableAltException)

Parámetros

e

LexerNoViableAltException

Heredado de Lexer.notifyListeners

popMode()

function popMode(): number

Devoluciones

number

Heredado de Lexer.popMode

precpred(RuleContext | undefined, number)

function precpred(localctx: RuleContext | undefined, precedence: number): boolean

Parámetros

localctx

RuleContext | undefined

precedence

number

Devoluciones

boolean

heredado de Recognizer.precpred

pushMode(number)

function pushMode(m: number)

Parámetros

m

number

Heredado de Lexer.pushMode

recover(LexerNoViableAltException)

function recover(re: LexerNoViableAltException)

Parámetros

re

LexerNoViableAltException

Heredado de Lexer.recover

recover(RecognitionException)

Lexers normalmente puede coincidir con cualquier carácter en su vocabulario después de hacer coincidir un token, así que haga lo fácil y simplemente mate a un personaje y espere que todo funcione. En su lugar, puede usar la pila de invocación de reglas para realizar una recuperación de errores sofisticada si se encuentra en una regla de fragmento.

function recover(re: RecognitionException)

Parámetros

re

RecognitionException

Heredado de Lexer.recover

removeErrorListener(ANTLRErrorListener<number>)

function removeErrorListener(listener: ANTLRErrorListener<number>)

Parámetros

listener

ANTLRErrorListener<number>

Heredado de Recognizer.removeErrorListener

removeErrorListeners()

function removeErrorListeners()

Heredado de Recognizer.removeErrorListeners

reset()

function reset()

heredado de Lexer.reset

reset(boolean)

function reset(resetInput: boolean)

Parámetros

resetInput

boolean

heredado de Lexer.reset

sempred(RuleContext | undefined, number, number)

function sempred(_localctx: RuleContext | undefined, ruleIndex: number, actionIndex: number): boolean

Parámetros

_localctx

RuleContext | undefined

ruleIndex

number

actionIndex

number

Devoluciones

boolean

heredado de Recognizer.sempred

skip()

Indique al lexer que omita la creación de un token para la regla lexer actual y busque otro token. nextToken() sabe seguir buscando cuando una regla lexer finaliza con el token establecido en SKIP_TOKEN. Recuerde que si token==undefined al final de cualquier regla de token, crea uno automáticamente y lo emite.

function skip()

Heredado de Lexer.skip