CommonRegexLexer class

패키지:

adaptive-expressions

Extends

Lexer

생성자

CommonRegexLexer(CharStream)

속성

ALC
Ampersand
AUC
Backslash
BellChar
BLC
BlockQuoted
BUC
Caret
CarriageReturn
channelNames
channelNames
CharacterClassEnd
CharacterClassStart
CharWithoutProperty
CharWithProperty
CLC
CloseBrace
CloseParen
Colon
Comma
ControlChar
CUC
D0
D1
D2
D3
D4
D5
D6
D7
D8
D9
DecimalDigit
DLC
Dot
DUC
ELC
EndOfSubject
Equals
EscapeChar
EUC
Exclamation
FLC
FormFeed
FUC
GLC
grammarFileName
GreaterThan
GUC
Hash
HexChar
HLC
HUC
Hyphen
ILC
IUC
JLC
JUC
KLC
KUC
LessThan
LLC
LUC
MLC
modeNames
modeNames
MUC
NewLine
NLC
NotDecimalDigit
NotWhiteSpace
NotWordChar
NUC
OLC
OpenBrace
OpenParen
OtherChar
OUC
Pipe
PLC
Plus
PUC
QLC
QUC
QuestionMark
Quoted
RLC
RUC
ruleNames
ruleNames
serializedATN
SingleQuote
SLC
Star
SUC
Tab
TLC
TUC
ULC
Underscore
UUC
VLC
VOCABULARY
vocabulary
VUC
WhiteSpace
WLC
WordChar
WUC
XLC
XUC
YLC
YUC
ZLC
ZUC

상속된 속성

atn	인식기에서 예측에 사용하는 serializedATN 가져옵니다.
channel
charIndex	lookahead의 현재 문자 인덱스는 무엇인가요?
charPositionInLine
DEFAULT_MODE
DEFAULT_TOKEN_CHANNEL
EOF
HIDDEN
inputStream	문자 스트림을 설정하고 렉서 다시 설정
interpreter	인식기에서 예측을 위해 사용하는 ATN 인터프리터를 설정합니다.
line
MAX_CHAR_VALUE
MIN_CHAR_VALUE
MORE
parseInfo	구문 분석/lex 중에 프로파일링하는 경우 ParseInfo 개체의 인식기에서 각 결정에 대한 DecisionInfo 레코드를 반환합니다.
SKIP
sourceName
state	인식기가 전달된 ATN 상태와 일치하는 내부 상태를 변경했음을 나타냅니다. 이렇게 하면 파서가 진행되면서 ATN에 있는 위치를 항상 알 수 있습니다. 규칙 컨텍스트 개체는 호출 규칙의 스택을 볼 수 있는 스택을 형성합니다. 이를 결합하면 완전한 ATN 구성 정보가 있습니다.
text	이 토큰의 전체 텍스트를 설정합니다. 텍스트의 이전 변경 내용을 초기화합니다.
token	여러 토큰을 내보내는 경우 재정의합니다.
tokenFactory
type

상속된 메서드

action(RuleContext | undefined, number, number)
addErrorListener(ANTLRErrorListener<number>)
emit()	기본적으로 효율성상의 이유로 nextToken 호출당 여러 내보내기 기능을 지원하지 않습니다. 이 메서드, nextToken 및 getToken을 서브클래스하고 재정의합니다(이 구현처럼 단일 변수가 아닌 목록에 토큰을 푸시하고 해당 목록에서 끌어오기 위해).
emit(Token)	가장 바깥쪽 어휘 규칙에서 토큰을 자동으로 내보내기 위해 호출되는 표준 메서드입니다. 토큰 개체는 char 버퍼 시작을 가리킵니다. 멈추다. 'text'에 텍스트 재정의가 있는 경우 이를 사용하여 토큰의 텍스트를 설정합니다. 사용자 지정 토큰 개체를 내보내거나 새 팩터리를 제공하도록 이 메서드를 재정의합니다.
emitEOF()
getAllTokens()	입력 문자 스트림의 모든 토큰 개체 목록을 반환합니다. 모든 토큰을 강제로 로드합니다. EOF 토큰을 포함하지 않습니다.
getCharErrorDisplay(number)
getErrorDisplay(string | number)
getErrorHeader(RecognitionException)	일반적으로 줄/문자 위치 정보인 오류 헤더란?
getErrorListenerDispatch()
getErrorListeners()
getRuleIndexMap()	규칙 이름에서 규칙 인덱스로 맵을 가져옵니다. XPath 및 트리 패턴 컴파일에 사용됩니다.
getTokenType(string)
getTokenTypeMap()	토큰 이름에서 토큰 형식으로 맵을 가져옵니다. XPath 및 트리 패턴 컴파일에 사용됩니다.
mode(number)
more()
nextToken()	이 원본에서 토큰을 반환합니다. 즉, 문자 스트림의 토큰과 일치합니다.
notifyListeners(LexerNoViableAltException)
popMode()
precpred(RuleContext | undefined, number)
pushMode(number)
recover(LexerNoViableAltException)
recover(RecognitionException)	렉서는 일반적으로 토큰을 일치 한 후 어휘의 모든 문자를 일치 시킬 수 있습니다., 그래서 쉬운 일을 하 고 그냥 문자를 죽이고 모든 작동 희망. 대신 조각 규칙에 있는 경우 규칙 호출 스택을 사용하여 정교한 오류 복구를 수행할 수 있습니다.
removeErrorListener(ANTLRErrorListener<number>)
removeErrorListeners()
reset()
reset(boolean)
sempred(RuleContext | undefined, number, number)
skip()	현재 렉서 규칙에 대한 토큰 만들기를 건너뛰고 다른 토큰을 찾으도록 렉서에 지시합니다. nextToken()은 렉서 규칙이 SKIP_TOKEN 설정된 토큰으로 완료되는 시점을 계속 확인합니다. 토큰 규칙의 끝에 token==undefined가 있으면 토큰 규칙이 만들어지고 내보내집니다.

생성자 세부 정보

CommonRegexLexer(CharStream)

new CommonRegexLexer(input: CharStream)

매개 변수

input

CharStream

속성 세부 정보

ALC

public static ALC: 44 = 44

속성 값

44

Ampersand

public static Ampersand: 43 = 43

속성 값

43

AUC

public static AUC: 70 = 70

속성 값

70

Backslash

public static Backslash: 10 = 10

속성 값

10

BellChar

public static BellChar: 3 = 3

속성 값

3

BLC

public static BLC: 45 = 45

속성 값

45

BlockQuoted

public static BlockQuoted: 2 = 2

속성 값

2

BUC

public static BUC: 71 = 71

속성 값

71

Caret

public static Caret: 23 = 23

속성 값

23

CarriageReturn

public static CarriageReturn: 8 = 8

속성 값

8

channelNames

public static channelNames: string[] = [
		"DEFAULT_TOKEN_CHANNEL", "HIDDEN",
	]

속성 값

string[]

channelNames

string[] channelNames

속성 값

string[]

CharacterClassEnd

public static CharacterClassEnd: 22 = 22

속성 값

22

CharacterClassStart

public static CharacterClassStart: 21 = 21

속성 값

21

CharWithoutProperty

public static CharWithoutProperty: 16 = 16

속성 값

16

CharWithProperty

public static CharWithProperty: 15 = 15

속성 값

15

CLC

public static CLC: 46 = 46

속성 값

46

CloseBrace

public static CloseBrace: 29 = 29

속성 값

29

CloseParen

public static CloseParen: 34 = 34

속성 값

34

Colon

public static Colon: 39 = 39

속성 값

39

Comma

public static Comma: 30 = 30

속성 값

30

ControlChar

public static ControlChar: 4 = 4

속성 값

4

CUC

public static CUC: 72 = 72

속성 값

72

D0

public static D0: 105 = 105

속성 값

105

D1

public static D1: 96 = 96

속성 값

96

D2

public static D2: 97 = 97

속성 값

97

D3

public static D3: 98 = 98

속성 값

98

D4

public static D4: 99 = 99

속성 값

99

D5

public static D5: 100 = 100

속성 값

100

D6

public static D6: 101 = 101

속성 값

101

D7

public static D7: 102 = 102

속성 값

102

D8

public static D8: 103 = 103

속성 값

103

D9

public static D9: 104 = 104

속성 값

104

DecimalDigit

public static DecimalDigit: 13 = 13

속성 값

13

DLC

public static DLC: 47 = 47

속성 값

47

Dot

public static Dot: 12 = 12

속성 값

12

DUC

public static DUC: 73 = 73

속성 값

73

ELC

public static ELC: 48 = 48

속성 값

48

EndOfSubject

public static EndOfSubject: 31 = 31

속성 값

31

Equals

public static Equals: 41 = 41

속성 값

41

EscapeChar

public static EscapeChar: 5 = 5

속성 값

5

EUC

public static EUC: 74 = 74

속성 값

74

Exclamation

public static Exclamation: 42 = 42

속성 값

42

FLC

public static FLC: 49 = 49

속성 값

49

FormFeed

public static FormFeed: 6 = 6

속성 값

6

FUC

public static FUC: 75 = 75

속성 값

75

GLC

public static GLC: 50 = 50

속성 값

50

grammarFileName

string grammarFileName

속성 값

string

GreaterThan

public static GreaterThan: 36 = 36

속성 값

36

GUC

public static GUC: 76 = 76

속성 값

76

Hash

public static Hash: 40 = 40

속성 값

40

HexChar

public static HexChar: 11 = 11

속성 값

11

HLC

public static HLC: 51 = 51

속성 값

51

HUC

public static HUC: 77 = 77

속성 값

77

Hyphen

public static Hyphen: 24 = 24

속성 값

24

ILC

public static ILC: 52 = 52

속성 값

52

IUC

public static IUC: 78 = 78

속성 값

78

JLC

public static JLC: 53 = 53

속성 값

53

JUC

public static JUC: 79 = 79

속성 값

79

KLC

public static KLC: 54 = 54

속성 값

54

KUC

public static KUC: 80 = 80

속성 값

80

LessThan

public static LessThan: 35 = 35

속성 값

35

LLC

public static LLC: 55 = 55

속성 값

55

LUC

public static LUC: 81 = 81

속성 값

81

MLC

public static MLC: 56 = 56

속성 값

56

modeNames

public static modeNames: string[] = [
		"DEFAULT_MODE",
	]

속성 값

string[]

modeNames

string[] modeNames

속성 값

string[]

MUC

public static MUC: 82 = 82

속성 값

82

NewLine

public static NewLine: 7 = 7

속성 값

7

NLC

public static NLC: 57 = 57

속성 값

57

NotDecimalDigit

public static NotDecimalDigit: 14 = 14

속성 값

14

NotWhiteSpace

public static NotWhiteSpace: 18 = 18

속성 값

18

NotWordChar

public static NotWordChar: 20 = 20

속성 값

20

NUC

public static NUC: 83 = 83

속성 값

83

OLC

public static OLC: 58 = 58

속성 값

58

OpenBrace

public static OpenBrace: 28 = 28

속성 값

28

OpenParen

public static OpenParen: 33 = 33

속성 값

33

OtherChar

public static OtherChar: 106 = 106

속성 값

106

OUC

public static OUC: 84 = 84

속성 값

84

Pipe

public static Pipe: 32 = 32

속성 값

32

PLC

public static PLC: 59 = 59

속성 값

59

Plus

public static Plus: 26 = 26

속성 값

26

PUC

public static PUC: 85 = 85

속성 값

85

QLC

public static QLC: 60 = 60

속성 값

60

QUC

public static QUC: 86 = 86

속성 값

86

QuestionMark

public static QuestionMark: 25 = 25

속성 값

25

Quoted

public static Quoted: 1 = 1

속성 값

1

RLC

public static RLC: 61 = 61

속성 값

61

RUC

public static RUC: 87 = 87

속성 값

87

ruleNames

public static ruleNames: string[] = [
		"Quoted", "BlockQuoted", "BellChar", "ControlChar", "EscapeChar", "FormFeed", 
		"NewLine", "CarriageReturn", "Tab", "Backslash", "HexChar", "Dot", "DecimalDigit", 
		"NotDecimalDigit", "CharWithProperty", "CharWithoutProperty", "WhiteSpace", 
		"NotWhiteSpace", "WordChar", "NotWordChar", "CharacterClassStart", "CharacterClassEnd", 
		"Caret", "Hyphen", "QuestionMark", "Plus", "Star", "OpenBrace", "CloseBrace", 
		"Comma", "EndOfSubject", "Pipe", "OpenParen", "CloseParen", "LessThan", 
		"GreaterThan", "SingleQuote", "Underscore", "Colon", "Hash", "Equals", 
		"Exclamation", "Ampersand", "ALC", "BLC", "CLC", "DLC", "ELC", "FLC", 
		"GLC", "HLC", "ILC", "JLC", "KLC", "LLC", "MLC", "NLC", "OLC", "PLC", 
		"QLC", "RLC", "SLC", "TLC", "ULC", "VLC", "WLC", "XLC", "YLC", "ZLC", 
		"AUC", "BUC", "CUC", "DUC", "EUC", "FUC", "GUC", "HUC", "IUC", "JUC", 
		"KUC", "LUC", "MUC", "NUC", "OUC", "PUC", "QUC", "RUC", "SUC", "TUC", 
		"UUC", "VUC", "WUC", "XUC", "YUC", "ZUC", "D1", "D2", "D3", "D4", "D5", 
		"D6", "D7", "D8", "D9", "D0", "OtherChar", "UnderscoreAlphaNumerics", 
		"AlphaNumerics", "AlphaNumeric", "NonAlphaNumeric", "HexDigit", "ASCII",
	]

속성 값

string[]

ruleNames

string[] ruleNames

속성 값

string[]

serializedATN

string serializedATN

속성 값

string

SingleQuote

public static SingleQuote: 37 = 37

속성 값

37

SLC

public static SLC: 62 = 62

속성 값

62

Star

public static Star: 27 = 27

속성 값

27

SUC

public static SUC: 88 = 88

속성 값

88

Tab

public static Tab: 9 = 9

속성 값

9

TLC

public static TLC: 63 = 63

속성 값

63

TUC

public static TUC: 89 = 89

속성 값

89

ULC

public static ULC: 64 = 64

속성 값

64

Underscore

public static Underscore: 38 = 38

속성 값

38

UUC

public static UUC: 90 = 90

속성 값

90

VLC

public static VLC: 65 = 65

속성 값

65

VOCABULARY

public static VOCABULARY: Vocabulary = new VocabularyImpl(CommonRegexLexer._LITERAL_NAMES, CommonRegexLexer._SYMBOLIC_NAMES, [])

속성 값

Vocabulary

vocabulary

Vocabulary vocabulary

속성 값

Vocabulary

VUC

public static VUC: 91 = 91

속성 값

91

WhiteSpace

public static WhiteSpace: 17 = 17

속성 값

17

WLC

public static WLC: 66 = 66

속성 값

66

WordChar

public static WordChar: 19 = 19

속성 값

19

WUC

public static WUC: 92 = 92

속성 값

92

XLC

public static XLC: 67 = 67

속성 값

67

XUC

public static XUC: 93 = 93

속성 값

93

YLC

public static YLC: 68 = 68

속성 값

68

YUC

public static YUC: 94 = 94

속성 값

94

ZLC

public static ZLC: 69 = 69

속성 값

69

ZUC

public static ZUC: 95 = 95

속성 값

95

상속된 속성 세부 정보

atn

인식기에서 예측에 사용하는 serializedATN 가져옵니다.

atn: ATN

속성 값

ATN

Recognizer.atn에서 상속된

channel

channel: number

속성 값

number

Lexer.channel에서 상속된

charIndex

lookahead의 현재 문자 인덱스는 무엇인가요?

charIndex: number

속성 값

number

Lexer.charIndex에서 상속된

charPositionInLine

charPositionInLine: number

속성 값

number

Lexer.charPositionInLine에서 상속된

DEFAULT_MODE

static DEFAULT_MODE: number

속성 값

number

Lexer.DEFAULT_MODE 상속된

DEFAULT_TOKEN_CHANNEL

static DEFAULT_TOKEN_CHANNEL: number

속성 값

number

Lexer.DEFAULT_TOKEN_CHANNEL 상속된

EOF

static EOF: number

속성 값

number

Recognizer.EOF에서 상속된

HIDDEN

static HIDDEN: number

속성 값

number

Lexer.HIDDEN에서 상속된

inputStream

문자 스트림을 설정하고 렉서 다시 설정

inputStream: CharStream

속성 값

CharStream

Lexer.inputStream에서 상속된

interpreter

인식기에서 예측을 위해 사용하는 ATN 인터프리터를 설정합니다.

interpreter: LexerATNSimulator

속성 값

LexerATNSimulator

Recognizer.interpreter에서 상속된

line

line: number

속성 값

number

Lexer.line에서 상속된

MAX_CHAR_VALUE

static MAX_CHAR_VALUE: number

속성 값

number

Lexer.MAX_CHAR_VALUE에서 상속된

MIN_CHAR_VALUE

static MIN_CHAR_VALUE: number

속성 값

number

Lexer.MIN_CHAR_VALUE 상속된

MORE

static MORE: number

속성 값

number

Lexer.MORE에서 상속된

parseInfo

구문 분석/lex 중에 프로파일링하는 경우 ParseInfo 개체의 인식기에서 각 결정에 대한 DecisionInfo 레코드를 반환합니다.

parseInfo: Promise<ParseInfo | undefined>

속성 값

Promise<ParseInfo | undefined>

Recognizer.parseInfo에서 상속된

SKIP

static SKIP: number

속성 값

number

Lexer.SKIP에서 상속된

sourceName

sourceName: string

속성 값

string

Lexer.sourceName에서 상속된

state

인식기가 전달된 ATN 상태와 일치하는 내부 상태를 변경했음을 나타냅니다. 이렇게 하면 파서가 진행되면서 ATN에 있는 위치를 항상 알 수 있습니다. 규칙 컨텍스트 개체는 호출 규칙의 스택을 볼 수 있는 스택을 형성합니다. 이를 결합하면 완전한 ATN 구성 정보가 있습니다.

state: number

속성 값

number

Recognizer.state에서 상속된

text

이 토큰의 전체 텍스트를 설정합니다. 텍스트의 이전 변경 내용을 초기화합니다.

text: string

속성 값

string

Lexer.text에서 상속된

token

여러 토큰을 내보내는 경우 재정의합니다.

token: Token | undefined

속성 값

Token | undefined

Lexer.token에서 상속된

tokenFactory

tokenFactory: TokenFactory

속성 값

TokenFactory

Lexer.tokenFactory에서 상속된

type

type: number

속성 값

number

Lexer.type에서 상속된

상속된 메서드 세부 정보

action(RuleContext | undefined, number, number)

function action(_localctx: RuleContext | undefined, ruleIndex: number, actionIndex: number)

매개 변수

_localctx

RuleContext | undefined

ruleIndex

number

actionIndex

number

Recognizer.action에서 상속된

addErrorListener(ANTLRErrorListener<number>)

function addErrorListener(listener: ANTLRErrorListener<number>)

매개 변수

listener

ANTLRErrorListener<number>

Recognizer.addErrorListener에서 상속된

emit()

기본적으로 효율성상의 이유로 nextToken 호출당 여러 내보내기 기능을 지원하지 않습니다. 이 메서드, nextToken 및 getToken을 서브클래스하고 재정의합니다(이 구현처럼 단일 변수가 아닌 목록에 토큰을 푸시하고 해당 목록에서 끌어오기 위해).

function emit(): Token

반환

Token

Lexer.emit에서 상속된

emit(Token)

가장 바깥쪽 어휘 규칙에서 토큰을 자동으로 내보내기 위해 호출되는 표준 메서드입니다. 토큰 개체는 char 버퍼 시작을 가리킵니다. 멈추다. 'text'에 텍스트 재정의가 있는 경우 이를 사용하여 토큰의 텍스트를 설정합니다. 사용자 지정 토큰 개체를 내보내거나 새 팩터리를 제공하도록 이 메서드를 재정의합니다.

function emit(token: Token): Token

매개 변수

token

Token

반환

Token

Lexer.emit에서 상속된

emitEOF()

function emitEOF(): Token

반환

Token

Lexer.emitEOF에서 상속된

getAllTokens()

입력 문자 스트림의 모든 토큰 개체 목록을 반환합니다. 모든 토큰을 강제로 로드합니다. EOF 토큰을 포함하지 않습니다.

function getAllTokens(): Token[]

반환

Token[]

Lexer.getAllTokens에서 상속된

getCharErrorDisplay(number)

function getCharErrorDisplay(c: number): string

매개 변수

c

number

반환

string

Lexer.getCharErrorDisplay에서 상속된

getErrorDisplay(string | number)

function getErrorDisplay(s: string | number): string

매개 변수

s

string | number

반환

string

Lexer.getErrorDisplay에서 상속된

getErrorHeader(RecognitionException)

일반적으로 줄/문자 위치 정보인 오류 헤더란?

function getErrorHeader(e: RecognitionException): string

매개 변수

e

RecognitionException

반환

string

Recognizer.getErrorHeader에서 상속된

getErrorListenerDispatch()

function getErrorListenerDispatch(): ANTLRErrorListener<number>

반환

ANTLRErrorListener<number>

Recognizer.getErrorListenerDispatch에서 상속된

getErrorListeners()

function getErrorListeners(): Array<ANTLRErrorListener<number>>

반환

Array<ANTLRErrorListener<number>>

Recognizer.getErrorListeners에서 상속된

getRuleIndexMap()

규칙 이름에서 규칙 인덱스로 맵을 가져옵니다. XPath 및 트리 패턴 컴파일에 사용됩니다.

function getRuleIndexMap(): ReadonlyMap<string, number>

반환

ReadonlyMap<string, number>

Recognizer.getRuleIndexMap에서 상속된

getTokenType(string)

function getTokenType(tokenName: string): number

매개 변수

tokenName

string

반환

number

Recognizer.getTokenType에서 상속된

getTokenTypeMap()

토큰 이름에서 토큰 형식으로 맵을 가져옵니다. XPath 및 트리 패턴 컴파일에 사용됩니다.

function getTokenTypeMap(): ReadonlyMap<string, number>

반환

ReadonlyMap<string, number>

Recognizer.getTokenTypeMap에서 상속된

mode(number)

function mode(m: number)

매개 변수

m

number

Lexer.mode에서 상속된

more()

function more()

Lexer.more에서 상속된

nextToken()

이 원본에서 토큰을 반환합니다. 즉, 문자 스트림의 토큰과 일치합니다.

function nextToken(): Token

반환

Token

Lexer.nextToken에서 상속된

notifyListeners(LexerNoViableAltException)

function notifyListeners(e: LexerNoViableAltException)

매개 변수

e

LexerNoViableAltException

Lexer.notifyListeners에서 상속된

popMode()

function popMode(): number

반환

number

Lexer.popMode에서 상속된

precpred(RuleContext | undefined, number)

function precpred(localctx: RuleContext | undefined, precedence: number): boolean

매개 변수

localctx

RuleContext | undefined

precedence

number

반환

boolean

Recognizer.precpred에서 상속된

pushMode(number)

function pushMode(m: number)

매개 변수

m

number

Lexer.pushMode에서 상속된

recover(LexerNoViableAltException)

function recover(re: LexerNoViableAltException)

매개 변수

re

LexerNoViableAltException

Lexer.recover에서 상속된

recover(RecognitionException)

렉서는 일반적으로 토큰을 일치 한 후 어휘의 모든 문자를 일치 시킬 수 있습니다., 그래서 쉬운 일을 하 고 그냥 문자를 죽이고 모든 작동 희망. 대신 조각 규칙에 있는 경우 규칙 호출 스택을 사용하여 정교한 오류 복구를 수행할 수 있습니다.

function recover(re: RecognitionException)

매개 변수

re

RecognitionException

Lexer.recover에서 상속된

removeErrorListener(ANTLRErrorListener<number>)

function removeErrorListener(listener: ANTLRErrorListener<number>)

매개 변수

listener

ANTLRErrorListener<number>

Recognizer.removeErrorListener에서 상속된

removeErrorListeners()

function removeErrorListeners()

Recognizer.removeErrorListeners에서 상속된

reset()

function reset()

Lexer.reset에서 상속된

reset(boolean)

function reset(resetInput: boolean)

매개 변수

resetInput

boolean

Lexer.reset에서 상속된

sempred(RuleContext | undefined, number, number)

function sempred(_localctx: RuleContext | undefined, ruleIndex: number, actionIndex: number): boolean

매개 변수

_localctx

RuleContext | undefined

ruleIndex

number

actionIndex

number

반환

boolean

Recognizer.sempred에서 상속된

skip()

현재 렉서 규칙에 대한 토큰 만들기를 건너뛰고 다른 토큰을 찾으도록 렉서에 지시합니다. nextToken()은 렉서 규칙이 SKIP_TOKEN 설정된 토큰으로 완료되는 시점을 계속 확인합니다. 토큰 규칙의 끝에 token==undefined가 있으면 토큰 규칙이 만들어지고 내보내집니다.

function skip()

Lexer.skip에서 상속된