Token interface
TokenizerFunction반환된 개별 토큰입니다.
속성
| end | 외부 문자열 내에서 토큰의 끝 문자 위치입니다. |
| normalized | 토큰의 정규화된 형식입니다. 여기에는 소문자 또는 형태소 분석과 같은 항목이 포함될 수 있습니다. |
| start | 외부 문자열 내에서 토큰의 문자 위치를 시작합니다. |
| text | 토큰의 원래 텍스트입니다. |
속성 세부 정보
end
외부 문자열 내에서 토큰의 끝 문자 위치입니다.
end: number속성 값
number
normalized
토큰의 정규화된 형식입니다. 여기에는 소문자 또는 형태소 분석과 같은 항목이 포함될 수 있습니다.
normalized: string속성 값
string
start
외부 문자열 내에서 토큰의 문자 위치를 시작합니다.
start: number속성 값
number
text
토큰의 원래 텍스트입니다.
text: string속성 값
string