요약
이 학습 모듈에서는 텍스트 표현, 전통적인 되풀이 네트워크 모델, 거의 최신 모델에 이르는 자연어 처리의 모든 기본 사항을 주의 깊게 살펴보았습니다. 하지만 텍스트 분류를 중점적으로 살펴보았을 뿐 명명된 엔터티 인식, 기계 번역, 질문 답변 같은 다른 중요한 작업은 자세히 설명하지 않았습니다. 이러한 작업을 구현하기 위해 다른 최상위 계층 아키텍처와 동일한 기본 RNN 원칙이 사용됩니다. NLP 필드를 더 완벽하게 이해하려면 이러한 문제 중 일부를 실험해 보아야 합니다.
부상 중인 NLP의 또 다른 영역은 모델 시각화 및 검색입니다. 이 방향을 BERTology라고도 합니다. 이전 단원에서 살펴본 것처럼 주의 행렬을 시각화하면 기계 번역의 작동 방식과 단어를 번역할 때 모델이 “어떻게 보이는지”에 대한 많은 내용을 확인할 수 있습니다. BERT 내부 구조를 이해하는 다른 효과적인 방법이 있습니다.
GPT-2/3 같은 최신 텍스트 생성 모델은 텍스트 생성에 적합한 “초기 시퀀스”를 제공하는 것만으로 다양한 작업을 해결하도록 “프로그래밍”할 수 있다는 점에서 BERT와는 약간 다릅니다. 따라서 전이 학습 훈련을 수행하는 대신 미리 훈련된 거대한 네트워크에 적합한 질문을 만드는 데 중점을 두는 패러다임의 전환으로 이어질 수 있습니다. NLP에 대해 진지하게 생각하려면 GPT-2 또는 Microsoft Turing NLG와 같은 최신 텍스트 생성 모델 중 일부를 탐색해야 합니다.
이제 자연어 작업을 시작할 수 있는 기본 사항이 갖추어졌습니다!