Özet
Bu modülde metin gösterimi, eklemeler, geleneksel yinelenen ağ modelleri ve üretken ağlar gibi Doğal Dil İşleme'nin temellerini öğrendiniz. Çoğunlukla metin sınıflandırmasına odaklandık ve adlandırılmış varlık tanıma, makine çevirisi ve soru yanıtlama gibi diğer önemli görevleri ayrıntılı olarak ele almadık. Bu görevleri uygulamak için, aynı temel RNN ilkeleri farklı bir üst katman mimarisiyle kullanılır. NLP alanını daha iyi anlamak için bu sorunlardan bazılarını da denemeniz gerekir.
Word2Vec gibi geleneksel eklemelerin aynı sözcüğün farklı anlamlarını ayırt edemediğini belirterek eklemeler birimine bağlamsal ekleme kavramını tanıttık. Bu sınırlama, birçok görev için büyük ölçüde RNN'lerin yerini alan dikkat mekanizmalarının ve transformatör mimarilerinin kullanımını teşvik eder. BERT gibi modeller, tümcedeki tüm sözcükler arasındaki ilişkileri sırayla işlemek yerine aynı anda yakalamak için dikkati kullanır. Bu modülde ele alınan RNN temellerini anlamak, bu yeni mimarilerin neden geliştirildiğini anlamanıza yardımcı olur.
GPT ailesi gibi büyük dil modelleri (LLM) metin oluşturmayı daha da ileriye götürür. Bu modellerden yalnızca NLP'de paradigma değişimine yol açan bir başlangıç dizisi sağlayarak farklı görevleri çözmeleri istenebilir. NLP hakkında ciddi olmak istiyorsanız, transformatör tabanlı modelleri ve önceden eğitilmiş birçok modele kolay erişim sağlayan Hugging Face Transformers kitaplığını keşfetmeniz gerekir.