TensorFlow ile doğal dil işlemeye giriş

Tamamlandı

Bu modülde, doğal dil metniyle ilgilenmek için farklı sinir ağı mimarilerini keşfedeceğiz. Son yıllarda Doğal Dil İşleme (NLP), hem dil modeli mimarilerindeki iyileştirmeler hem de giderek daha büyük metin corporası üzerinde eğitilmeleri nedeniyle alan olarak hızlı bir büyüme yaşadı. Sonuç olarak, metinleri "anlama" yetenekleri büyük ölçüde geliştirilmiştir.

NLP'yi TensorFlow'da tensor olarak temsil etme ve klasik NLP mimarilerine (örneğin, sözcük torbaları, eklemeler ve yinelenen sinir ağları) odaklanmak istiyoruz.

Doğal dil görevleri

Sinir ağlarını kullanarak çözebileceğimiz birkaç NLP görevi vardır:

• Metin Sınıflandırması , bir metin parçasını önceden tanımlanmış birkaç sınıftan birinde sınıflandırmamız gerektiğinde kullanılır. E-posta istenmeyen posta algılama, haber kategorilere ayırma, bir kategoriye destek isteği atama ve daha fazlası buna örnek olarak verilebilir.
• Amaç Sınıflandırması , konuşma yapay zeka sistemindeki bir giriş konuşmasını tümceciğin gerçek anlamını veya kullanıcının amacını temsil eden amaçlardan birine eşlemek istediğimiz belirli bir metin sınıflandırması örneğidir.
• Yaklaşım Analizi , belirli bir metin parçasının pozitiflik derecesini anlama görevidir. Bu, bir sınıflandırma görevi (örneğin, metni pozitif, negatif veya nötr olarak etiketleme) veya bir regresyon görevi olarak ele alınabilir; burada metinleri en negatiften (-1) en pozitife (+1) etiketleyebilir ve giriş metninin pozitifliğini temsil eden bir sayı veren bir model eğitebiliriz.
• Adlandırılmış Varlık Tanıma (NER), metinden tarihler, adresler, kişi adları vb. varlıkları ayıklama görevidir. Amaç sınıflandırmasıyla birlikte, NER genellikle iletişim sistemlerinde kullanıcının konuşmasından parametreleri ayıklamak için kullanılır.
• Keyword Extraction'a benzer bir görev, metin içindeki en anlamlı sözcükleri bulmak ve bunları etiket olarak kullanmak için kullanılabilir.
• Metin Özetleme , en anlamlı metin parçalarını ayıklar ve kullanıcıya özgün metnin sıkıştırılmış bir sürümünü verir.
• Soru Yanıtlama , bir metin parçasından yanıt ayıklama görevidir. Bu model giriş olarak bir metin parçası ve bir soru alır ve yanıtı içeren metin içinde tam yeri bulur. Örneğin, "John, Microsoft Learn'u kullanmayı seven 22 yaşında bir öğrencidir" metni ve John'un kaç yaşında olduğu sorusu bize 22 yanıtını vermelidir.

Bu modülde çoğunlukla Metin Sınıflandırma görevine odaklanacağız. Ancak, gelecekte daha zor görevleri yerine getirmek için ihtiyacımız olan tüm önemli kavramları öğreneceğiz.