สรุป

เสร็จสมบูรณ์เมื่อ

ในโมดูล Learn นี้ เราได้ครอบคลุมพื้นฐานทั้งหมดของการประมวลผลภาษาธรรมชาติเช่น: การแทนค่าข้อความ แบบจําลองเครือข่ายที่เกิดซ้ําแบบดั้งเดิม และใกล้กับแบบจําลองที่ล้ําสมัยด้วยความใส่ใจ เรากําลังมุ่งเน้นส่วนใหญ่ในการจัดประเภทข้อความและไม่กล่าวถึงรายละเอียดงานที่สําคัญอื่น ๆ เช่นการรู้จําเอนทิตีที่มีชื่อการแปลด้วยเครื่องและการตอบคําถาม เพื่อใช้งานเหล่านั้น จะใช้หลักการ RNN พื้นฐานเดียวกันกับสถาปัตยกรรมเลเยอร์บนสุดที่แตกต่างกัน เพื่อให้เข้าใจเขตข้อมูล NLP ที่สมบูรณ์มากขึ้น คุณควรทดลองกับปัญหาเหล่านั้นด้วยเช่นกัน

หนึ่งในพื้นที่ที่เกิดขึ้นใหม่ของ NLP คือการแสดงภาพและการใช้แบบจําลอง ทิศทางนี้ยังเรียกว่า BERTology อย่างที่เราได้เห็นในหน่วยก่อนหน้า การแสดงภาพเมทริกซ์ความสนใจสามารถบอกเราได้มากมายเกี่ยวกับวิธีการแปลด้วยเครื่องและตําแหน่งที่แบบจําลอง "มีลักษณะ" เมื่อแปลคํา มีวิธีการที่มีประสิทธิภาพอื่น ๆ ในการทําความเข้าใจภายใน BERT

แบบจําลองการสร้างข้อความล่าสุดเช่น GPT-2/3 จะแตกต่างกันเล็กน้อยจาก BERT ในแง่ที่ว่าพวกเขาสามารถ "โปรแกรม" เพื่อแก้ไขงานที่แตกต่างกันเพียงแค่ให้ "ลําดับเริ่มต้น" สําหรับการสร้างข้อความ ซึ่งอาจนําไปสู่การเปลี่ยนกระบวนทัศน์ที่เป็นไปได้ซึ่งแทนที่จะทําการฝึกอบรมการเรียนรู้การถ่ายโอนเราจะมุ่งเน้นไปที่การสร้างคําถามที่เหมาะสมสําหรับเครือข่ายที่ได้รับการฝึกอบรมล่วงหน้าของยักษ์ หากคุณต้องการจริงจังกับ NLP คุณอาจต้องสํารวจบางแบบจําลองที่สร้างข้อความล่าสุด เช่น GPT-2หรือ Microsoft Turing NLG

ตอนนี้คุณมีพื้นฐานเพื่อเริ่มต้นใช้งานงานภาษาธรรมชาติแล้ว!