Bevezetés a természetes nyelvi feldolgozásba a TensorFlow használatával

  • 1 perc

Ebben a modulban különböző neurális hálózati architektúrákat ismerünk meg a természetes nyelvű szövegek kezeléséhez. Az elmúlt években a természetes nyelvi feldolgozás (NLP) gyorsan növekedett mezőként, mind a nyelvi modell architektúráinak fejlesztései, mind pedig az egyre nagyobb méretű szöveg korpuszra való betanításuk miatt. Ennek eredményeképpen jelentősen javult a szöveg "megértésének" képessége.

Az NLP tenzorként való ábrázolásának alapvető szempontjaira összpontosítunk a TensorFlow-ban, valamint a klasszikus NLP-architektúrákra, például a szózsákra, beágyazásokra és rekurrens neurális hálózatokra.

Természetes nyelvi feladatok

Több NLP-feladatot is megoldhatunk neurális hálózatokkal:

  • A szövegbesorolás akkor használatos, ha egy szövegrészletet több előre definiált osztály egyikébe kell besorolnunk. Ilyenek például az e-mailek levélszemét-észlelése, a hírek kategorizálása, a támogatási kérések kategóriához rendelése stb.
  • A szándékbesorolás a szövegbesorolás egyik konkrét esete, amelyben a beszélgetési AI-rendszerben egy bemeneti kimondott szöveget szeretnénk a kifejezés vagy a felhasználó szándékának tényleges jelentését képviselő szándékok egyikébe képezni.
  • A hangulatelemzés egy adott szöveg pozitivitási fokának megértése. Meg lehet közelíteni besorolási feladatként (például a szöveg pozitív, negatív vagy semlegesként való címkézéséhez), vagy regressziós tevékenységként, ahol a legtöbb negatív (-1) szövegről a legtöbb pozitívra (+1) címkézünk fel szöveget, és betanítunk egy modellt, amely a bemeneti szöveg pozitivitását képviselő számot ad ki.
  • A nevesített entitásfelismerés (NER) az entitások szövegből való kinyerésének feladata, például dátumok, címek, személyek neve stb. A szándékbesorolással együtt a NER-t gyakran használják a párbeszédpanel-rendszerekben paraméterek kinyerésére a felhasználó kimondott szövegéből.
  • A kulcsszókinyerés hasonló feladatával megtalálhatja a szöveg legérthetőbb szavait, amelyek aztán címkékként is használhatók.
  • A szövegösszesítés kinyeri a legérthetőbb szövegrészeket, így a felhasználó az eredeti szöveg tömörített verzióját kapja.
  • A kérdés megválaszolása a válasz egy szövegrészből való kinyerésének feladata. Ez a modell bemenetként egy szövegrészletet és egy kérdést vesz fel, és megkeresi a választ tartalmazó szöveg pontos helyét. Például a "John egy 22 éves tanuló, aki szereti használni a Microsoft Learn-t", és a kérdés , hogy John hány éves, meg kell adnia nekünk a választ 22.

Ebben a modulban elsősorban a szövegbesorolási feladatra összpontosítunk. Azonban megismerjük azokat a fontos fogalmakat, amelyekre ahhoz van szükségünk, hogy a jövőben nehezebb feladatokat kezeljünk.