Inledning
För att datorsystem ska tolka ämnet för en text på ett liknande sätt som människor gör använder de bearbetning av naturligt språk (NLP), ett område inom AI som handlar om att förstå skriftligt eller talat språk och svara in natura. Textanalys beskriver NLP-processer som extraherar information från ostrukturerad text.
Några vanliga användningsfall för NLP-textanalys är:
- Tal till text och text-till-tal-konvertering. Generera till exempel undertexter för videor.
- Maskinöversättning. Du kan till exempel översätta text från engelska till japanska.
- Textklassificering. Du kan till exempel märka ett e-postmeddelande som skräppost eller inte skräppost.
- Entitetsextrahering. Du kan till exempel extrahera nyckelord eller namn från ett dokument.
- Svar på frågor. Ge till exempel svar på frågor som "Vad är frankrikes huvudstad?"
- Textsammanfattning. Generera till exempel en kort sammanfattning med ett stycke från ett dokument med flera sidor.
Historiskt sett har NLP varit utmanande eftersom vårt språk är komplext och datorer har svårt att förstå text. I den här modulen får du lära dig hur utvecklingen inom AI och specifikt NLP har lett till de modeller vi använder idag.
Nu ska vi undersöka några allmänna principer och vanliga tekniker som används för att utföra textanalys och andra NLP-uppgifter.