Co je shrnutí dokumentů a konverzací?
Důležité
Naše oblast Preview, Švédsko – střed, představuje naše nejnovější a neustále se vyvíjející techniky ladění LLM založené na modelech GPT. Můžete si je vyzkoušet s prostředkem jazyka ve Švédsku – střed.
Shrnutí konverzací je k dispozici pouze pomocí:
- REST API
- Python
- C#
Shrnutí je jednou z funkcí nabízených jazykem Azure AI, kolekcí algoritmů strojového učení a AI v cloudu pro vývoj inteligentních aplikací, které zahrnují napsaný jazyk. V tomto článku najdete další informace o této funkci a o tom, jak ji používat ve vašich aplikacích.
I když jsou služby označené jako dokumenty a souhrny konverzací, sumarizace dokumentů přijímá jenom bloky prostého textu a sumarizace konverzací přijímá různé artefakty řeči, aby se model mohl dozvědět více. Pokud chcete konverzaci zpracovat, ale záleží jenom na textu, můžete pro tento scénář použít souhrn dokumentů.
Tato dokumentace obsahuje následující typy článků:
- Rychlé starty jsou úvodní pokyny, které vás provedou prováděním požadavků na službu.
- Návody obsahují pokyny pro používání služby konkrétnějšími nebo přizpůsobenými způsoby.
Shrnutí dokumentů používá techniky zpracování přirozeného jazyka k vygenerování souhrnu dokumentů. K automatickému shrnutí existují tři podporované přístupy rozhraní API: extrakce, abstrakce a dotazování.
Extrahování souhrnů extrahuje věty, které souhrnně představují nejdůležitější nebo relevantní informace v původním obsahu. Abstraktivní shrnutí vygeneruje souhrn s stručnými, koherentními větami nebo slovy, která nejsou doslovným extrahováním vět z původního dokumentu. Tyto funkce jsou navržené tak, aby zkrátily obsah, který by se dal považovat za příliš dlouhý na čtení.
Podpora nativních dokumentů
Nativní dokument odkazuje na formát souboru použitý k vytvoření původního dokumentu, jako je Microsoft Word (docx) nebo přenosný soubor dokumentu (pdf). Podpora nativních dokumentů eliminuje potřebu předběžného zpracování textu před použitím funkcí prostředků Azure AI Language. V současné době je k dispozici nativní podpora dokumentů pro možnosti AbstractiveSummarization i ExtractiveSummarization.
Souhrn dokumentů v současné době podporuje následující nativní formáty dokumentů:
| Typ souboru | Přípona souboru | Popis |
|---|---|---|
| Text | .txt |
Neformátovaný textový dokument |
| Adobe PDF | .pdf |
Přenosný dokument naformátovaný souborem dokumentu |
| Microsoft Word | .docx |
Soubor dokumentu aplikace Microsoft Word. |
Další informace najdete v tématuPoužití nativních dokumentů ke zpracování jazyka.
Klíčové funkce
Toto rozhraní API obsahuje aspekty sumarizace dokumentů:
Extrakce souhrnu: Vytvoří souhrn extrahováním odsud vět v dokumentu.
- Více extrahovaných vět: Tyto věty souhrnně vyjadřují hlavní myšlenku dokumentu. Jedná se o původní věty extrahované z obsahu vstupního dokumentu.
- Skóre pořadí: Skóre pořadí označuje, jak je věta relevantní pro hlavní téma dokumentu. Shrnutí dokumentu řadí extrahované věty a můžete určit, jestli jsou vráceny v pořadí, ve kterém se zobrazují, nebo podle jejich pořadí.
- Více vrácených vět: Určete maximální počet vět, které se mají vrátit. Pokud například požadujete souhrnný souhrn se třemi větami, vrátí tři věty s nejvyšším skóre.
- Poziční informace: Počáteční pozice a délka extrahovaných vět.
Abstraktní shrnutí: Vygeneruje souhrn, který nepoužívá stejná slova jako v dokumentu, ale zachycuje hlavní myšlenku.
- Souhrnné texty: Abstraktní shrnutí vrátí souhrn pro každý kontextový vstupní rozsah v dokumentu. Dlouhý dokument je možné segmentovat, aby bylo možné vrátit více skupin souhrnných textů s kontextovým vstupním rozsahem.
- Kontextový vstupní rozsah: Oblast ve vstupním dokumentu, která byla použita k vygenerování souhrnného textu.
Shrnutí zaměřené na dotazy: Vygeneruje souhrn na základě dotazu.
Představte si například následující odstavec textu:
"V Microsoftu se snažíme posunout AI nad rámec stávajících technik, a to tím, že vezmeme komplexnější přístup zaměřený na člověka k učení a porozumění. Jako technický ředitel služeb Azure AI jsem pracoval s týmem úžasných vědců a inženýrů, aby tento úkol přeměnili na realitu. V mé roli si užívám jedinečnou perspektivu při prohlížení vztahu mezi třemi atributy lidského poznání: monolinguální text (X), zvukové nebo vizuální smyslové signály, (Y) a vícejazyčné (Z). V průsečíku všech tří je magie – co nazýváme XYZ-code, jak je znázorněno na obrázku 1 – společná reprezentace pro vytvoření výkonnější umělé inteligence, která umí mluvit, slyšet, vidět a lépe porozumět lidem. Věříme, že XYZ-code nám umožňuje plnit naši dlouhodobou vizi: výuku přenosu mezi doménami, různé způsoby a jazyky. Cílem je mít předem natrénované modely, které se společně učí reprezentace, aby podporovaly širokou škálu podřízených úkolů AI, a to způsobem, jakým dnes lidé dělají. Za posledních pět let jsme dosáhli lidského výkonu při rozpoznávání konverzační řeči, strojovém překladu, odpovídání na konverzační otázky, porozumění strojovému čtení a popis obrázků. Tyto pět převratů nám poskytlo silné signály směrem k naší ambicióznější snaze o dosažení schopností umělé inteligence, dosažení vícesměrového a vícejazyčného učení, které je blíže v souladu s tím, jak se lidé učí a chápou. Domnívám se, že společný kód XYZ-code je základní součástí této aspirace, pokud je založený na externích zdrojích znalostí v podřízených úkolech umělé inteligence."
Požadavek rozhraní API souhrnu dokumentů se zpracuje po přijetí požadavku vytvořením úlohy pro back-end rozhraní API. Pokud úloha proběhla úspěšně, vrátí se výstup rozhraní API. Výstup je k dispozici pro načtení po dobu 24 hodin. Po této době se výstup vyprázdní. Vzhledem k podpoře vícejazyčných a emoji může odpověď obsahovat posuny textu. Další informace najdete v tématu zpracování posunů.
Pokud použijeme výše uvedený příklad, rozhraní API může vrátit tyto souhrnné věty:
Extrakce souhrnu:
- "V Microsoftu se snažíme posunout AI nad rámec stávajících technik, a to tím, že vezmeme komplexnější přístup zaměřený na člověka k učení a porozumění."
- "Věříme, že XYZ-code nám umožňuje plnit naši dlouhodobou vizi: učení se přenosem mezi doménami, přes různé způsoby a jazyky."
- "Cílem je mít předem natrénované modely, které se společně učí reprezentace, aby podporovaly širokou škálu podřízených úkolů umělé inteligence, mnohem způsobem, jakým lidé dnes dělají."
Shrnutí abstrakce:
- "Microsoft přistupuje k učení a porozumění komplexnějšímu přístupu zaměřenému na člověka. Věříme, že XYZ-code nám umožňuje plnit naši dlouhodobou vizi: výuku přenosu mezi doménami, různé způsoby a jazyky. Za posledních pět let jsme dosáhli lidského výkonu na srovnávacích testech v konverzačním rozpoznávání řeči."
Začínáme se souhrnem
Pokud chcete použít sumarizaci, odešlete k analýze a zpracujete výstup rozhraní API ve vaší aplikaci. Analýza se provádí tak, jak je, bez přidaného přizpůsobení modelu používaného na vašich datech. Souhrn můžete použít dvěma způsoby:
| Možnost vývoje | Popis |
|---|---|
| Language Studio | Language Studio je webová platforma, která umožňuje vyzkoušet propojení entit s textovými příklady bez účtu Azure a vlastní data při registraci. Další informace najdete na webu language Studio nebo v rychlém startu language studio. |
| ROZHRANÍ REST API nebo klientská knihovna (Azure SDK) | Integrujte souhrn dokumentů do svých aplikací pomocí rozhraní REST API nebo klientské knihovny dostupné v různých jazycích. Další informace najdete v rychlém startu souhrnu. |
Požadavky na vstup a limity služeb
Referenční dokumentace a ukázky kódu
Při používání sumarizace dokumentů v aplikacích si projděte následující referenční dokumentaci a ukázky pro jazyk Azure AI:
| Možnost vývoje / jazyk | Referenční dokumentace | Ukázky |
|---|---|---|
| C# | Dokumentace k jazyku C# | Ukázky jazyka C# |
| Java | Dokumentace k Javě | Ukázky v Javě |
| JavaScript | Dokumentace k JavaScriptu | Ukázky JavaScriptu |
| Python | Dokumentace k Pythonu | Ukázky Pythonu |
Zodpovědná AI
Systém AI zahrnuje nejen technologii, ale také uživatele, kteří ho používají, osoby, které ho mají vliv, a prostředí nasazení. Přečtěte si poznámku k transparentnosti pro shrnutí , kde se dozvíte o zodpovědném používání a nasazení umělé inteligence ve vašich systémech. Další informace najdete v následujících článcích: