Použití textového souhrnu (Preview)

V tomto článku se dozvíte, jak používat textové souhrny s Azure AI Video Indexerem. Tento příklad používá nasazení modelu Azure OpenAI.

Poznámka:

Tato funkce funguje jenom se standardním účtem. Vytvořte standardní účet.

Požadavky

• Projděte si přehled texual sumarizace.

Cloud

• Účet Azure AI Video Indexer připojený k účtu Azure OpenAI.

• Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. O přístup k Azure OpenAI můžete požádat vyplněním formuláře.

• Nasazení Azure OpenAI gpt-35-turbo nebo gpt-4 Pokud chcete těžit ze souhrnů založených na klíčových rámcích, musíte vybrat model Azure Open AI, který přijímá vizuální vstup. Další informace najdete tady: Modely služby Azure OpenAI.

• Do nasazení by se měl přidat filtr Prompt Shields pro přímé útoky (jailbreak). Další informace najdete tady: Použití filtrů obsahu (Preview) se službou Azure OpenAI.

• Doporučujeme nakonfigurovat škodlivé filtry obsahu pro kategorie, jako je násilí, nenávist, sexuální a sebepoškozování. I když tyto filtry nejsou povinné, měli byste je nastavit na "Střední" nebo "Nízká", abyste odfiltrovali obsah alespoň střední úrovně škodlivé. Toto nastavení zajistí, že obsah s hodnocením škodlivého stavu střední nebo vyšší je zablokovaný. Pokud chcete zvýšit bezpečnost, můžete zvolit přísnější nastavení. Po nakonfigurování uložte nastavení filtru obsahu.

• Video nahrané do knihovny Azure AI Video Indexeru

Poznámka:

Azure AI Video Indexer se nemůže připojit k jemně vyladěným modelům.

Edge

Azure AI Video Indexer povolený službou Arc umožňuje používat Azure AI Video Indexer na hraničních zařízeních. Toto jsou technické požadavky pro tento případ použití:

• Video Indexer je povolený pomocí arc čísla verze 1.1.23 nebo vyšší.
• Požadavky na hardware: GPU nebo Procesor Intel. Spuštění na procesoru může být velmi pomalé a nedoporučuje se. Doporučujeme používat Nvidia V100 nebo vyšší. Pokud existuje více uzlů GPU, můžete přidat selektor uzlu a vybrat požadovaný uzel.
• Použití klíčových snímků v rámci souhrnu vyžaduje Nvidia A100 nebo vyšší.
• Shrnutí textu videa na Edgi používá pouze model Phi3.5. Další informace o hardwaru najdete v oficiálním vydání phi 3.5.

Otevření webových stránek v prohlížeči

Pokud už máte otevřené potřebné webové stránky, je jednodušší postupovat podle těchto pokynů. Zkopírujte a vložte následující parametry do oblíbeného textového editoru. Tady je seznam, který vám umožní začít:

• ID účtu VI:
• ID videosouboru:
• název nasazení:
• přístupový token:

1. Otevřete Azure Portal na jedné kartě nebo okně a přihlaste se.
   1. Přejděte na stránku účtu Azure AI Video Indexeru pro ID účtu.
   2. Přejděte na stránku účtu Azure OpenAI.
      1. V nabídce vyberte Nasazení modelu a pak vyberte Spravovat nasazení. Otevře se Azure OpenAI Studio. Zkopírujte název nasazení, který chcete použít.
2. Otevřete webový portál Azure AI Video Indexer na jiné kartě nebo okně a přihlaste se.
   1. Přejděte na stránku knihovny, zvolte video a klikněte na něj pravým tlačítkem myši pro ID videosouboru.
3. Otevřete rozhraní API služby Azure AI Video Indexer na jiné kartě nebo okně a přihlaste se.

Webová

Generování souhrnu textu s klíčovými snímky nebo bez

K shrnutí textu můžete použít webový portál Azure AI Video Indexer.

1. Pokud ještě nemáte otevřený webový portál, otevřete webový portál Azure AI Video Indexer.
2. Nahrajte soubor a počkejte, až se indexuje.
3. Výběrem videa přejděte na stránku multimédií.
4. Pokud chcete k vytvoření souhrnu použít klíčové rámce, zaškrtněte políčko Zahrnout přehledy klíčových snímků vizuálu, abyste získali lepší souhrn kvality.
5. Vyberte Vygenerovat souhrn. Vygeneruje se textový souhrn.

Poznámka:

Pokud se vám tlačítko Generovat souhrn nezobrazuje, možná používáte zkušební účet. Vytvořte standardní účet pro použití této funkce.

Souhrnná přizpůsobení

Jakmile se souhrn vygeneruje, můžete ho upravit přizpůsobením stylu souhrnu nebo změnou nasazení modelu.

Přizpůsobení stylu souhrnu

Souhrn můžete také přizpůsobit výběrem ikony Přizpůsobit souhrn . Můžete si vybrat z krátkých, **středních nebo dlouhých délky souhrnu a jako styl souhrnu můžete zvolit Neutrální, Neformální nebo Formální . Jakmile vyberete volby, vyberte Znovu vygenerovat.

Změna nasazení modelu

1. Vyberte ikonu Přizpůsobit souhrn.
2. V rozevíracím seznamu Nasazení modelu vyberte nasazení modelu, které chcete použít.
3. Znovu vyberte Generovat.

Poznámka:

Nezapomeňte, že nasazení modelu je kombinací modelu a filtrů. Navíc pokaždé, když přizpůsobíte souhrn textu, představuje požadavek API PUT.

Rozhraní API

Vytvoření souhrnu videa

Vygenerování přístupového tokenu

Vygenerování přístupového tokenu na webu Azure Portal:

1. Přejděte ke svému účtu Azure AI Video Indexeru.
2. V nabídce vyberte Správa a rozhraní API pro správu.
3. V rozevíracím seznamu Typ oprávnění vyberte Přispěvatel.
4. V rozevíracím seznamu Obor vyberte Účet.
5. Vyberte Generovat. Vygeneruje se přístupový token.
6. Zkopírujte přístupový token do schránky.

Měli byste mít všechny parametry potřebné k vytvoření souhrnu videa připraveného na přechod do textového editoru.

1. Na stránce rozhraní API služby Azure AI Video Indexer vyhledejte souhrn.
2. Vyberte tlačítko Vyzkoušet vedle možnosti Vytvořit souhrn videa. Otevře se podokno parametrů rozhraní API.
3. Vložte přístupový token do schránky do pole accessToken .
4. V rozevíracím seznamu umístění vyberte umístění.
5. Zkopírujte a vložte ID účtu VI do pole accountId .
6. Zkopírujte ID videosouboru a vložte ho do pole videoId .
7. V rozevíracím seznamu délky zvolte délku souhrnu, střední, krátké nebo dlouhé.
8. V rozevíracím seznamu stylů zvolte styl, neutrální, neformální nebo formální.
9. Vyberte Odeslat.

V odpovědi je souhrnné ID. Toto ID zkopírujte do schránky.

Získání souhrnu videa

Nejprve zkontrolujte souhrnný stav. Dokud se souhrnná úloha nedokončí, zobrazí se ve stavu "Zpracování", ale v odpovědi není žádný souhrn. Po dokončení souhrnné úlohy se souhrn zobrazí v odpovědi.

1. Vyberte ZÍSKAT souhrn videa.
2. Zadejte ID účtu, ID videa, souhrnné ID a přístupový token do příslušných polí.
3. Vyberte Odeslat.

Poznámka:

V odpovědi na souhrn je vždy k dispozici právní omezení. V hlavičce Umístění je také odkaz na rozhraní API stavu úlohy.

Výpis souhrnů videa

Souhrny videa můžete zobrazit podle stránky. Vyberte ZÍSKAT souhrny videa a použijte stejné parametry, které už jsou popsané. Pokud je k dispozici velký seznam souhrnů, použijte parametry stránky k vrácení odpovědi na stránkách. Použijte ID souhrnu pro požadavek GET Video Summary.

Odstranění souhrnu videa

Odstranění souhrnu videa je stejně jednoduché jako výběr del delete video summary, using the same parameters, and selecting Send.

Kódy chyb

Žádost	Stavový kód	Chybová zpráva	Typ chyby	Důvod	Zmírnění
Vytvoření souhrnu videa	400	Účet není připojený k Azure OpenAI	INVALID_INPUT		Přejděte na web Azure Portal a připojte účet.
Vytvoření souhrnu videa	400	Nenašlo se žádné nasazení s tímto názvem: {deploymentName}	INVALID_INPUT		Zkontrolujte řetězec názvu nasazení.
Vytvoření souhrnu videa	400	Tento model nepodporuje generování souhrnů.	INVALID_INPUT		Volba jiného modelu
Vytvoření souhrnu videa	400	Souhrn se nepovedlo vygenerovat, protože model AI musí mít přidané filtry obsahu, aby se zabránilo zobrazení škodlivého obsahu. " + $"Přidejte následující zásady: {string. Join(";", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak))}." + $"Nastavit allowedContentLevel na alespoň {AllowedContentLevel.Medium} pro oba zdroje {FilterSource.Prompt} a {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Zobrazit chybovou zprávu
Vytvoření souhrnu videa	400	Video se nenašlo	VIDEO_NOT_FOUND
Vytvoření souhrnu videa	400	Indexování videa ještě nebylo úspěšně dokončeno.	VIDEO_ALREADY_IN_PROGRESS
Vytvoření souhrnu videa	400	Neplatná hodnota délky souhrnu {length}	INVALID_INPUT
Vytvoření souhrnu videa	400	Neplatná hodnota stylu souhrnu {style}	INVALID_INPUT
Získání souhrnu videa	200	NA	NA
Získání souhrnu videa	404	Souhrn {summaryId} nebyl nalezen pro video {videoId}.	NOT_FOUND
Získání souhrnu videa	200	Souhrn se nepovedlo vygenerovat, protože obsah videa byl označen jako škodlivý. Podrobnosti najdete v tématu Filtry obsahu.	NA	Všechny oddíly ve videu aktivovaly filtr obsahu.	Pro konkrétní video neexistuje žádné řešení.
Získání souhrnu videa	200	K vygenerování souhrnu není dostatek informací.	NA	Přehledy videí neobsahují dostatek informací, aby bylo možné vytvořit výzvy pro Azure OpenAI.	Pokud předvolba videa neobsahuje všechny modely, může vám pomoct přeindexování s pokročilejší předvolbou, která obsahuje zvuk.
Získání souhrnu videa	200	Nasazení Azure OpenAI pro prostředek {_resourceName} se nepovedlo získat.
Získání souhrnu videa	200	Nasazení {DeploymentName} neexistuje.
Získání souhrnu videa	200	Azure OpenAI se nepodařilo dosáhnout. Zkuste souhrn spustit znovu později.			Zkuste úlohu sumarizace zopakovat později.
Vytvoření souhrnu videa				Žádné přiřazení role
Získání souhrnu videa				Žádné přiřazení role

Řešení problému

Než budete hledat konkrétní řešení, ujistěte se, že jste prostředky vytvořili v části Požadavky dokumentu.

Vygenerování souhrnu se nezobrazuje

Možná jste svůj účet Azure OpenAI nepřipojili k účtu Azure AI Video Indexer správně.

Souhrn se nepovedlo vygenerovat.

• Abyste zabránili zobrazování škodlivého obsahu, musíte do nasazení přidat filtry obsahu. Vraťte se do studia Azure OpenAI a přidejte do nasazení filtry.
• Možná jste vytvořili filtr obsahu, který má citlivý nebo škodlivý obsah. Filtr obsahu musí být alespoň střední. Pokud filtr obsahu nastavíte na Střední A škodlivý obsah zůstane ve videu, aktivuje se filtr. V tomto případě neexistuje žádné řešení.
• Možná jste nepožádali o přepis nebo během procesu indexování není vygenerováno dostatek informací.
• Možná používáte pokročilou předvolbu.
• Video nemusí mít dostatek zvuku k vytvoření transformace.

Nejde použít nasazení modelu nebo chybějící nasazení

• Možná jste nevytvořili nasazení.
• Někdo možná změnil nebo odstranil nasazený model.

Omezování

Do VI se může posílat příliš mnoho požadavků. Počkejte několik minut a zkuste to znovu.

Zobrazí se chyba Filtr nebyl nalezen.

Pokud se zobrazí chyba, že filtr nebyl nalezen, zobrazí se podrobná chyba popisující chybějící informace. Chyba vypadá nějak takto, ale může obsahovat podrobnosti o dalších chybějících věcech:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Poznámka:

Filtr jailbreaku se vyžaduje jenom v případě, že se k 1. listopadu 2024 používá souhrn založený na klíčových rámcích nebo pravidelný souhrn.

Řešení problému s jailbreakem:

1. Vyberte Přejít na Azure Open AI Studio.
2. Vyberte Nasazení.
3. Vyberte nasazení, se kterým pracujete.
4. Vyberte položku Upravit.
5. Nakonfigurujte filtry tak, aby měly pro každou kategorii alespoň střední úroveň.
6. Použijte stínění výzvy k útokům s jailbreakem.
7. Vyberte Vytvořit filtr.

Ostatní úvahy

Doporučujeme vytvořit účty Azure AI Video Indexer a Azure OpenAI ve stejné oblasti nebo můžete zaznamenat problémy s výkonem.