Använda textsammanfattning (förhandsversion)

Den här artikeln visar hur du använder textsammanfattning med Azure AI Video Indexer. I det här exemplet används Azure OpenAI-modelldistributioner.

Kommentar

Den här funktionen fungerar bara med ett standardkonto. Skapa ett standardkonto.

Förutsättningar

• Granska översikten över den texuala sammanfattningen.

Moln

• Ett Azure AI Video Indexer-konto som är anslutet till ett Azure OpenAI-konto.

• Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande måste man ansöka om att få åtkomst till den här tjänsten. Du kan ansöka om åtkomst till Azure OpenAI genom att fylla i formuläret.

• En Azure OpenAI gpt-35-turbo- eller gpt-4-distribution . Om du vill dra nytta av nyckelramsbaserade sammanfattningar måste du välja en Azure Open AI-modell som accepterar visuella indata. Läs mer här: Azure OpenAI Service-modeller.

• Filtret Prompt Shields for direct attacks (jailbreak) bör läggas till i distributionen. Läs mer här: Använd innehållsfilter (förhandsversion) med Azure OpenAI Service.

• Vi rekommenderar att du konfigurerar skadliga innehållsfilter för kategorier som "Violence", "Hate", "Sexual" och "Self-harm". Även om dessa filter inte är obligatoriska bör du ställa in dem på antingen "Medium" eller "Low" för att filtrera bort innehåll på minst den medelhöga nivån av skadlighet. Den här inställningen säkerställer att innehåll med en skadlighetsklassificering på medelhög eller högre blockeras. För ökad säkerhet kan du välja en striktare inställning. Spara inställningarna för innehållsfilter när du har konfigurerat det.

• En video som laddats upp till ditt Azure AI Video Indexer-bibliotek.

Kommentar

Azure AI Video Indexer kan inte ansluta till finjusterade modeller.

Edge

Med Azure AI Video Indexer som aktiveras av Arc kan du använda Azure AI Video Indexer på gränsenheter. Följande är de tekniska kraven för det här användningsfallet:

• Video Indexer Aktiverad av Arc av versionsnummer 1.1.23 eller senare.
• Maskinvarukrav: GPU eller Intel CPU. Det kan vara mycket långsamt att köra processorn och rekommenderas inte. Vi rekommenderar att du använder Nvidia V100 eller senare. Om det finns flera GPU-noder kan du lägga till en nodväljare för att välja önskad nod.
• Att använda nyckelrutor som en del av sammanfattningen kräver Nvidia A100 eller senare.
• Textvideosammanfattning på Edge använder endast Phi3.5-modellen. Mer information om maskinvara finns i den officiella versionen av Phi 3.5.

Öppna webbsidor i webbläsaren

Det är lättare att följa dessa instruktioner om du redan har de webbsidor som behövs öppna. Kopiera och klistra in följande parametrar i din favorittextredigerare. Här är en lista för att komma igång:

• VI-konto-ID:
• videofil-ID:
• distributionsnamn:
• åtkomsttoken:

1. Öppna Azure Portal i en flik eller ett fönster och logga in.
   1. Gå till kontosidan för Azure AI Video Indexer för konto-ID:t.
   2. Gå till azure OpenAI-kontosidan
      1. På menyn väljer du Modelldistributioner och sedan Hantera distributioner. Azure OpenAI Studio öppnas. Kopiera det distributionsnamn som du vill använda.
2. Öppna webbportalen för Azure AI Video Indexer på en annan flik eller ett annat fönster och logga in.
   1. Gå till bibliotekssidan, välj en video och högerklicka sedan på den för videofil-ID:t.
3. Öppna API:et för Azure AI Video Indexer på en annan flik eller ett annat fönster och logga in.

Webb

Generera en textsammanfattning med eller utan nyckelrutor

Du kan använda Webbportalen för Azure AI Video Indexer för att sammanfatta text.

1. Om du inte redan har webbportalen öppen öppnar du Webbportalen för Azure AI Video Indexer.
2. Ladda upp en fil och vänta tills den indexeras.
3. Välj videon för att navigera till mediesidan.
4. Om du vill använda nyckelramar för att skapa sammanfattningen väljer du kryssrutan Inkludera visuella nyckelraminsikter för att få en bättre kvalitetssammanfattning.
5. Välj Generera sammanfattning. Textsammanfattningen genereras.

Kommentar

Om du inte ser knappen Generera sammanfattning kan du använda ett utvärderingskonto. Skapa ett standardkonto för att använda den här funktionen.

Sammanfattningsanpassningar

När sammanfattningen har genererats kan du göra justeringar i den genom att anpassa sammanfattningsformatet eller ändra modelldistributionen.

Anpassa sammanfattningsformat

Du kan också anpassa sammanfattningen genom att välja ikonen Anpassa sammanfattning . Du kan välja mellan korta, **medelstora eller långa sammanfattningslängder, och du kan välja Neutral, Ledig eller Formell som sammanfattningsformat. När du har valt väljer du Generera igen.

Ändra modelldistribution

1. Välj ikonen Anpassa sammanfattning.
2. Välj den modelldistribution som du vill använda i listrutan Modelldistribution .
3. Välj Generera igen.

Kommentar

Kom ihåg att modelldistributionen är en kombination av modellen och filtren. Varje gång du anpassar textsammanfattningen representerar den dessutom en API PUT-begäran.

API

Skapa en videosammanfattning

Generera en åtkomsttoken

Generera en åtkomsttoken i Azure Portal:

1. Gå till ditt Azure AI Video Indexer-konto.
2. På menyn väljer du Hantering och sedan Hanterings-API.
3. I listrutan Behörighetstyp väljer du Deltagare.
4. I listrutan Omfång väljer du Konto.
5. Välj Generera. Åtkomsttoken genereras.
6. Kopiera åtkomsttoken till Urklipp.

Du bör ha alla parametrar som behövs för att skapa en videosammanfattning redo att gå i textredigeraren.

1. På sidan API för Azure AI Video Indexer söker du efter sammanfattning.
2. Välj knappen Prova bredvid Skapa videosammanfattning. Fönstret API-parametrar öppnas.
3. Klistra in åtkomsttoken i Urklipp i fältet accessToken .
4. Välj platsen i listrutan plats .
5. Kopiera och klistra in VI-konto-ID:t i fältet accountId .
6. Kopiera videofil-ID:t och klistra in det i fältet videoId .
7. Välj längden på sammanfattningen, medel, kort eller lång, i listrutan längd .
8. Välj stil, neutral, avslappnad eller formell i listrutan.
9. Välj Skicka.

I svaret finns ett sammanfattnings-ID. Kopiera det ID:t till Urklipp.

Hämta en videosammanfattning

Kontrollera först sammanfattningsstatusen. Tills sammanfattningsjobbet är klart visar tillståndsvärdet "Bearbetning", men det finns ingen sammanfattning i svaret. När sammanfattningsjobbet är klart visas sammanfattningen i svaret.

1. Välj HÄMTA videosammanfattning.
2. Ange konto-ID, video-ID, sammanfattnings-ID och åtkomsttoken i lämpliga fält.
3. Välj Skicka.

Kommentar

Det finns alltid en friskrivning i svaret om sammanfattningen. Det finns också en länk till jobbstatus-API:et i platshuvudet .

Lista videosammanfattningar

Du kan visa en lista över videosammanfattningar efter sida. Välj VIDEOsammanfattningar för GET-lista och använd samma parametrar som redan beskrivits. Om det finns en stor lista med sammanfattningar använder du sidparametrarna för att returnera svaret på sidor. Använd sammanfattnings-ID:t för GET Video Summary-begäran.

Ta bort en videosammanfattning

Att ta bort videosammanfattningen är lika enkelt som att välja TA BORT videosammanfattning, använda samma parametrar och välja Skicka.

Felkoder

Förfrågan	Statuskod	Felmeddelande	Feltyp	Anledning	Riskreducering
Skapa videosammanfattning	400	Kontot är inte anslutet till Azure OpenAI	INVALID_INPUT		Gå till Azure Portal och anslut ett konto.
Skapa videosammanfattning	400	Ingen distribution hittades med det här namnet: {deploymentName}	INVALID_INPUT		Kontrollera distributionsnamnsträngen.
Skapa videosammanfattning	400	Den här modellen har inte stöd för att generera sammanfattningar.	INVALID_INPUT		Välj en annan modell
Skapa videosammanfattning	400	Det gick inte att generera en sammanfattning eftersom AI-modellen måste ha lagt till innehållsfilter för att undvika att skadligt innehåll visas. " + $"Lägg till följande principer: {string. Join(",", Enum.GetValues<FilterType>(). Where(type => type != FilterType.JailBreak))}." + $"Ange AllowedContentLevel till minst {AllowedContentLevel.Medium} för båda källorna {FilterSource.Prompt} och {FilterSource.Completion}	SUMMARY_FILTERS_NOT_FOUND		Se felmeddelande.
Skapa videosammanfattning	400	Videon kunde inte hittas	VIDEO_NOT_FOUND
Skapa videosammanfattning	400	Videoindexeringen har inte slutförts än	VIDEO_ALREADY_IN_PROGRESS
Skapa videosammanfattning	400	Ogiltigt sammanfattningslängdvärde {length}	INVALID_INPUT
Skapa videosammanfattning	400	Ogiltigt värde för sammanfattningsformat {style}	INVALID_INPUT
Get-Video-Summary	200	Inte tillämpligt	Inte tillämpligt
Get-Video-Summary	404	Sammanfattningen {summaryId} hittades inte för videon {videoId}	NOT_FOUND
Get-Video-Summary	200	Det gick inte att generera en sammanfattning eftersom videoinnehållet flaggades som skadligt. Mer information finns i Innehållsfilter	NA	Alla avsnitt i videon har utlöst innehållsfiltret.	Det finns ingen lösning för den specifika videon.
Get-Video-Summary	200	Det finns inte tillräckligt med information för att generera en sammanfattning.	NA	Videoinsikterna innehåller inte tillräckligt med information för att skapa prompter för Azure OpenAI	Om förinställningen för videon inte innehåller alla modeller kan det vara till hjälp att indexera om med en mer avancerad förinställning som innehåller ljud.
Get-Video-Summary	200	Det gick inte att hämta Azure OpenAI-distributioner för resursen {_resourceName}
Get-Video-Summary	200	Distributionen {DeploymentName} finns inte
Get-Video-Summary	200	Det gick inte att nå Azure OpenAI. Försök att köra sammanfattningen igen senare.			Försök att sammanfatta jobbet igen senare.
Skapa videosammanfattning				Ingen rolltilldelning
Get-Video-Summary				Ingen rolltilldelning

Felsökning

Innan du letar efter specifika lösningar måste du se till att du har skapat resurserna i avsnittet Förutsättningar i dokumentet.

Generera sammanfattning visas inte

Du kanske inte har anslutit ditt Azure OpenAI-konto till Azure AI Video Indexer-kontot korrekt.

Det gick inte att generera en sammanfattning

• Du måste lägga till innehållsfilter i distributionen för att undvika att visa skadligt innehåll. Gå tillbaka till Azure OpenAI Studio och lägg till filter i distributionen.
• Du kan ha skapat ett tillåtande innehållsfilter för innehåll som har känsligt eller skadligt innehåll. Innehållsfiltret måste vara minst Medel. Om du ställer in innehållsfiltret på Medel och skadligt innehåll finns kvar i videon utlöses filtret. I det här fallet finns det ingen lösning.
• Du kanske inte har bett om en avskrift eller så kanske det inte finns tillräckligt med information som genereras under indexeringsprocessen.
• Du kanske använder en avancerad förinställning.
• Videon kanske inte har tillräckligt med ljud för att skapa en transformering.

Det går inte att använda en modelldistribution eller distribution som saknas

• Du kanske inte har skapat någon distribution.
• Någon kan ha ändrat eller tagit bort den distribuerade modellen.

Begränsning

Det kan finnas för många begäranden som skickas till VI. Vänta i ett par minuter och försök sedan igen.

Du får felet "filtret hittades inte"

Om ett filter inte hittas får du ett detaljerat fel som beskriver vad som saknas. Felet ser ut ungefär så här, men kan innehålla information om andra saker som saknas:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Kommentar

Jailbreak-filtret krävs endast när du använder en nyckelramsbaserad sammanfattning eller en vanlig sammanfattning från och med den 1 november 2024.

Så här löser du problemet med jailbreak:

1. Välj Gå till Azure Open AI Studio.
2. Välj Distributioner.
3. Välj den distribution som du arbetar med.
4. Välj Redigera.
5. Konfigurera filtren så att de har minst medelhög nivå för varje kategori.
6. Använd promptsköldar för jailbreak-attacker.
7. Välj Skapa filter.

Övriga beaktanden

Vi rekommenderar att du skapar Azure AI Video Indexer- och Azure OpenAI-konton i samma region, eller så kan det uppstå prestandaproblem.