Använda textsammanfattning

Den här artikeln visar hur du använder textsammanfattning med Azure AI Video Indexer. I det här exemplet används Azure OpenAI-modelldistributioner.

Kommentar

Den här funktionen fungerar bara med ett betalt konto. Skapa ett betalt konto.

Förutsättningar

Granska översikt över textsammanfattning och följande förutsättningar.

Moln

• Ett Betalkonto för Azure AI Video Indexer som är anslutet till ett Azure OpenAI-konto.

• Åtkomst beviljad till Azure OpenAI i den önskade Azure-prenumerationen. För närvarande beviljas åtkomst till den här tjänsten genom ansökan. Mer information om hur du ansöker om åtkomst till Azure OpenAI finns i Begränsad åtkomst för Azure OpenAI Service.

• En Azure OpenAI driftsättning av GPT-35-Turbo, GPT-4, GPT-4o eller GPT-4O-mini. Om du vill dra nytta av nyckelramsbaserade sammanfattningar måste du välja en Azure OpenAI-modell som accepterar visuella indata. Mer information finns i Azure OpenAI Service-modeller.

• Filtret Prompt Shields för direkta attacker (jailbreak) bör läggas till i utplaceringen. Läs mer här: Använd innehållsfilter (förhandsversion) med Azure OpenAI Service.

• Vi rekommenderar att du konfigurerar skadliga innehållsfilter för kategorier som "Violence", "Hate", "Sexual" och "Self-harm". Även om dessa filter inte är obligatoriska bör du ställa in dem på antingen "Medium" eller "Low" för att filtrera bort innehåll på minst den medelhöga nivån av skadlighet. Den här inställningen säkerställer att innehåll med en skadlighetsklassificering på medelhög eller högre blockeras. För ökad säkerhet kan du välja en striktare inställning. Spara inställningarna för innehållsfilter när du har konfigurerat det.

• En video som laddats upp till ditt Azure AI Video Indexer-bibliotek.

Kommentar

Azure AI Video Indexer kan inte ansluta till finjusterade modeller.

Edge-enheter

Med Azure AI Video Indexer som aktiveras av Arc kan du använda Azure AI Video Indexer på gränsenheter. Följande är de tekniska kraven för det här användningsfallet:

• Video Indexer aktiveras av Arc med versionsnummer 1.1.23 eller senare.
• Maskinvarukrav: GPU- eller Intel-processorer. Vi rekommenderar inte att du kör på processorer på grund av långsam hastighet. Vi rekommenderar att du använder Nvidia V100 eller högre GPU:er. Om det finns flera GPU-noder kan du lägga till en nodväljare för att välja önskad nod.
• Att använda nyckelrutor som en del av sammanfattningen kräver Nvidia A100 eller senare.
• Textvideosammanfattning på kanten använder endast Phi3.5-modellen. Mer information om maskinvara finns i information om den officiella versionen av Phi 3.5.

Öppna webbsidor i webbläsaren

Det är lättare att följa dessa instruktioner om du redan har de webbsidor som behövs öppna. Kopiera och klistra in följande parametrar i din favorittextredigerare. Här är en lista för att komma igång:

• VI-konto-ID:
• videofil-ID:
• distributionsnamn:
• åtkomsttoken:

1. Öppna Azure Portal i en flik eller ett fönster och logga in.
   1. Gå till kontosidan för Azure AI Video Indexer för konto-ID:t.
   2. Gå till azure OpenAI-kontosidan
      1. På menyn väljer du Modelldistributioner och sedan Hantera distributioner. Azure OpenAI Studio öppnas. Kopiera det distributionsnamn som du vill använda.
2. Öppna webbportalen för Azure AI Video Indexer på en annan flik eller ett annat fönster och logga in.
   1. Gå till bibliotekssidan, välj en video och högerklicka sedan på den för videofil-ID:t.
3. Öppna API:et för Azure AI Video Indexer på en annan flik eller ett annat fönster och logga in.

Webb

Generera en textsammanfattning med eller utan nyckelrutor

Du kan använda Webbportalen för Azure AI Video Indexer för att sammanfatta text.

1. Om du inte redan har webbportalen öppen öppnar du Webbportalen för Azure AI Video Indexer.
2. Ladda upp en fil och vänta tills den indexeras.
3. Välj videon för att navigera till mediesidan.
4. Om du vill använda nyckelrutor för att skapa sammanfattningen väljer du alternativet Inkludera visuella nyckelraminsikter för att få bättre kvalitetssammanfattning .
5. Välj Generera sammanfattning. Textsammanfattningen genereras.

Kommentar

Om du inte ser knappen Generera sammanfattning kanske du använder ett utvärderingskonto. Om du vill använda den här funktionen skapar du ett standardkonto.

Sammanfattningsanpassningar

När sammanfattningen har genererats kan du göra justeringar i den genom att anpassa sammanfattningsformatet eller ändra modelldistributionen.

Anpassa sammanfattningsformat

Du kan också anpassa sammanfattningen genom att välja ikonen Anpassa sammanfattning . Du kan välja mellan korta, medelstora eller långa sammanfattningslängder och du kan välja Neutral, Ledig eller Formell som sammanfattningsformat. När du har valt väljer du Generera igen.

Ändra modellutplacering

1. Välj ikonen Anpassa sammanfattning.
2. Välj den modelldistribution som du vill använda i listrutan Modelldistribution .
3. Välj Generera igen.

Kommentar

Kom ihåg att modelldistributionen är en kombination av modellen och filtren. Varje gång du anpassar textsammanfattningen representerar den dessutom en API PUT-begäran.

Application Programming Interface

Skapa en videosammanfattning

Generera en åtkomsttoken

Generera en åtkomsttoken i Azure Portal:

1. Gå till ditt Azure AI Video Indexer-konto.
2. På menyn väljer du Hantering och sedan Hanterings-API.
3. I listrutan Behörighetstyp väljer du Deltagare.
4. I listrutan Omfång väljer du Konto.
5. Välj Generera. Åtkomsttoken genereras.
6. Kopiera åtkomsttoken till din Urklippshanterare.

Du bör ha alla parametrar som behövs för att skapa en videosammanfattning redo att gå i textredigeraren.

1. På sidan API för Azure AI Video Indexer söker du efter sammanfattning.
2. Välj knappen Prova bredvid Skapa videosammanfattning. Fönstret API-parametrar öppnas.
3. Klistra in åtkomsttoken från Urklipp i fältet accessToken.
4. Välj platsen i listrutan plats .
5. Kopiera och klistra in VI-konto-ID:t i fältet accountId .
6. Kopiera videofil-ID:t och klistra in det i fältet videoId .
7. Välj längden på sammanfattningen, medel, kort eller lång, i listrutan längd .
8. Välj stil, neutral, avslappnad eller formell i listrutan.
9. Välj Skicka.

I svaret finns ett sammanfattnings-ID. Kopiera det ID:t till Urklipp.

Anpassa en textvideosammanfattning

Anpassa textsammanfattning med den valfria addToEndOfSummaryInstructions parametern till API:et Skapa videosammanfattning. Använd den här parametern för att förbättra textsammanfattningen av videon genom att inkludera ytterligare information på naturligt språk. Du kan till exempel använda den för att inkludera information om de personer som visas, allmänna ämnen som diskuteras och varumärken som nämns i videon.

Genom att anpassa sammanfattningen ser du till att videosammanfattningen är omfattande och anpassad efter dina behov.

Så här anpassar du en sammanfattning:

1. Få åtkomst till Video Indexer-API:et. Du måste göra ett POST-anrop till API:et Skapa videosammanfattning.
2. Lägg till parametern addToEndOfSummaryInstructions . Inkludera parametern &addToEndOfSummaryInstructions=["Your prompt"] i URL:en när du gör POST-anropet. Den här parametern är valfri och kan användas för att lägga till ytterligare information i sammanfattningen. "Din fråga" är den ytterligare information som du vill inkludera i sammanfattningen.
3. Koda parametern som URL. Kontrollera att den ytterligare informationen är URL-kodad. Om du till exempel vill lägga till "kända personer eller kändisar som visas i videon, de allmänna ämnena i videon och alla varumärken som nämns i den", använder du: &addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it.

Här är ett exempel på hur du använder parametern addToEndOfSummaryInstructions :

POST
https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/Summaries/Textual?deploymentName={deploymentName}&includedFrames={None/Keyframes}&addToEndOfSummaryInstructions=the+known+people+or+celebrities+appearing+in+the+video+the+general+topics+of+the+video+and+all+of+the+brands+mentioned+in+it

Exemplet efter anropet resulterar i en sammanfattning som slutar med innehåll som:

Known people or celebrities appearing in the video: Satya Nadella
General topics: Technology, Microsoft Build Keynotes, AI, GenAI
Brands mentioned: Microsoft, Phi Models.

Hämta en videosammanfattning

Kontrollera först sammanfattningsstatusen. Tills sammanfattningsjobbet är klart visar tillståndsvärdet "Bearbetning", men det finns ingen sammanfattning i svaret. När sammanfattningsjobbet är klart visas sammanfattningen i svaret.

1. Välj HÄMTA videosammanfattning.
2. Ange konto-ID, video-ID, sammanfattnings-ID och åtkomsttoken i lämpliga fält.
3. Välj Skicka.

Kommentar

Det finns alltid en ansvarsfriskrivning i svaret gällande sammanfattningen. Det finns också en länk till jobbstatus-API:et i location-huvudet.

Lista videosammanfattningar

Du kan visa en lista över videosammanfattningar efter sida. Välj VIDEOsammanfattningar för GET-lista och använd samma parametrar som redan beskrivits. Om det finns en stor lista med sammanfattningar använder du sidparametrarna för att returnera svaret på sidor. Använd sammanfattnings-ID:t för GET Video Summary-begäran.

Ta bort en videosammanfattning

Att ta bort videosammanfattningen är lika enkelt som att välja TA BORT videosammanfattning, använda samma parametrar och välja Skicka.

Felkoder

Förfrågan	Statuskod	Felmeddelande	Feltyp	Anledning	Riskreducering
Skapa videosammanfattning	400	Kontot är inte anslutet till Azure OpenAI	OGILTIGT_INDATA		Gå till Azure Portal och anslut ett konto.
Skapa videosammanfattning	400	Ingen distribution hittades med det här namnet: {deploymentName}	OGILTIGT_INDATA		Kontrollera distributionsnamnsträngen.
Skapa videosammanfattning	400	Den här modellen har inte stöd för att generera sammanfattningar.	OGILTIGT_INDATA		Välj en annan modell
Skapa videosammanfattning	400	Det gick inte att generera en sammanfattning eftersom AI-modellen måste ha lagt till innehållsfilter för att undvika att skadligt innehåll visas. " + $"Lägg till följande principer: {string.Join(",", Enum.GetValues<FilterType>().Where(type => type != FilterType.JailBreak))}." + $"Ställ in AllowedContentLevel till minst {AllowedContentLevel.Medium} för båda källorna {FilterSource.Prompt} och {FilterSource.Completion}"	SAMMANFATTNINGSFILTER_INTE_FUNNA		Se felmeddelande.
Skapa videosammanfattning	400	Videon kunde inte hittas	VIDEO_NOT_FOUND
Skapa videosammanfattning	400	Videoindexeringen har inte slutförts än	VIDEO_REDAN_PÅGÅENDE
Skapa videosammanfattning	400	Ogiltigt sammanfattningslängdvärde {length}	OGILTIGT_INDATA
Skapa videosammanfattning	400	Ogiltigt värde för sammanfattningsstil {style}	OGILTIGT_INDATA
Skaffa-video-sammanfattning	200	Inte tillämpligt	Inte tillämpligt
Skaffa-video-sammanfattning	404	Sammanfattningen {summaryId} hittades inte för videon {videoId}	Inte hittad
Skaffa-video-sammanfattning	200	Det gick inte att generera en sammanfattning eftersom videoinnehållet flaggades som skadligt. Mer information finns i Innehållsfilter.	Inte tillämpligt	Alla avsnitt i videon har utlöst innehållsfiltret.	Det finns ingen lösning för den specifika videon.
Skaffa-video-sammanfattning	200	Det finns inte tillräckligt med information för att generera en sammanfattning.	Inte tillämpligt	Videoinsikterna innehåller inte tillräckligt med information för att skapa prompter för Azure OpenAI	Om förinställningen för videon inte innehåller alla modeller kan det vara till hjälp att indexera om med en mer avancerad förinställning som innehåller ljud.
Skaffa-video-sammanfattning	200	Det gick inte att hämta Azure OpenAI-distributioner för resursen {_resourceName}
Skaffa-video-sammanfattning	200	Distributionen {DeploymentName} finns inte
Skaffa-video-sammanfattning	200	Det gick inte att nå Azure OpenAI. Försök att köra sammanfattningen igen senare.			Försök att sammanfatta jobbet igen senare.
Skapa videosammanfattning				Ingen rolltilldelning
Skaffa-video-sammanfattning				Ingen rolltilldelning

Felsökning

Innan du letar efter specifika lösningar måste du se till att du har skapat resurserna i avsnittet Förutsättningar i dokumentet.

Generera sammanfattning visas inte

Ditt Azure OpenAI-konto kan vara felaktigt anslutet till ditt Azure AI Video Indexer-konto.

Det gick inte att generera en sammanfattning

• Du måste lägga till innehållsfilter i distributionen för att undvika att visa skadligt innehåll. Gå tillbaka till Azure OpenAI Studio och lägg till filter i distributionen.
• Du har skapat ett tillåtande innehållsfilter för innehåll som har känsligt eller skadligt innehåll. Innehållsfiltret måste vara minst Medel. Om du ställer in innehållsfiltret på Medel och skadligt innehåll finns kvar i videon utlöses filtret. I det här fallet finns det ingen lösning.
• Du begärde ingen avskrift eller så kanske det inte finns tillräckligt med information som genererats under indexeringsprocessen.
• Du kanske använder en avancerad förinställning.
• Videon kanske inte har tillräckligt med ljud för att skapa en transformering.

Det går inte att använda en modellimplementering eller så saknas distributionen

• Du har inte skapat någon distribution.
• Någon har ändrat eller tagit bort den distribuerade modellen.

Strypning

Det kan finnas för många begäranden som skickas till VI. Vänta i ett par minuter och försök sedan igen.

Du får felet "filtret hittades inte"

Om ett filter inte hittas får du ett detaljerat fel som beskriver vad som saknas. Felet kan likna följande exempel, men kan ha information om andra saker som saknas:

ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.

Kommentar

Jailbreak-filtret krävs endast när du använder en nyckelramsbaserad sammanfattning eller en vanlig sammanfattning från och med den 1 november 2024.

Så här löser du problemet med jailbreak:

1. Välj Gå till Azure Open AI Studio.
2. Välj Distributioner.
3. Välj den distribution som du arbetar med.
4. Välj Redigera.
5. Konfigurera filtren så att de har minst medelhög nivå för varje kategori.
6. Använd promptsköldar för jailbreak-attacker.
7. Välj Skapa filter.

Övriga beaktanden

Vi rekommenderar att du skapar Azure AI Video Indexer- och Azure OpenAI-konton i samma region, eller så kan det uppstå prestandaproblem.