Udtræk multimodal information med Azure Content Understanding

Fuldført

Azure Content Understanding bruger avancerede AI-modeller til at analysere indhold i flere formater, herunder:

• Tekstbaserede formularer og dokumenter
• Lyd
• Billeder
• Video

Analyse af formularer og dokumenter

Azure Content Understandings dokumentanalysefunktioner går ud over simpel OCR-baseret tekstudtrækning til også at omfatte skemabaseret udtrækning af felter og deres værdier.

Antag f.eks., at du definerer et skema, der indeholder de almindelige felter, der typisk findes på en faktura, f.eks.:

• Leverandørnavn
• Fakturanummer
• Fakturadato
• Kundenavn
• Brugerdefineret adresse
• Items – de bestilte varer, som hver især indeholder:
  • Varebeskrivelse
  • Enhedspris
  • Antal, der er bestilt.
  • Total for linjeelement
• Fakturasubtotaler
• Moms
• Forsendelsesgebyr
• Fakturatotal

Lad os antage, at du skal udtrække disse oplysninger fra følgende faktura:

Azure Content Understanding kan anvende fakturaskemaet på din faktura og identificere de tilsvarende felter, selv når de er mærket med forskellige navne (eller slet ikke mærket). Den resulterende analyse giver et resultat som dette:

For hvert registreret felt udtrækkes værdien fra fakturaen:

• Leverandørnavn: Adventure Works Cycles
• Fakturanummer: 1234
• Fakturadato: 07-03-2025
• Kundenavn: John Smith
• Brugerdefineret adresse: 123 River Street, Marshtown, England, GL1 234
• Elementer:
  • Element 1:
    • Varebeskrivelse: 38" racercykel (rød)
    • Enhedspris: 1299,00
    • Bestilt antal: 1
    • Linjeelement i alt: 1299,00
  • Element 2:
    • Varebeskrivelse: Cykelhjelm (sort)
    • Enhedspris: 25,99
    • Bestilt antal: 1
    • Linjeelement i alt: 25,99
  • Element 3:
    • Varebeskrivelse: Cykelskjorte (L)
    • Enhedspris: 42,50
    • Bestilt antal: 2
    • Linjeelement i alt: 85,00
• Fakturasubtotaler: 1409,99
• Skat: 140,99
• Forsendelsesgebyr: 35.00
• Faktura i alt: 1585,98

Analyse af lyd

Ud over tekstbaserede dokumenter kan Azure Content Understanding analysere lydfiler for at levere transskriptioner, resuméer og andre vigtige indsigter.

Lad os antage, at du vil have AI til at opsummere din talebesked. Du kan definere et skema med nøgleindsigt, der skal udtrækkes fra hvert optagede opkald, f.eks.:

• Opkalds
• Meddelelsesoversigt
• Anmodede handlinger
• Tilbagekaldsnummer
• Alternative kontaktoplysninger

Lad os antage, at en opkalder efterlader dig følgende talebesked:

Hi, this is Ava from Contoso.

Just calling to follow up on our meeting last week.

I wanted to let you know that I've run the numbers and I think we can meet your price expectations.

Please call me back on 555-12345 or send me an e-mail at Ava@contoso.com and we'll discuss next steps.

Thanks, bye!

Ved at bruge Azure Content Understanding til at analysere lydoptagelsen og anvende dit skema giver du følgende resultater:

• Kalder: Ava fra Contoso
• Meddelelsesoversigt: Ava fra Contoso ringede for at følge op på et møde og nævnte, at de kan opfylde prisforventningerne. Hun anmodede om et tilbagekald eller en mail for at diskutere de næste trin.
• Anmodede handlinger: Ring tilbage, eller send en mail for at diskutere de næste trin.
• Tilbagekaldsnummer: 555-12345
• Alternative kontaktoplysninger: Ava@contoso.com

Analyse af billeder og video

Azure Content Understanding understøtter analyse af billeder og video for at udtrække information baseret på et brugerdefineret skema. Du kan f.eks. analysere billeder af en videokonference for at udtrække oplysninger om fremmøde, placering og andre oplysninger.

Lad os antage, at du har defineret følgende skema for et billede, der er taget af et samarbejdsbaseret meddelelsessystem, der kombinerer deltagere i lokalet og eksterne deltagere på et telefonmødesystem:

• Lokation
• Personer, der deltager personligt
• Eksterne deltagere
• Samlet antal deltagere

Du kan bruge Azure Content Understanding til at analysere følgende stillbillede fra mødelokalets kamera:

Når det foregående skema anvendes på dette billede, producerer Azure Content Understanding følgende resultater:

• Placering: Mødelokale
• Personligt mødedeltagere: 1
• Eksterne deltagere: 3
• Deltagere i alt: 4

Hvis du i stedet for at analysere stillbilledet skulle oprette en analyse for optaget video af opkaldet. Skemaet kan omfatte antal fremmøde i forskellige tidsintervaller, oplysninger om, hvem der talte under opkaldet, og hvad de sagde, en oversigt over diskussionen og en liste over tildelte handlinger fra mødet.