Strategier for generativ kunstig intelligens for matematikk- og dataspørringer

For tiden er det ulike meninger om hvor godt verktøy som ChatGPT eller andre språkmodeller håndterer matte- og dataspørringer. I denne artikkelen skal vi finne strategier og sette forventninger ved bygging av agenter i Copilot Studio som håndterer matematikk- og dataspørringer.

Definisjoner av matematiske og dataspørringer i denne artikkelen

Målet med denne artikkelen er ikke å vurdere om generativ kunstig intelligens kan hjelpe deg med å beregne omkretsen av et rektangel eller diameteren til en sirkel. Matematikk, i denne sammenhengen, refererer til typiske spørsmål om naturlig språk som noen vil stille en agent. Disse spørsmålene forutsetter at kunstig intelligens kan aggregere og tolke summer, gjennomsnitt og trender på tvers av kunnskapskildene eller datatabellene som brukes til å grunnfeste modellene.

Det ønskede resultatet, i dette tilfellet, er ikke å svare på en matematisk ligning. I stedet er det for å hjelpe brukeren med å evaluere eller forstå data mer effektivt. Når brukere leter etter dyp dataanalyse, for eksempel på jakt etter avansert prediktiv eller preskriptiv analyse, er en tilpasset agent vanligvis ikke det foretrukne verktøyet. Det er imidlertid flere agenter i Microsoft-stabelen som er mer direkte fokusert på analyse. Følgende agenter supplerer for eksempel språkmodellen med Microsoft-programkode for dette formålet:

• Legg til Copilot for appbrukere i modelldrevne apper
• Visualiser data i en visning med Power BI-tjenesten
• Microsoft 365 Copilot for salg
• Bygg inn en Power BI-rapport med en narrativ Copilot-visualisering
• Identifiser innsikt med Copilot i Excel

Dataaggregater i Natural Language Understanding

Når vi forankrer en agent i våre egne kunnskapskilder, forenkler vi oppdagelsen av informasjon forespurt av en bruker på naturlig språk. Husk at språkmodeller er utformet for å forutsi neste ord i en sekvens i stedet for å utføre streng matematikk. De kan imidlertid fortsatt gi nyttig innsikt og forklaringer. Denne innsikten går raskere ved informasjonsoppdagelse enn å bla gjennom resultater av nøkkelordsøk eller å bla manuelt gjennom alle oppføringene i en tabell.

Copilot Studio-agenter kan skanne kunnskapskilder på våre vegne. Disse agentene oppsummerer svar på tvers av emner, handlinger og kunnskapskilder, enten de involverer aggregeringer av numeriske data eller ikke. Men når vi jorder modellene med dataene våre, må vi kontekstualisere dataene som kreves for at AI skal svare. Basert på denne forståelsen vet vi når vi bør gi mer kontekst eller emnenoder. Denne ekstra forståelsen er relevant når nisjeord eller svært teknisk terminologi finnes i datakildene. Følgende er eksempler på dataspørringer som involverer matematiske uttrykk:

Eksempelspørsmål	Ting du bør vurdere
Hvor mange av våre kunder i Nord-Amerika kjøpte produkt X?	Denne spørringen omfatter flere strukturerte tabeller i en relasjonsdatabase, og ofte gjennomgang av hundrevis eller til og med tusenvis av oppføringer.
Hva var de totale kostnadene for reparasjonsarbeidselementer etter orkanen?	Denne spørringen omfatter en tabell med reparerte elementer, med en kolonne for kostnadene for hvert arbeidselement. Hvis tabellen har flere reparasjoner enn arbeidselementer relatert til orkanen, vil det være nødvendig med en kategori- eller årsakskolonne for at AI skal vite hvilke som er relatert til orkanen.
Hvilke av kundene våre sendte inn flest endringsforespørsler?	Denne spørringen omfatter en tabell med endringsforespørsler og relatert tabell med kundenavn. Denne teller imidlertid først forespørsler fra kunder, og returnerer deretter kunden med høyeste antall forespørsler (og ikke høyest kostnad i dollar).

Spørringsklarhet og -struktur

Språkmodeller er avhengige av hvor godt spørsmålet er formulert. En godt strukturert spørring som tydelig forklarer matematikkproblemet, definerer variabler og deler oppgaven inn i trinn, fører til mer nøyaktige svar. For eksempel fungerer det sannsynligvis bra å be om et direkte svar på et enkelt aritmetisk problem, men vage eller flerlagsspørsmål uten klar kontekst kan forvirre modellen.

Her er noen eksempler på spørringer basert på en strukturert kunnskapskilde, for eksempel en Dataverse-tabell. Dette eksemplet illustrerer tilføyelsen av en Power Apps Dataverse-tabell, som vist på bildet nedenfor.

Dataverse-tabellen ble lagt til som en kunnskapskilde og gitt en nøyaktig kunnskapsbeskrivelse, sammen med synonymer og ordlistedefinisjoner for å hjelpe den kunstige intelligensen å tolke dataene.

Spesifikke spørringer

Disse spørringene er spesifikke og begrenset til informasjonen som blir forespurt.

• "Kan du gi fullstendige detaljer om referanse for endringsordre PCO-1003, inkludert kontonavn, forespurt beløp og årsak til forespørsel?"
• – Hvor mange kontoer sendte inn endringsforespørsler i august 2024?
• "Hva er det totale antallet endringsordrer som er forespurt til dags dato?"
• – Hvilken kunde leverte den høyeste kostnadseffekten i 2024?

Generelle spørringer

Disse spørringene er generaliserte og vil sannsynligvis ikke konsekvent aggregere alle resultatene, sannsynligvis bare returnere de tre øverste resultatene.

• "Vennligst oppgi kontoene våre i rekkefølgen av deres respektive inntekter."
• «Oppgi endringsforespørslene som ble sendt inn i august i år, og inkluder endringsbeløp og status.»
• "Kan du liste opp alle endringsordreforespørsler som er sendt til dags dato?"

Notat

Aktivering eller deaktivering av den kunstige intelligensens evne til å bruke sin egen generelle kunnskap kan påvirke nøyaktigheten eller hensiktsmessigheten til de returnerte svarene.

Tips og triks

Her er noen forslag når du arbeider med Copilot Studio som hjelper deg å stille forventningene rundt generative svar som er avhengige av matematiske uttrykk.

• Planlegg for scenarier som fremhever de viktigste trendene, i stedet for å forvente beregninger over tusenvis av poster. Gjør oppmerksom på denne samtaletilnærmingen som oppsummerer i stedet for å spesifisere.

• Favoriser strukturerte kunnskapskilder (tabellformet fremfor ikke-tabellformede) for å optimalisere matematiske uttrykk.

• Støtt bestemte scenarier, og forstå avhengighetene for forskjellene. Legg for eksempel merke til forskjellen mellom disse to spørsmålene:

  • Hvilke av kundene våre sendte inn flest endringsforespørsler? Teller forespørsels-ID-er og returnerer kunden med flest forespørsler – og ignorerer andre kolonner

  • Hvilke av våre kunder har størst kostnadspåvirkning på tvers av endringsforespørsler? Summerer kolonnen for kostnadspåvirkning etter kunde, og returnerer kunden som sendte det høyeste totale dollarbeløpet. Den returnerer bare denne informasjonen hvis den finner en passende kolonne som er numerisk eller valutabasert.

• Pass på at du identifiserer og definerer numeriske kolonner for beregninger. Forsikre deg om at de er formatert med riktig datatype, både på kunnskapskildenivået og når de brukes i alle Copilot Studio-variabler. Når det er mulig, tar du med en tydelig beskrivelse og vanlige synonymer for de relevante kolonnene i tabellene, kolonnene eller handlingsbeskrivelsene.

  Tips

  Med naturlig språkforståelse, hvis tabelloverskriftene er for tekniske i navneprotokollen, kan det hende at AI ikke kan svare på de menneskesentriske spørsmålene som stilles under samtaleflyten. Legg til beskrivelser med typisk ordlyd som brukes av brukerne.

• Erkjenn at folk bare får svar over dataene de har tillatelse til å se. En salgstabell i Dataverse kan for eksempel bare vise noen oppføringer for bestemte forretningsgrupper, men ikke alle. Så vær sikker på at agenten din ikke setter feil forventninger til hvordan dataene oppsummeres. f.eks., en forespørsel om totalt salg i 2024 summerer bare de eide eller delte postene.

• Sett alltid forbrukernes forventninger til AI-drevne svar. Bruk Samtalestarten for agent eller den første meldingen etter emneutløsere til å fremheve formålet med og begrensningene ved en eller flere relevante kunnskapskilder.

Bruk spørringshandlinger for AI Builder

Med spørringshandlinger kan du legge til funksjoner for generativ kunstig intelligens fra Power Apps i agentene og løsningene i Copilot Studio. Denne funksjonen lar deg utføre oppgaver som klassifisering, oppsummering, generering av utkast til innhold, datatransformasjon og mye mer. Med spørringshandlinger kan du også skreddersy svar fra generativ kunstig intelligens slik at de bruker bestemte filtre og aggregasjoner fra tabeller.

På følgende skjermbilde ser du hvordan en Copilot Studio-utvikler brukte AI Builder-spørringshandlinger i Copilot Studio til å oppsummere forespørsler om endring av ordre fra både tabellen Forretningsforbindelse og den relaterte PCO-tabellen.

I det foregående eksemplet ble ikke agentens kunnskapskilder brukt. Spørringen omfatter i stedet den dynamiske spørringsvariabelen for Nummer for forretningsforbindelse og en tabell fra Dataverse som data.

Tips

Relaterte tabeller antas av kunstig intelligens og trenger ikke legges til i dette tilfellet. (PCO-tabellen har en mange-til-én-relasjon til Forretningsforbindelser.)