Utvecklingsalternativ för Cognitive Services

Det här dokumentet innehåller en översikt över utveckling och distributionsalternativ på hög nivå som hjälper dig att komma igång med Azure Cognitive Services.

Azure Cognitive Services är molnbaserade AI-tjänster som gör det möjligt för utvecklare att bygga in intelligens i sina program och produkter utan djup kunskap om maskininlärning. Med Cognitive Services har du åtkomst till AI-funktioner eller modeller som har skapats, tränats och uppdaterats av Microsoft – redo att användas i dina program. I många fall har du också möjlighet att anpassa modellerna efter dina affärsbehov.

Cognitive Services är indelat i fyra kategorier: Beslut, Språk, Tal och Vision. Vanligtvis kommer du åt dessa tjänster via REST-API:er, klientbibliotek och anpassade verktyg (t.ex. kommandoradsgränssnitt) som tillhandahålls av Microsoft. Detta är dock bara en väg till framgång. Via Azure har du också åtkomst till flera utvecklingsalternativ, till exempel:

  • Automatiserings- och integrationsverktyg som Logic Apps och Power Automate.
  • Distributionsalternativ som Azure Functions och App Service.
  • Cognitive Services Docker-containrar för säker åtkomst.
  • Verktyg som Apache Spark, Azure Databricks, Azure Synapse Analytics och Azure Kubernetes Service för stordatascenarier.

Innan vi hoppar in är det viktigt att veta att Cognitive Services främst används för två olika uppgifter. Baserat på den uppgift som du vill utföra har du olika alternativ för utveckling och distribution att välja mellan.

Utvecklingsalternativ för förutsägelse och analys

De verktyg som du använder för att anpassa och konfigurera modeller skiljer sig från de som du använder för att anropa Cognitive Services. I de flesta Cognitive Services kan du skicka data och ta emot insikter utan någon anpassning. Ett exempel:

  • Du kan skicka en bild till Visuellt innehåll-tjänsten för att identifiera ord och fraser eller räkna antalet personer i ramen
  • Du kan skicka en ljudfil till taltjänsten och hämta transkriptioner och översätta talet till text samtidigt

Azure erbjuder ett brett utbud av verktyg som är utformade för olika typer av användare, varav många kan användas med Cognitive Services. Designerdrivna verktyg är de enklaste att använda och är snabba att konfigurera och automatisera, men kan ha begränsningar när det gäller anpassning. Våra REST-API:er och klientbibliotek ger användarna mer kontroll och flexibilitet, men kräver mer arbete, tid och expertis för att skapa en lösning. Om du använder REST-API:er och klientbibliotek finns det en förväntan att du är bekväm med att arbeta med moderna programmeringsspråk som C#, Java, Python, JavaScript eller något annat populärt programmeringsspråk.

Låt oss ta en titt på de olika sätt som du kan arbeta med Cognitive Services.

Klientbibliotek och REST-API:er

Cognitive Services-klientbibliotek och REST-API:er ger dig direkt åtkomst till din tjänst. De här verktygen ger programmatisk åtkomst till Cognitive Services, deras baslinjemodeller och i många fall kan du programmatiskt anpassa dina modeller och lösningar.

  • Målanvändare: Utvecklare och dataforskare
  • Fördelar: Ger den största flexibiliteten att anropa tjänsterna från alla språk och miljöer.
  • Användargränssnitt: N/A – endast kod
  • Prenumerationer: Azure-konto + Cognitive Services-resurser

Om du vill veta mer om tillgängliga klientbibliotek och REST-API:er använder du vår Cognitive Services-översikt för att välja en tjänst och komma igång med någon av våra snabbstarter för vision, beslut, språk och tal.

Cognitive Services för stordata

Med Cognitive Services för stordata kan du bädda in kontinuerligt förbättrade, intelligenta modeller direkt i Apache Spark™- och SQL-beräkningar. Dessa verktyg befriar utvecklare från nätverksinformation på låg nivå, så att de kan fokusera på att skapa smarta, distribuerade program. Cognitive Services för stordata stöder följande plattformar och anslutningsappar: Azure Databricks, Azure Synapse, Azure Kubernetes Service och Data Connectors.

  • Målanvändare: Dataforskare och datatekniker
  • Fördelar: Med Azure Cognitive Services för stordata kan användarna kanalisera terabyte data via Cognitive Services med Apache Spark™. Det är enkelt att skapa storskaliga intelligenta program med valfritt datalager.
  • Användargränssnitt: N/A – endast kod
  • Prenumerationer: Azure-konto + Cognitive Services-resurser

Om du vill lära dig mer om stordata för Cognitive Services är en bra plats att börja med översikten. Om du är redo att börja skapa kan du prova våra Python - eller Scala-exempel .

Azure Functions- och Azure Service-webbjobb

Azure Functions och Azure App Service Webbjobb tillhandahåller båda kodexempelintegreringstjänster som är utformade för utvecklare och bygger på Azure App Services. Dessa produkter tillhandahåller serverlös infrastruktur för att skriva kod. I koden kan du göra anrop till våra tjänster med hjälp av våra klientbibliotek och REST-API:er.

  • Målanvändare: Utvecklare och dataforskare
  • Fördelar: Serverlös beräkningstjänst som gör att du kan köra händelseutlöst kod.
  • Användargränssnitt: Ja
  • Prenumerationer: Azure-konto + Cognitive Services-resurs + Azure Functions prenumeration

Azure Logic Apps

Azure Logic Apps delar samma arbetsflödesdesigner och anslutningsappar som Power Automate men ger mer avancerad kontroll, inklusive integreringar med Visual Studio och DevOps. Power Automate gör det enkelt att integrera med dina Cognitive Services-resurser via tjänstspecifika anslutningsappar som tillhandahåller en proxy eller omslutning runt API:erna. Det här är samma anslutningsappar som de som är tillgängliga i Power Automate.

  • Målanvändare: Utvecklare, integratörer, IT-proffs, DevOps
  • Fördelar: Designer-first (deklarativ) utvecklingsmodell som tillhandahåller avancerade alternativ och integrering i en lösning med låg kod
  • Användargränssnitt: Ja
  • Prenumerationer: Azure-konto + Cognitive Services-resurs + Logic Apps-distribution

Power Automate

Power Automate är en tjänst i Power Platform som hjälper dig att skapa automatiserade arbetsflöden mellan appar och tjänster utan att skriva kod. Vi erbjuder flera anslutningsappar som gör det enkelt att interagera med din Cognitive Services-resurs i en Power Automate-lösning. Power Automate bygger på Logic Apps.

  • Målanvändare: Företagsanvändare (analytiker) och SharePoint-administratörer
  • Fördelar: Automatisera repetitiva manuella uppgifter genom att helt enkelt registrera musklick, tangenttryckningar och kopiera inklistringssteg från skrivbordet!
  • Gränssnittsverktyg: Ja – endast användargränssnitt
  • Prenumerationer: Azure-konto + Cognitive Services-resurs + Power Automate-prenumeration + Office 365 prenumeration

AI Builder

AI Builder är en Microsoft Power Platform-funktion som du kan använda för att förbättra affärsprestanda genom att automatisera processer och förutsäga resultat. AI Builder ger kraften i AI till dina lösningar genom en punkt-och-klicka-upplevelse. Många kognitiva tjänster som språktjänsten och Visuellt innehåll har integrerats direkt här och du behöver inte skapa egna Cognitive Services.

  • Målanvändare: Företagsanvändare (analytiker) och SharePoint-administratörer
  • Fördelar: En nyckelfärdig lösning som ger kraften i AI genom en punkt-och-klicka-upplevelse. Inga programmerings- eller datavetenskapskunskaper krävs.
  • Gränssnittsverktyg: Ja – endast användargränssnitt
  • Prenumerationer: AI Builder

Kontinuerlig integrering och distribution

Du kan använda Azure DevOps och GitHub Actions för att hantera dina distributioner. I avsnittet nedan har vi två exempel på CI/CD-integreringar för att träna och distribuera anpassade modeller för Speech och tjänsten Language Understanding (LUIS).

  • Målanvändare: Utvecklare, dataforskare och datatekniker
  • Fördelar: Gör att du kontinuerligt kan justera, uppdatera och distribuera program och modeller programmatiskt. Det finns betydande fördelar när du regelbundet använder dina data för att förbättra och uppdatera modeller för tal, vision, språk och beslut.
  • Gränssnittsverktyg: N/A – endast kod
  • Prenumerationer: Azure-konto + Cognitive Services-resurs + GitHub-konto

Verktyg för att anpassa och konfigurera modeller

När du fortsätter din resa med att skapa ett program eller arbetsflöde med Cognitive Services kan det hända att du behöver anpassa modellen för att uppnå önskad prestanda. Med många av våra tjänster kan du bygga vidare på de färdiga modellerna för att uppfylla dina specifika affärsbehov. För alla våra anpassningsbara tjänster tillhandahåller vi både en användardriven upplevelse för att gå igenom processen samt API:er för koddriven träning. Ett exempel:

  • Du vill träna en anpassad talmodell för att korrekt identifiera medicinska termer med en ordfelfrekvens (WER) under 3 procent
  • Du vill skapa en bildklassificerare med Custom Vision som kan skilja mellan barrträd och lövträd
  • Du vill skapa en anpassad neural röst med dina personliga röstdata för en förbättrad automatiserad kundupplevelse

De verktyg som du ska använda för att träna och konfigurera modeller skiljer sig från de som du använder för att anropa Cognitive Services. I många fall tillhandahåller Cognitive Services som stöder anpassning portaler och gränssnittsverktyg som hjälper dig att träna, utvärdera och distribuera modeller. Låt oss snabbt ta en titt på några alternativ:

Grundpelare Tjänst Användargränssnitt för anpassning Snabbstart
Visuellt innehåll Custom Vision https://www.customvision.ai/ Snabbstart
Beslut Personanpassning Användargränssnittet är tillgängligt i Azure Portal under din personanpassningsresurs. Snabbstart
Språk Language Understanding (LUIS) https://www.luis.ai/
Språk QnA Maker https://www.qnamaker.ai/ Snabbstart
Språk Translator/Custom Translator https://portal.customtranslator.azure.ai/ Snabbstart
Speech Anpassade kommandon https://speech.microsoft.com/ Snabbstart
Speech Anpassat tal https://speech.microsoft.com/ Snabbstart
Speech Anpassad röst https://speech.microsoft.com/ Snabbstart

Kontinuerlig integrering och leverans med DevOps och GitHub Actions

Language Understanding och Speech-tjänsten erbjuder lösningar för kontinuerlig integrering och kontinuerlig distribution som drivs av Azure DevOps och GitHub Actions. Dessa verktyg används för automatiserad träning, testning och versionshantering av anpassade modeller.

Lokala containrar

Många av Cognitive Services kan distribueras i containrar för lokal åtkomst och användning. Med de här containrarna får du flexibiliteten att föra Cognitive Services närmare dina data av efterlevnads-, säkerhets- eller andra driftsskäl. En fullständig lista över Cognitive Services-containrar finns i Lokala containrar för Cognitive Services.

Nästa steg