Udfør forudsigelser i realtid med ML-modelslutpunkter (prøveversion)

Important

Denne funktion er en prøveversion.

Microsoft Fabric lader dig levere realtidsforudsigelser fra ML-modeller ved at bruge sikre, skalerbare og brugervenlige online endpoints. De fleste Fabric-modeller inkluderer disse endepunkter som indbyggede egenskaber, og de kræver ingen opsætning for at starte fuldt administrerede realtidsimplementeringer.

Du kan aktivere, konfigurere og forespørge model-endpoints ved at bruge et offentligt REST API. Du kan også komme direkte i gang fra Fabric-interfacet ved at bruge en low-code-oplevelse til at aktivere modelendpoints og forhåndsvise forudsigelser med det samme.

Skærmbillede, der viser en ML-model i Fabric med en indbygget endpoint-egenskab til levering af realtidsforudsigelser.

Prerequisites

  • Din lejer har maskinlæringsmodel-endpoints aktiveret som standard. Hvis din administrator vil deaktivere denne funktion, kan de slå tenant-switchen for ML-modelendpoints fra i Fabric admin-portalen.

Limitations

  • Slutpunkter er i øjeblikket tilgængelige for et begrænset sæt ML-modelvarianter, herunder Keras, LightGBM, Sklearn og XGBoost.
  • Slutpunkter er i øjeblikket ikke tilgængelige for modeller med tensorbaserede skemaer eller ingen skemaer.

Note

Maskinlæringsendpoints understøtter AutoML-trænede modeller.

Kom i gang med modelslutpunkter

ML-modeller i Fabric leveres forudbygget med online endpoints, som du kan bruge til at levere realtidsforudsigelser. Hver registreret modelversion har en dedikeret endpoint-URL, som du kan finde under overskriften Endpoint detaljer i Fabric-grænsefladen. Denne URL slutter med en understi, der angiver den specifikke version (for eksempel, /versions/1/score).

Skærmbillede, der viser egenskaberne for et ML-modelslutpunkt, som kan bruges til at tjene forudsigelser i realtid.

Modelslutpunkter har følgende egenskaber:

Property Description Default
Standard version Denne egenskab (Yes eller No) angiver, om versionen sættes som modellens standard for at levere reelle forudsigelser. Du kan tilpasse standardversionen i modellens indstillinger. No
Status Denne egenskab angiver, om slutpunktet er klar til at betjene forudsigelser. Status kan være Inactive, Activating, Active, Deactivatingeller Failed. Det er kun aktive slutpunkter, der kan levere forudsigelser. Inactive
Automatisk dvale Denne egenskab (On eller Off) angiver, om slutpunktet, når det er aktivt, skal skalere kapacitetsforbruget ned til nul, hvis der ikke er trafik. Hvis auto-dvale er slået til, går endepunktet i en inaktiv tilstand efter fem minutter uden indkommende forespørgsler. Det første kald til at vække et inaktivt slutpunkt indebærer en kort forsinkelse. On

Aktivér modelslutpunkter

Du kan aktivere modelendepunkter direkte fra Fabric-interfacet. Gå til den version, du vil bruge til realtidsforudsigelser, og vælg Aktiver version endpoint fra båndet.

Skærmbillede der viser, hvordan man aktiverer et ML-model-endpoint fra Fabric-interfacet.

En toast-besked viser, at Fabric gør dit endpoint klar til at levere forudsigelser, og endpointets status ændres til Activating. Bag kulisserne starter Fabric den underliggende containerinfrastruktur for at hoste din model. Inden for et par minutter er dit slutpunkt klar til at betjene forudsigelser.

Skærmbillede, der viser et ML-modelslutpunkt, der nu er ved at blive aktiveret.

Hvert endpoint har en status, der angiver, om det er klar til at levere realtidsforudsigelser:

Status Description
Inactive Endpointet aktiveres ikke til at levere realtidsforudsigelser, og det forbruger ikke Fabric-kapacitet.
Activating Slutpunktet er ved at blive konfigureret til at betjene forudsigelser i realtid. Bag kulisserne opsætter Fabric den underliggende containerinfrastruktur for at hoste modellen. Slutpunktet er aktivt inden for nogle få minutter.
Active Slutpunktet er klar til at udføre forudsigelser i realtid. Bag kulisserne administrerer Fabric den underliggende infrastruktur og skalerer ressourceforbruget baseret på indkommende trafik. Højere trafik resulterer i højere brug af Fabric-kapacitet.
Deactivating Endepunktet deaktiveres, så det ikke længere leverer realtidsforudsigelser eller bruger Fabric-kapacitet. Bag kulisserne nedbryder Fabric den underliggende containerinfrastruktur.

Note

ML-modeller kan understøtte aktive slutpunkter for op til fem versioner på én gang. Hvis du vil udføre forudsigelser fra en sjette version, skal du først deaktivere et aktivt slutpunkt.

Administrer modelslutpunkter

For at få et overblik over din models aktive endpoints, vælg Manage endpoints fra båndet i interfacet. Hver model har et standardslutpunkt, der kan tilpasses, og som indeholder forudsigelser fra en version, du vælger. Du kan opdatere standardversionen ved at bruge dropdown-vælgeren i indstillingspanelet.

Skærmbillede, der viser URL-adressen til standardslutpunktet for ML-modellen, som du kan konfigurere til at betjene forudsigelser fra en bestemt version.

Important

Sæt standardegenskaben til en aktiv version, hvis du planlægger at bruge den. Hvis du ikke sætter standardegenskaben, eller hvis du sætter den til en inaktiv version, fejler kald til standardendpointet.

Modellens endpoint-indstillinger viser alle versioner med aktive endpoints. Du kan ændre auto-sleep-egenskaben for hvert endpoint ved at skifte switcheren til On eller Off.

Skærmbillede, der viser, hvordan du ændrer egenskaben for automatisk slumretilstand i ML-modelslutpunkter.

Tip

Aktive endpoints med automatisk dvale slået til går i inaktiv tilstand efter fem minutter uden trafik. Det første kald for at vække dem indebærer en kort forsinkelse. Du kan overveje at slå denne egenskab fra for endpoints i produktion.

Slutpunkter for forespørgselsmodel for forudsigelser i realtid

Du kan teste modelendpoints øjeblikkeligt ved at bruge low-code-oplevelsen i Fabric. Gå til en version med et aktivt endpoint og vælg Forhåndsvisning af forudsigelser fra båndet i interfacet. Du kan sende prøveanmodninger til endpointet og få prøveforudsigelser i realtid ved at bruge formularfelter, der matcher modellens inputsignatur.

Skærmbillede, der viser den indbyggede prøveversionsoplevelse til hentning af eksempelforudsigelser fra et aktivt ML-modelslutpunkt.

Vælg Autofill for at udfylde formularfelterne med tilfældige stikprøveværdier. Du kan tilføje flere sæt formværdier for at teste endepunktet med flere input. Vælg Get predictions for at sende endpoint din sample-anmodning.

Skærmbillede, der viser den formularbaserede visning til afsendelse af eksempelanmodninger til et aktivt ML-modelslutpunkt.

Hvis du foretrækker at formatere eksempelanmodninger som JSON-nyttedata, skal du bruge rullelistevælgeren til at ændre visningen.

Skærmbillede, der viser den JSON-baserede visning til afsendelse af eksempelanmodninger til et aktivt ML-modelslutpunkt.

Deaktiver modelslutpunkter

Du kan deaktivere modelendepunkter direkte fra Fabric-interfacet. Gå til en version, hvor du ikke længere behøver at levere realtidsforudsigelser, og vælg Deaktiver versionsendpoint fra båndet i interfacet.

Skærmbillede der viser, hvordan man deaktiverer et ML-model-endpoint fra Fabric-interfacet.

En toast-besked viser, at Fabric er ved at afmontere din aktive udrulning, og status for endepunktet ændres til Deactivating. Endpointet kan ikke levere realtidsforudsigelser, medmindre du genaktiverer det.

Skærmbillede, der viser et ML-modelslutpunkt, der nu deaktiveres.

Du kan deaktivere endpoints for flere versioner på én gang fra modellens indstillingspanel. Vælg Administrer endepunkter fra båndet i grænsefladen og vælg et eller flere aktive endepunkter at deaktivere.

Skærmbillede, der viser, hvordan man deaktiverer flere ML-modelendepunkter på én gang fra Fabric-interfacet.

Forbrugshastighed

Hosting af aktive modelendepunkter forbruger Fabric Capacity Units (CUs). Slutpunkter kører på beregningsnoder og kan automatisk skalere op til tre noder baseret på indgående trafik. Fakturering beregnes pr. node, mens et slutpunkt er aktivt. Følgende tabel viser CU-forbruget for et aktivt ML-model-endpoint.

Handling Handlingsenhed Forbrugshastighed
Modelendepunkt 1 modelslutpunkt (version) pr. sekund pr. node 5 CU sekunder

Følgende tabel viser eksempelscenarier samt deres tilsvarende forbrugssatser og timeomkostninger.

scenarie Description Forbrugshastighed Timepris
Modeller med inaktive slutpunkter Disse modeller har ingen aktive versionsslutpunkter og ingen tilknyttet ressourceudnyttelse. De medfører ingen ekstra omkostninger. 0 CU sekunder 0 CU time
Modeller med aktive, men inaktive slutpunkter Disse modeller har en eller flere aktive versionsendepunkter, men uden regelmæssig trafik skalerer alle endepunkter til nul, hvilket automatisk reducerer omkostningerne. 5 CU sekunder 0.42 CU timer
Modeller med 1 aktivt slutpunkt og konstant lav trafik Disse modeller har kun 1 aktiv version af slutpunktsbetjente forudsigelser, men uden nok trafik til at udløse en fuld udskalering. En node kan betjene al trafikken. Andre versionsendepunkter kan være inaktive eller inaktive. 5 CU sekunder 5 CU timer
Modeller med 1 aktivt slutpunkt og konstant høj trafik Disse modeller har kun én aktiv version af endpoint-serveringsforudsigelser, med nok trafik til at udløse en fuld skalering. Andre versionsendepunkter kan være inaktive eller inaktive. 15 CU sekunder 15 CU timer
Modeller med 5 aktive slutpunkter og konstant høj trafik Disse modeller har 5 aktive versionsslutpunkter (den aktuelle grænse), der betjener forudsigelser, hver med tilstrækkelig trafik til at udløse en fuld udskalering. 75 CU sekunder 75 CU timer

The Fabric Capacity Metrics app viser det samlede kapacitetsforbrug for modelendpoint-operationer under navnet "Model Endpoint". Derudover kan brugere se et resumé af deres faktureringsomkostninger for Model Endpoint-brug under faktureringspunktet "ML Model Endpoint Capacity Usage CU".

Handlingen af modelslutpunktet er klassificeret som handlinger i baggrunden.

Forbrugssatserne kan ændres når som helst. Microsoft gør rimelige anstrengelser for at give besked via e-mail eller via meddelelse i produktet. Ændringerne træder i kraft på den dato, der er angivet i Microsoft Release Notes eller Microsoft Fabric Blog. Hvis en ændring i modellens endepunkt i Fabric Consumption Rate væsentligt øger de nødvendige kapacitetsenheder (CU), kan kunderne benytte de annulleringsmuligheder, der er tilgængelige for den valgte betalingsmetode.

Relateret indhold

  • Last updated on