Del via

Server sanntidsprognoser med ML-modellendepunkter (forhåndsvisning)

Important

Denne funksjonen er i forhåndsvisning.

Microsoft Fabric lar deg servere sanntidsprognoser fra ML-modeller med sikre, skalerbare og brukervennlige nettbaserte endepunkter. Disse endepunktene er tilgjengelige som innebygde egenskaper for de fleste Fabric-modeller, og de krever ingen oppsett for å starte fullstendig administrerte sanntidsdistribusjoner.

Du kan aktivere, konfigurere og spørre etter modellendepunkter med en offentlig REST-API. Du kan også komme i gang direkte fra Stoff-grensesnittet ved hjelp av en lavkodeopplevelse for å aktivere modellendepunkter og forhåndsvise prognoser umiddelbart.

Skjermbilde som viser en ML-modell i Fabric med en innebygd endepunktegenskap for å betjene sanntidsprognoser.

Prerequisites

Limitations

  • Endepunkter er for øyeblikket tilgjengelige for et begrenset sett med ML-modellsmaker, inkludert Keras, LightGBM, Sklearn og XGBoost.
  • Endepunkter er for øyeblikket ikke tilgjengelige for modeller med tensorbaserte skjemaer eller ingen skjemaer.

Komme i gang med modellendepunkter

ML-modeller i Fabric kommer forhåndsbygd med online endepunkter som kan brukes til å tjene sanntidsprognoser. Hver registrerte modellversjon har en dedikert URL-adresse for endepunkt, som du finner under overskriften «Endepunktdetaljer» i Stoff-grensesnittet. Denne URL-adressen avsluttes med en underbane som angir den bestemte versjonen (for eksempel /versions/1/score).

Skjermbilde som viser egenskapene til et ML-modellendepunkt, som kan brukes til å tjene prognoser i sanntid.

Modellendepunkter har følgende egenskaper:

Property Description Default
Standard versjon Denne egenskapen (Yes eller No) angir om versjonen er angitt som modellens standard for å betjene reelle prognoser. Du kan tilpasse standardversjonen i modellens innstillinger. No
Status Denne egenskapen angir om endepunktet er klart til å betjene prognoser. Statusen kan være Inactive, Activating, Active, Deactivatingeller Failed. Bare aktive endepunkter kan tjene prognoser. Inactive
Automatisk hvilemodus Denne egenskapen (On eller Off) angir om endepunktet, når det er aktivt, skal skalere ned kapasitetsbruken til null i fravær av trafikk. Hvis automatisk hvilemodus er aktivert, angir endepunktet en inaktiv tilstand etter fem minutter uten innkommende forespørsler. Det første kallet for å vekke et inaktivt endepunkt innebærer en kort forsinkelse. On

Aktivere modellendepunkter

Du kan aktivere modellendepunkter direkte fra Stoff-grensesnittet. Gå til versjonen du vil bruke til å tjene prognoser i sanntid, og velg Aktiver versjonsendepunkt fra båndet.

Skjermbilde som viser hvordan du aktiverer et ML-modellendepunkt fra Stoff-grensesnittet.

En toast-melding viser at Fabric gjør endepunktet klart til å tjene prognoser, og statusen for endepunktet endres til Aktivering. Bak kulissene spinner Fabric opp den underliggende beholderinfrastrukturen for å være vert for modellen din. I løpet av noen få minutter er endepunktet klart til å tjene prognoser.

Skjermbilde som viser et endepunkt for ML-modell som nå aktiveres.

Hvert endepunkt har en status som angir om det er klart til å tjene sanntidsprognoser:

Status Description
Inactive Endepunktet er ikke aktivert for å tjene sanntidsprognoser, og det bruker ikke Fabric-kapasitet.
Activating Endepunktet konfigureres til å tjene prognoser i sanntid. Bak kulissene setter Fabric opp den underliggende containerinfrastrukturen for å være vert for modellen. I løpet av noen få minutter er endepunktet aktivt.
Active Endepunktet er klart til å tjene sanntidsprognoser. Bak kulissene administrerer Fabric den underliggende infrastrukturen, og skalerer opp ressursbruken basert på innkommende trafikk. Høyere trafikk fører til høyere bruk av stoffkapasitet.
Deactivating Endepunktet deaktiveres, slik at det ikke lenger tjener sanntidsprognoser eller bruker Fabric-kapasitet. Bak kulissene demonterer Fabric den underliggende containerinfrastrukturen.

Note

ML-modeller kan støtte aktive endepunkter for opptil fem versjoner samtidig. Hvis du vil betjene prognoser fra en sjette versjon, må du først deaktivere et aktivt endepunkt.

Behandle modellendepunkter

Hvis du vil ha en oversikt over modellens aktive endepunkter, velger du Behandle endepunkter fra båndet i grensesnittet. Hver modell har et tilpassbart standard endepunkt, som serverer prognoser fra en versjon du velger. Du kan oppdatere standardversjonen ved hjelp av rullegardinvelgeren i innstillingsruten.

Skjermbilde som viser standard URL-adresse for ML-modellendepunkt, som du kan konfigurere til å betjene prognoser fra en bestemt versjon.

Important

Pass på at du angir standardegenskapen til en aktiv versjon hvis du har tenkt å bruke den. Hvis standardegenskapen ikke er angitt, eller er satt til en inaktiv versjon, mislykkes kall til standard endepunkt.

Alle versjoner med aktive endepunkter er oppført under modellens endepunktinnstillinger. Du kan endre egenskapen for automatisk hvilemodus for hvert endepunkt ved å veksle bryteren til å være «På» eller «Av».

Skjermbilde som viser hvordan du endrer egenskapen for automatisk hvilemodus på ML-modellendepunkter.

Tip

Aktive endepunkter med automatisk hvilemodus aktivert, angir en inaktiv tilstand etter fem minutter uten trafikk, og det første kallet for å vekke dem, innebærer en kort forsinkelse. Det kan være lurt å deaktivere denne egenskapen for endepunkter i produksjon.

Spørringsmodellendepunkter for sanntidsprognoser

Modellendepunkter er tilgjengelige for umiddelbar testing med en lavkodeopplevelse i Fabric. Gå til en versjon med et aktivt endepunkt, og velg Forhåndsvis prognoser fra båndet i grensesnittet. Du kan sende eksempelforespørsler til endepunktet og få eksempelprognoser i sanntid ved hjelp av skjemafelt som samsvarer med modellens inndatasignatur.

Skjermbilde som viser den innebygde forhåndsvisningsopplevelsen for å få eksempelprognoser fra et aktivt ML-modellendepunkt.

Hvis du vil fylle ut skjemafeltene med tilfeldige eksempelverdier, velger du «Autofyll». Du kan legge til flere sett med skjemaverdier for å teste endepunktet med flere inndata. Velg Hent prognoser for å sende endepunktet til eksempelforespørselen.

Skjermbilde som viser den skjemabaserte visningen for å sende eksempelforespørsler til et aktivt ML-modellendepunkt.

Hvis du foretrekker å formatere eksempelforespørsler som JSON-nyttelaster, kan du bruke rullegardinvelgeren til å endre visningen.

Skjermbilde som viser den JSON-baserte visningen for å sende eksempelforespørsler til et aktivt ML-modellendepunkt.

Deaktivere modellendepunkter

Du kan deaktivere modellendepunkter direkte fra Stoff-grensesnittet. Gå til en versjon som du ikke lenger trenger for å tjene prognoser i sanntid, og velg «Deaktiver versjonsendepunkt» fra båndet i grensesnittet.

Skjermbilde som viser hvordan du deaktiverer et ML-modellendepunkt fra Stoff-grensesnittet.

En toast-melding viser at Fabric demonterer den aktive distribusjonen, og statusen for endepunktet endres til «Deaktivering». Endepunktet er ikke lenger i stand til å tjene sanntidsprognoser med mindre du aktiverer det på nytt.

Skjermbilde som viser et endepunkt for ML-modell som nå deaktiveres.

Du kan deaktivere endepunkter for flere versjoner samtidig fra innstillingsruten for modellen. Velg Behandle endepunkter fra båndet i grensesnittet, og velg ett eller flere aktive endepunkter som skal deaktiveres.

Skjermbilde som viser hvordan du deaktiverer flere ML-modellendepunkter samtidig fra Stoff-grensesnittet.

Forbrukssats

Drifting av aktive modellendepunkter bruker Fabric Capacity Units (CU-er). Endepunkter kjører på databehandlingsnoder og kan automatisk skalere opptil tre noder basert på innkommende trafikk. Fakturering beregnes per node mens et endepunkt er aktivt. Tabellen nedenfor viser CU-forbruket for et aktivt Machine Learning-modellendepunkt.

Operasjon operasjonsenhet forbrukssats
Modellens endepunkt 1 modellendepunkt (versjon) per sekund per node 5 CU sekunder

Tabellen nedenfor viser eksempelscenarier og deres tilsvarende forbrukssatser og timekostnader.

scenario Description forbrukssats Timekostnad
Modeller med inaktive endepunkter Disse modellene har ingen aktive versjonsendepunkter og ingen tilknyttet ressursutnyttelse. De innebærer ingen ekstra kostnader. 0 CU sekunder 0 CU time
Modeller med aktive, men inaktive endepunkter Disse modellene har ett eller flere aktive versjonsendepunkter, men uten vanlig trafikk har alle skalert til null, noe som reduserer kostnadene automatisk. 5 CU sekunder 0.42 CU timer
Modeller med 1 aktivt endepunkt og konstant lav trafikk Disse modellene har bare 1 aktivt versjonsendepunkt som betjener prediksjoner, men uten nok trafikk til å utløse en fullstendig utskalering. Én node kan betjene all trafikken. Andre versjonsendepunkter kan være inaktive eller inaktive. 5 CU sekunder 5 CU timer
Modeller med 1 aktivt endepunkt og konstant høy trafikk Disse modellene har bare 1 aktivt versjonsendepunkt som betjener prediksjoner, med nok trafikk til å utløse en fullstendig utskalering. Andre versjonsendepunkter kan være inaktive eller inaktive. 15 CU sekunder 15 CU timer
Modeller med 5 aktive endepunkter og konstant høy trafikk Disse modellene har 5 aktive versjonsendepunkter (gjeldende grense) som betjener prediksjoner, hver med nok trafikk til å utløse en fullstendig utskalering. 75 CU sekunder 75 CU timer

Appen Strukturkapasitetsmåledata viser den totale kapasitetsbruken for modellendepunktoperasjoner under navnet «Modellendepunkt». I tillegg kan brukere vise et sammendrag av faktureringskostnadene for bruk av modellendepunkt under faktureringselementet «ML Model Endpoint Capacity Usage CU».

Operasjon for modellendepunkt klassifiseres som bakgrunnsoperasjoner.

Forbrukssatser kan endres når som helst. Microsoft bruker rimelig innsats for å varsle via e-post eller via varsling i produktet. Endringene trer i kraft på datoen som er angitt i Microsoft-produktmerknadene eller Microsoft Fabric-bloggen. Hvis en endring i modellendepunktet i Fabric Consumption Rate vesentlig øker kapasitetsenhetene (CU) som kreves for å bruke, kan kundene bruke kanselleringsalternativene som er tilgjengelige for den valgte betalingsmåten.

Relatert innhold

  • Last updated on