Bemærk
Adgang til denne side kræver godkendelse. Du kan prøve at logge på eller ændre mapper.
Adgang til denne side kræver godkendelse. Du kan prøve at ændre mapper.
Gælder for:✅ Dataudvikler ing og datavidenskab i Microsoft Fabric
I denne artikel forklares beregningsudnyttelsen og -rapporteringen for ApacheSpark, som driver arbejdsbelastningerne for Fabric Dataudvikler ing og Science i Microsoft Fabric. Beregningsudnyttelsen omfatter lakehouse-handlinger, f.eks. eksempelvisning af tabeller, indlæsning til delta, kørsler af notesbøger fra grænsefladen, planlagte kørsler, kørsler, der udløses af trinnene i notesbogen i pipelinerne, og Apache Spark-jobdefinitionskørsler.
På samme måde som med andre oplevelser i Microsoft Fabric bruger Dataudvikler ing også den kapacitet, der er knyttet til et arbejdsområde, til at køre dette job, og dine overordnede kapacitetsgebyrer vises i Azure-portal under dit Microsoft Cost Management-abonnement. Hvis du vil vide mere om Fabric-fakturering, skal du se Forstå din Azure-faktura på en Fabric-kapacitet.
Stofkapacitet
Du kan som bruger købe en Fabric-kapacitet fra Azure ved at angive ved hjælp af et Azure-abonnement. Størrelsen af kapaciteten bestemmer mængden af beregningskraft, der er tilgængelig. For Apache Spark til Fabric oversættes alle købte CU'er til 2 Apache Spark VCores. Hvis du f.eks. køber en Fabric-kapacitet F128, oversættes dette til 256 SparkVCores. En Fabric-kapacitet deles på tværs af alle de arbejdsområder, der føjes til den, og hvor den tilladte Apache Spark-beregning deles på tværs af alle job, der er sendt fra alle de arbejdsområder, der er knyttet til en kapacitet. Du kan få mere at vide om de forskellige SKU'er, allokering af kerner og begrænsning på Spark under Samtidighedsgrænser og kø i Apache Spark til Microsoft Fabric.
Spark-beregningskonfiguration og købt kapacitet
Apache Spark-beregning til Fabric giver to muligheder, når det kommer til beregningskonfiguration.
Startbassiner: Disse standardpuljer er hurtige og nemme at bruge Spark på Microsoft Fabric-platformen på få sekunder. Du kan bruge Spark-sessioner med det samme i stedet for at vente på, at Spark konfigurerer noderne for dig, hvilket hjælper dig med at gøre mere med data og få hurtigere indsigt. Når det kommer til fakturering og kapacitetsforbrug, bliver du debiteret, når du begynder at køre din notesbog eller Spark-jobdefinition eller lakehouse-handling. Du faktureres ikke for den tid, klyngerne er inaktive i puljen.
Hvis du f.eks. sender et notesbogjob til en startpulje, faktureres du kun for den tidsperiode, hvor notesbogsessionen er aktiv. Den fakturerede tid omfatter ikke den inaktive tid eller den tid, det tager at tilpasse sessionen med Spark-konteksten. Hvis du vil vide mere om konfiguration af Starter-puljer baseret på den købte Fabric Capacity SKU, skal du gå til Konfiguration af starterpuljer baseret på Fabric Capacity
Spark-puljer: Dette er brugerdefinerede puljer, hvor du kan tilpasse størrelsen på de ressourcer, du har brug for til dine dataanalyseopgaver. Du kan give din Spark-pool et navn og vælge, hvor mange og hvor store noderne (de maskiner, der udfører arbejdet) er. Du kan også fortælle Spark, hvordan du justerer antallet af noder, afhængigt af hvor meget arbejde du har. Det er gratis at oprette en Spark-pool. du betaler kun, når du kører et Spark-job i puljen, og derefter konfigurerer Spark noderne for dig.
- Størrelsen og antallet af noder, du kan have i din brugerdefinerede Spark-pulje, afhænger af din Microsoft Fabric-kapacitet. Du kan bruge disse Spark VCores til at oprette noder i forskellige størrelser til din brugerdefinerede Spark-pulje, så længe det samlede antal Spark VCores ikke overstiger 128.
- Spark-puljer faktureres som startbassiner; du betaler ikke for de brugerdefinerede Spark-puljer, du har oprettet, medmindre du har oprettet en aktiv Spark-session til kørsel af en notesbog eller en Spark-jobdefinition. Du faktureres kun for varigheden af dine jobkørsler. Du faktureres ikke for faser som oprettelse af klyngen og deallocation, når jobbet er fuldført.
Hvis du f.eks. sender et notesbogjob til en brugerdefineret Spark-gruppe, faktureres du kun for den tidsperiode, hvor sessionen er aktiv. Faktureringen for notesbogsessionen stopper, når Spark-sessionen er stoppet eller udløbet. Du faktureres ikke for den tid, det tager at hente klyngeforekomster fra cloudmiljøet, eller for den tid, det tager at initialisere Spark-konteksten. Hvis du vil vide mere om konfiguration af Spark-puljer baseret på den købte Fabric Capacity SKU, skal du gå til Konfiguration af puljer baseret på Fabric Capacity
Bemærk
Standardperioden for sessionens udløb for de startpuljer og Spark-puljer, du opretter, er angivet til 20 minutter. Hvis du ikke bruger din Spark-pool i 2 minutter, efter din session udløber, bliver din Spark-pool deallokeret. Hvis du vil stoppe sessionen og faktureringen, når du har fuldført udførelsen af notesbogen før sessionens udløbsperiode, kan du enten klikke på knappen Stop session i menuen Start i notesbøgerne eller gå til siden med overvågningshubben og stoppe sessionen der.
Spark-rapportering af beregningsforbrug
Microsoft Fabric Capacity Metrics-appen giver indblik i kapacitetsforbruget for alle Fabric-arbejdsbelastninger på ét sted. Den bruges af kapacitetsadministratorer til at overvåge ydeevnen af arbejdsbelastninger og deres brug sammenlignet med købt kapacitet.
Når du har installeret appen, skal du vælge elementtypen Notesbog,Lakehouse,Spark JobDefinition på rullelisten Vælg elementtype: . Diagramdiagrammet med flere målepunkter på båndet kan nu justeres til en ønsket tidsramme for at forstå forbruget fra alle disse valgte elementer.
Alle Spark-relaterede handlinger klassificeres som baggrundshandlinger. Kapacitetsforbrug fra Spark vises under en notesbog, en Spark-jobdefinition eller et lakehouse og samles efter handlingsnavn og element. Eksempel: Hvis du kører et notesbogjob, kan du se, at notesbogen kører, de CU'er, der bruges af notesbogen (Total Spark VCores/2 som 1 CU giver 2 Spark VCores), hvor længe jobbet har taget i rapporten.
Hvis du vil vide mere om rapportering af spark-kapacitetsforbrug, skal du se Overvåg Apache Spark-kapacitetsforbrug
Faktureringseksempel
Overvej følgende scenarie:
Der er en Kapacitet C1, som er vært for et Fabric Workspace W1, og dette arbejdsområde indeholder Lakehouse LH1 og Notebook NB1.
- Alle Spark-handlinger, som notesbogen(NB1) eller lakehouse(LH1) udfører, rapporteres i forhold til kapaciteten C1.
Udvidelse af dette eksempel til et scenarie, hvor der er en anden Kapacitet C2, der er vært for et Fabric Workspace W2, og lad os sige, at dette arbejdsområde indeholder en Spark-jobdefinition (SJD1) og Lakehouse (LH2).
- Hvis Spark Job Definition (SDJ2) fra Workspace (W2) læser data fra lakehouse (LH1) rapporteres brugen i forhold til Kapacitet C2, der er knyttet til det arbejdsområde (W2), der er vært for elementet.
- Hvis notesbogen (NB1) udfører en læsehandling fra Lakehouse(LH2), rapporteres kapacitetsforbruget i forhold til Kapacitet C1, som styrer det arbejdsområde, W1, der er vært for notesbogelementet.