Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Van toepassing op:✅ SQL Analytics-eindpunt en -magazijn in Microsoft Fabric
In dit artikel worden de architectuur en het workloadbeheer achter datawarehousing in Microsoft Fabric beschreven.
Gegevensverwerking
Het eindpunt van Warehouse en SQL Analytics delen dezelfde onderliggende verwerkingsarchitectuur. Wanneer gegevens worden opgehaald of opgenomen, maakt deze gebruik van een gedistribueerde engine die is gebouwd voor zowel kleine als grootschalige gegevens- en rekenfuncties.
Het verwerkingssysteem is serverloos doordat de backend rekencapaciteit autonoom omhoog en omlaag schaalt om aan de werkbelastingseisen te voldoen.
Wanneer een query wordt verzonden, voert de SQL-front-end (FE) queryoptimalisatie uit om het beste plan te bepalen op basis van de gegevensgrootte en complexiteit. Zodra het plan is gegenereerd, wordt het gegeven aan de DQP-engine (Distributed Query Processing). De DQP organiseert gedistribueerde uitvoering van de query door deze op te splitsen in kleinere query's die worden uitgevoerd op back-end-rekenknooppunten. Elke kleine query wordt een taak genoemd en vertegenwoordigt een gedistribueerde uitvoeringseenheid. Het leest bestand(en) uit OneLake, voegt resultaten samen van andere taken, groepeert of ordent data verkregen uit andere taken. Bij invoertaken worden de gegevens ook naar de juiste doeltabellen geschreven.
Wanneer gegevens worden verwerkt, worden resultaten geretourneerd naar de SQL-front-end voor het terugsturen naar de gebruiker of aanroepende toepassing.
Elasticiteit en tolerantie
De rekencapaciteit van de backend profiteert van een snelle opzetarchitectuur. Hoewel er geen SLA is voor resourcetoewijzing, worden doorgaans binnen een paar seconden nieuwe knooppunten verkregen. Naarmate de vraag naar resources toeneemt, maken nieuwe workloads gebruik van de uitgeschaalde capaciteit. Schaalaanpassing is een online bewerking en de verwerking van query's verloopt ononderbroken plaats.
Het systeem is fouttolerant en als een knooppunt beschadigd raakt, worden bewerkingen die op het knooppunt worden uitgevoerd, opnieuw gedistribueerd naar gezonde knooppunten voor voltooiing.
Het eindpunt voor warehouse- en SQL-analyse biedt burstable capaciteit, waardoor workloads meer resources kunnen gebruiken voor betere prestaties, en maakt gebruik van smoothing om klanten verlichting te bieden die tijdens piektijden plotselinge pieken creëren, terwijl ze veel ongebruikte capaciteit hebben. Het soepeler maken vereenvoudigt het capaciteitsbeheer door de evaluatie van rekenkracht te spreiden om ervoor te zorgen dat klanttaken soepel en efficiënt worden uitgevoerd.
Planning en middelen
De scheduler voor gedistribueerde queryverwerking werkt op taakniveau . Query's worden weergegeven voor de scheduler als een gerichte acyclische grafiek (DAG) van taken. Dit concept is bekend voor Spark-gebruikers. Met een DAG kunnen parallellisme en gelijktijdigheid worden uitgevoerd als taken die niet van elkaar afhankelijk zijn, tegelijkertijd of buiten de volgorde kunnen worden uitgevoerd.
Wanneer zoekopdrachten binnenkomen, worden hun taken gepland op basis van FIFO-principes (first-in-first-out). Als er niet-actieve capaciteit is, kan de scheduler een 'best passende' methode gebruiken om gelijktijdigheid te optimaliseren.
Wanneer de scheduler resourcingdruk identificeert, wordt er een schaaloperatie uitgevoerd. Schaalaanpassing wordt autonoom beheerd en de back-endtopologie groeit naarmate de gelijktijdigheid toeneemt. Omdat het een paar seconden duurt om knooppunten te verkrijgen, is het systeem niet geoptimaliseerd voor consistente prestaties van subseconden van query's waarvoor gedistribueerde verwerking is vereist.
Wanneer de systeembelasting afneemt, schaalt de back-endtopologie terug en worden de resources teruggegeven aan de regio.
Isolatie van opname
Van toepassing op:✅ Warehouse in Microsoft Fabric
In de back-end-rekengroep van Warehouse in Microsoft Fabric worden laadactiviteiten voorzien van resource-isolatie van analytische workloads. Dit verbetert de prestaties en betrouwbaarheid, omdat opnametaken kunnen worden uitgevoerd op toegewezen knooppunten die zijn geoptimaliseerd voor ETL en die niet concurreren met andere query's of toepassingen voor resources.
Sessies
Het eindpunt voor warehouse- en SQL-analyse heeft een gebruikerssessielimiet van 2048 per werkruimte. Wanneer deze limiet is bereikt, wordt een fout geretourneerd: The user session limit for the workspace is 2048 and has been reached.
Notitie
Omdat Microsoft Fabric een SaaS-platform is, zijn er veel systeemverbindingen die worden uitgevoerd om de omgeving continu te optimaliseren. DMV's tonen zowel systeem- als gebruikerssessies. Zie Monitor met DMV's voor meer informatie.
Beste praktijken
De Microsoft Fabric-werkruimte biedt een natuurlijke isolatiegrens van het gedistribueerde rekensysteem. Workloads kunnen profiteren van deze grens om zowel kosten als prestaties te beheren.
OneLake-snelkoppelingen kunnen worden gebruikt om alleen-lezen replica's van tabellen in andere werkruimten te maken om de belasting over meerdere SQL-engines te verdelen, waardoor een isolatiegrens ontstaat. Dit kan het maximale aantal sessies dat alleen-lezenquery's uitvoert, effectief verhogen.
