Veelgestelde vragen over Azure Synapse Analytics

Azure Synapse introduceert een aantal rollen en bereiken waarmee ze kunnen worden toegewezen, waardoor de beveiliging van uw werkruimte wordt vereenvoudigd.

Synapse RBAC-rollen:

• Synapse-beheerder
• Synapse SQL-beheerder
• Synapse Spark-beheerder
• Synapse-inzender
• Synapse Artifact Publisher
• Synapse Artifact-gebruiker
• Synapse Compute-operator
• Synapse Credential User
• Synapse Linked Data Manager
• Synapse-gebruiker

Als u uw Synapse-werkruimte wilt beveiligen, wijst u de RBAC-rollen toe aan deze RBAC-bereiken:

• Workspaces
• Spark-pools
• Integration Runtimes
• Gekoppelde services
• Referentie

Daarnaast beschikt u met toegewezen SQL-pools over alle beveiligingsfuncties die u kent en waardeert.

Om te beginnen werkt Azure Synapse samen met de ingebouwde kostenanalyse en kostenwaarschuwingen die beschikbaar zijn op het niveau van het Azure-abonnement.

• Toegewezen SQL-pools: u hebt rechtstreeks inzicht in de kosten en controle over de kosten, omdat u de grootte van toegewezen SQL-pools maakt en specificeert. U kunt verder zelf bepalen welke gebruikers toegewezen SQL-pools kunnen maken of schalen met Azure RBAC-rollen.

• Serverloze SQL-pools: u hebt controle-en kostenbeheerinstellingen waarmee u op een dagelijks, wekelijks en maandelijks niveau uitgaven kunt limiteren. Zie Kostenbeheer voor serverloze SQL-pool voor meer informatie.

• Serverloze Spark-pools: u kunt bepalen wie Spark-pools kan maken met Synapse RBAC-rollen.

Synapse-werkruimten bieden ondersteuning voor door de gebruiker gedefinieerde mappen.

Ja, vanaf 10 juni 2021 kunt u met Synapse Studio nu meer dan één Power BI-werkruimte toevoegen aan één Azure Synapse-werkruimte.

Azure Synapse Analytics ondersteunt momenteel Azure Synapse Link van Azure Cosmos DB naar Synapse Apache Spark en serverloze SQL-pool. Azure Synapse Link voor Apache Spark is algemeen beschikbaar. Synapse Link voor een serverloze SQL-pool is in preview. Zie Azure Synapse Link voor Azure Cosmos DB voor meer informatie.

Azure Synapse Link voor SQL is algemeen beschikbaar voor zowel SQL Server 2022 als Azure SQL Database. Zie Wat is Azure Synapse Link voor SQL? voor meer informatie.

Ja. Alle pijplijnartefacten, notebooks, SQL-scripts en Spark-taakdefinities bevinden zich in Git. Alle pooldefinities worden opgeslagen in Git als ARM-sjablonen (Azure Resource Manager). Toegewezen SQL-poolobjecten (schema's, tabellen, weergaven, enzovoort)) worden beheerd met databaseprojecten met CI/CD-ondersteuning. Raadpleeg deze CI- en CD-handleiding voor meer informatie.

De mogelijkheden en vereisten verschillen tussen de twee typen pools. Verschillen zijn onder andere databaseobjecten, mogelijkheden voor querytaal, beveiliging, hulpprogramma's, gegevenstoegang en gegevensindeling. Voor een gedetailleerde vergelijking van SQL-pools en serverloze pools gaat u naar Pools vergelijken. Voor aanbevolen procedures wanneer u een van beide typen pools gebruikt, bekijkt u best practices voor toegewezen SQL-pool en aanbevolen procedures voor serverloze SQL-pool.

Lakehouse is gebaseerd op open gegevensindelingen voor directe toegang, zoals Apache Parquet. Het biedt eersteklas ondersteuning voor machine learning en data science. Een Delta-tabel is een weergave van gegevens die zijn opgenomen in een Delta Lake, die ondersteuning biedt voor de meeste opties die worden geboden door Apache Spark DataFrame-api's voor lezen en schrijven. Lakehouses kunnen helpen bij grote uitdagingen met datawarehouses, zoals data veroudering, betrouwbaarheid, totale eigendomskosten en gegevensvergrendeling. In Delta-tabellen zijn optimalisaties zoals automatische compressie en adaptieve queryplannen beschikbaar. Voor een gedetailleerde gids voor Delta Lake gaat u naar Delta Lake Guide.

Automatische compressie is een van de twee aanvullende functies van Auto Optimize for Delta-tabellen. Nadat een schrijfbewerking naar een tabel is geslaagd, kan Automatisch comprimeren bestanden verder comprimeren voor partities met het meeste aantal kleine bestanden. Aanmelden voor automatische compressie wordt aanbevolen voor streaminggebruiksscenario's waarbij het toevoegen van minuten latentie acceptabel is en wanneer u geen normale OPTIMIZE-aanroepen op uw tabel hebt. Raadpleeg deze handleiding voor automatisch optimaliseren en automatisch comprimeren voor meer informatie over automatisch optimaliseren.

Elke activiteit in een Synapse-pijplijn wordt uitgevoerd met behulp van de referenties die zijn opgegeven in de gekoppelde service.

Op dit moment niet.

Enkele voorbeelden van verschillen zijn ondersteuning voor globale parameters, bewaking van Spark-taken voor Gegevensstroom en delen van Integration Runtime. Raadpleeg dit document voor Data-Integratie - Synapse versus ADF voor meer informatie.

Op dit moment moet u uw Azure Data Factory-pijplijnen en gerelateerde artefacten handmatig opnieuw maken door de JSON uit de oorspronkelijke pijplijn te exporteren en deze te importeren in uw Synapse-werkruimte.

Bekijk deze snelstartgids.

Er zijn twee opties voor deze use-case. Een optie is om pijplijnen in ADF te houden en u moet een webactiviteit verpakken. Bekijk deze handleiding voor webactiviteiten voor meer informatie over deze optie. De andere optie is om de pijplijnen te migreren naar Synapse. Bekijk dit voorbeeld van migratiecode voor meer informatie over de tweede optie.

Apache Spark voor Synapse is Apache Spark met toegevoegde ondersteuning voor integraties met andere services (Microsoft Entra ID, AzureML, enzovoort) en aanvullende bibliotheken (mssparktuils, Hummingbird) en vooraf afgestemde prestatieconfiguraties.

Elke workload die momenteel wordt uitgevoerd op Apache Spark, wordt zonder wijziging uitgevoerd op Apache Spark voor Azure Synapse.

Vanaf september 2023 biedt Azure Synapse Apache Spark volledige ondersteuning voor Spark 3.3. Zie ondersteuning voor Apache Spark-versies voor een volledige lijst met kernonderdelen en momenteel ondersteunde versies.

Ja, Azure Synapse Apache Spark biedt de mssparkutils-bibliotheek. Zie Inleiding tot Microsoft Spark-hulpprogramma's voor volledige documentatie over het hulpprogramma.

Als u sessieparameters wilt instellen, gebruikt u %%configure magic available. De sessie moet opnieuw worden gestart om de parameters toe te passen.

Als u parameters op clusterniveau wilt instellen, kunt u een spark.conf-bestand opgeven voor de Spark-pool. In deze pool worden vervolgens de parameters uit het configuratiebestand gebruikt.

Azure Synapse biedt speciaal ontwikkelde engines voor specifieke gebruikstoepassingen. Apache Spark voor Synapse is ontworpen als taakservice en niet als clustermodel. Er zijn twee scenario's waarin mensen om een clustermodel met meerdere gebruikers vragen.

Scenario 1: Veel gebruikers die toegang hebben tot een cluster voor het leveren van gegevens voor BI-doeleinden.

De eenvoudigste manier om deze taak uit te voeren, is om de gegevens in Spark te zetten en vervolgens te profiteren van de verwerkingsmogelijkheden van Synapse SQL zodat ze Power BI kunnen verbinden met die gegevenssets.

Scenario 2: Meerdere ontwikkelaars op één cluster hebben om geld te besparen.

Voor dit scenario moet u elke ontwikkelaar een serverloze Spark-pool bieden die is ingesteld op het gebruik van een klein aantal Spark-resources. Omdat serverloze Spark-pools niets kosten, totdat ze actief worden gebruikt, worden de kosten geminimaliseerd wanneer er meerdere ontwikkelaars zijn. De pools delen metagegevens (Spark-tabellen) zodat ze eenvoudig met elkaar kunnen samenwerken.

U kunt externe pakketten installeren via een requirements.txt-bestand tijdens het maken van de Spark-pool, vanuit de Synapse-werkruimte of vanuit Azure Portal. Zie Bibliotheken beheren voor Apache Spark in Azure Synapse Analytics.

MSSparkUtils in Synapse Spark biedt diverse hulpprogramma's om uw ervaring te verbeteren en integratie met andere hulpprogramma's en services te vereenvoudigen. Werk met bestandssystemen, haal omgevingsvariabelen op, koppel notebooks aan elkaar en werk met geheimen met minimale handmatige stappen. Ga naar Microsoft Spark Utilities voor volledige documentatie.

Toegewezen SQL-pools (voorheen SQL DW) zijn een PaaS-platform (Platform-as-a-Service) voor enterprise datawarehousing. U kunt query's uitvoeren op bestaande toegewezen SQL-pools (voorheen SQL DW) en ook nieuwe toegewezen SQL-pools maken in uw Azure Synapse-werkruimte. Niet alle functies van de toegewezen SQL-pool in Azure Synapse-werkruimten zijn van toepassing op een zelfstandige toegewezen SQL-pool (voorheen SQL DW) en vice versa. Zie wat is het verschil tussen toegewezen SQL-pools van Azure Synapse (voorheen SQL DW) en toegewezen SQL-pools in een Azure Synapse Analytics-werkruimte voor meer informatie. Als u azure Synapse-werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Een werkruimte inschakelen voor uw toegewezen SQL-pool (voorheen SQL DW).

U vindt een volledige lijst met verschillen in Verschillen in T-SQL-functies in Synapse SQL.

Er is geen 'verplaatsing' of 'migratie' nodig. U kunt ervoor kiezen om nieuwe werkruimtefuncties in te schakelen voor uw bestaande pools. Als u dit doet, zijn er geen belangrijke wijzigingen. In plaats daarvan kunt u nieuwe functies zoals Synapse Studio, Spark en serverloze SQL-pools gebruiken. Niet alle functies van de toegewezen SQL-pool in Azure Synapse-werkruimten zijn van toepassing op toegewezen SQL-pool (voorheen SQL DW) en omgekeerd. Als u werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Een werkruimte inschakelen voor uw toegewezen SQL-pool (voorheen SQL DW).

Standaard worden alle nieuwe toegewezen SQL-pools geïmplementeerd in een werkruimte. U kunt echter nog steeds een speciale SQL-pool (voorheen SQL DW) in een zelfstandige vorm maken.

Met of zonder een beheerd virtueel netwerk kunt u verbinding maken met uw werkruimte vanuit openbare netwerken. Zie Connectiviteitsinstellingen voor meer informatie. Toegang vanuit openbare netwerken kan worden beheerd door de functie voor openbare netwerktoegang of de firewall van de werkruimte in te schakelen. U kunt ook verbinding maken met uw werkruimte met behulp van een beheerd privé-eindpunt en Private Link. Synapse-werkruimten zonder het beheerde virtuele netwerk van Azure Synapse Analytics hebben niet de mogelijkheid om verbinding te maken via beheerde privé-eindpunten.

Volgende stappen

• Aan de slag met Azure Synapse Analytics
• Een werkruimte maken
• Serverloze SQL-pool gebruiken
• Azure Synapse Analytics bekende problemen
• Wat is er nieuw in Azure Synapse Analytics?