Veelgestelde vragen over Azure Synapse Analytics

In deze handleiding vindt u de veelgestelde vragen over Azure Synapse Analytics.

Algemeen

Hoe kan ik RBAC-rollen gebruiken om mijn werkruimte te beveiligen?

Azure Synapse introduceert een aantal rollen en bereiken om ze aan toe te wijzen. Dit vereenvoudigt het beveiligen van uw werkruimte.

Synapse RBAC-rollen:

  • Synapse-beheerder
  • Synapse SQL-beheerder
  • Synapse Spark-beheerder
  • Synapse-inzender
  • Synapse Artifact Publisher
  • Synapse Artifact-gebruiker
  • Synapse-rekenoperator
  • Synapse-referentiegebruiker
  • Synapse Linked Data Manager
  • Synapse-gebruiker

Als u uw Synapse-werkruimte wilt beveiligen, wijst u de RBAC-rollen toe aan deze RBAC-bereiken:

  • Workspaces
  • Spark-pools
  • Integration Runtimes
  • Gekoppelde services
  • Referenties

Daarnaast beschikt u met toegewezen SQL-pools over alle beveiligingsfuncties die u kent en waardeert.

Hoe kan ik toegewezen SQL-pools, serverloze SQL-pools en serverloze Spark-pools beheren?

Als uitgangspunt werkt Azure Synapse met de ingebouwde kostenanalyse en kostenwaarschuwingen die beschikbaar zijn op het niveau van het Azure-abonnement.

  • Toegewezen SQL-pools: u hebt rechtstreeks inzicht in de kosten en controle over de kosten, omdat u de grootte van toegewezen SQL-pools maakt en specificeert. U kunt verder zelf bepalen welke gebruikers toegewezen SQL-pools kunnen maken of schalen met Azure RBAC-rollen.

  • Serverloze SQL-pools: u hebt controle-en kostenbeheerinstellingen waarmee u op een dagelijks, wekelijks en maandelijks niveau uitgaven kunt limiteren. Zie Kostenbeheer voor serverloze SQL-pool voor meer informatie.

  • Serverloze Spark-pools: u kunt bepalen wie Spark-pools kan maken met Synapse RBAC-rollen.

Biedt synapse-werkruimte ondersteuning voor maporganisatie van objecten en granulariteit bij algemene beschikbaarheid?

Synapse-werkruimten ondersteunen door de gebruiker gedefinieerde mappen.

Kan ik meer dan één Power BI-werkruimte koppelen aan één Azure Synapse-werkruimte?

Ja, vanaf 10 juni 2021 kunt u Synapse Studio nu meer dan één Power BI-werkruimte toevoegen aan één Azure Synapse-werkruimte.

Azure Synapse Analytics ondersteunt momenteel Azure Synapse Link van Azure Cosmos DB naar Synapse Apache Spark en serverloze SQL-pool. Azure Synapse Link voor Apache Spark is algemeen beschikbaar. Synapse Link voor serverloze SQL-pool is in preview. Zie Azure Synapse Link voor Azure Cosmos DB voor meer informatie.

Azure Synapse Link voor SQL is algemeen beschikbaar voor zowel SQL Server 2022 als Azure SQL Database. Zie Wat is Azure Synapse Link voor SQL? voor meer informatie.

Biedt Azure Synapse werkruimte ondersteuning voor CI/CD?

Ja. Alle pijplijnartefacten, notebooks, SQL-scripts en Spark-taakdefinities bevinden zich in Git. Alle pooldefinities worden opgeslagen in Git als Azure Resource Manager-sjablonen (ARM). Toegewezen SQL-poolobjecten (schema's, tabellen, weergaven, enzovoort) worden beheerd met databaseprojecten met CI/CD-ondersteuning. Raadpleeg deze CI- en CD-handleiding voor meer informatie.

Wat zijn de functionele verschillen tussen toegewezen SQL-pools en serverloze pools?

De mogelijkheden en vereisten verschillen tussen de twee typen pools. Verschillen zijn databaseobjecten, mogelijkheden voor querytaal, beveiliging, hulpprogramma's, gegevenstoegang en gegevensindeling. Ga naar Pools vergelijken voor gedetailleerde vergelijking van SQL-pools en serverloze pools. Raadpleeg Best Practices voor toegewezen SQL-pools en Best Practices voor serverloze SQL-pool voor aanbevolen procedures voor het gebruik van een van beide typen pools.

Wat zijn Delta-tabellen en waarom moet ik deze gebruiken?

Lakehouse is gebaseerd op open gegevensindelingen voor directe toegang, zoals Apache Parquet. Het biedt eersteklas ondersteuning voor machine learning en gegevenswetenschap. Een Delta-tabel is een weergave van gegevens die zijn opgenomen in een Delta Lake, die ondersteuning biedt voor de meeste opties die worden geboden door lees- en schrijf-API's van Apache Spark DataFrame. Lakehouses kunnen helpen bij grote uitdagingen met datawarehouses, zoals gegevensverplaatsing, betrouwbaarheid, totale eigendomskosten en gegevensvergrendeling. In Delta-tabellen zijn optimalisaties zoals automatische compressie en adaptieve queryplannen beschikbaar. Ga voor een gedetailleerde handleiding naar Delta Lake Guide.

Wat is Automatische compressie?

Automatische compressie is een van de twee complementaire functies van Tabellen automatisch optimaliseren voor Delta. Nadat het schrijven naar een tabel is geslaagd, kan Automatisch comprimeren bestanden verder comprimeren voor partities met het meeste aantal kleine bestanden. Aanmelden voor Automatische compressie wordt aanbevolen voor streaminggebruiksscenario's waarbij het toevoegen van minuten latentie acceptabel is en wanneer u geen regelmatige OPTIMIZE-aanroepen in uw tabel hebt. Raadpleeg deze handleiding voor automatisch optimaliseren voor meer informatie over automatisch optimaliseren en automatisch comprimeren.

Pipelines

Hoe kan ik ervoor zorgen dat ik weet welke referentie wordt gebruikt om een pijplijn uit te voeren?

Elke activiteit in een Synapse-pijplijn wordt uitgevoerd met behulp van de referentie die is opgegeven in de gekoppelde service.

Worden SSIS IRs ondersteund in Synapse Integrate?

Momenteel niet.

Hoe verschillen Azure Data Factory pijplijnen en Azure Synapse pijplijnen?

Enkele voorbeelden van verschillen zijn ondersteuning voor globale parameters, bewaking van Spark-taken voor Gegevensstroom en Integration Runtime delen. Raadpleeg dit document voor Gegevensintegratie - Synapse vs ADF voor meer informatie.

Hoe kan ik bestaande pijplijnen van Azure Data Factory naar een Azure Synapse werkruimte migreren?

Op dit moment moet u uw Azure Data Factory-pijplijnen en gerelateerde artefacten handmatig opnieuw maken door de JSON uit de oorspronkelijke pijplijn te exporteren en te importeren in uw Synapse-werkruimte.

Hoe kan ik een Apache Spark-taakdefinitie gebruiken?

Bekijk deze snelstartgids.

Kan ik notebooks aanroepen vanuit ADF-pijplijnen?

Er zijn twee opties voor deze use case. Een optie is om pijplijnen in ADF te houden en u moet een webactiviteit inpakken. Bekijk deze handleiding voor webactiviteiten voor meer informatie over deze optie. De andere optie is om de pijplijnen te migreren naar Synapse. Bekijk dit migratiecodevoorbeeld voor meer informatie over de tweede optie.

Apache Spark

Wat is het verschil tussen Apache Spark voor Synapse en Apache Spark?

Apache Spark voor Synapse is Apache Spark met extra ondersteuning voor integraties met andere services (Azure AD, AzureML, enzovoort) en aanvullende bibliotheken (mssparktuils, Hummingbird) en vooraf afgestemde prestatieconfiguraties.

Elke workload die momenteel wordt uitgevoerd op Apache Spark, wordt zonder wijziging uitgevoerd op Apache Spark voor Azure Synapse.

Welke versies van Spark zijn beschikbaar?

Vanaf mei 2021 biedt Azure Synapse Apache Spark volledige ondersteuning voor Spark 2.4 en Spark 3.1. Vanaf april 2022 is Spark 3.2 in preview. Zie Apache Spark-versieondersteuning voor een volledige lijst met kernonderdelen en momenteel ondersteunde versies.

Is er een equivalent van DButils in Azure Synapse Spark?

Ja, Azure Synapse Apache Spark biedt de bibliotheek mssparkutils. Zie Inleiding tot Microsoft Spark-hulpprogramma's voor volledige documentatie over het hulpprogramma.

Hoe kan ik sessieparameters instellen in Apache Spark?

Gebruik %%configure magic available om sessieparameters in te stellen. De sessie moet opnieuw worden gestart om de parameters toe te passen.

Hoe kan ik parameters op clusterniveau in een serverloze Spark-pool instellen?

Als u parameters op clusterniveau wilt instellen, kunt u een spark.conf-bestand opgeven voor de Spark-pool. In deze pool worden vervolgens de parameters uit het configuratiebestand gebruikt.

Kan ik een Spark-cluster met meerdere gebruikers uitvoeren in Azure Synapse Analytics?

Azure Synapse biedt speciaal gebouwde engines voor specifieke gebruiksvoorbeelden. Apache Spark voor Synapse is ontworpen als taakservice en niet als clustermodel. Er zijn twee scenario's waarin mensen om een clustermodel met meerdere gebruikers vragen.

Scenario 1: veel gebruikers die toegang hebben tot een cluster om gegevens te verwerken voor BI-doeleinden.

De eenvoudigste manier om deze taak uit te voeren, is om de gegevens in Spark te zetten en vervolgens te profiteren van de verwerkingsmogelijkheden van Synapse SQL zodat ze Power BI kunnen verbinden met die gegevenssets.

Scenario 2: meerdere ontwikkelaars op één cluster om geld te besparen.

Voor dit scenario moet u elke ontwikkelaar een serverloze Spark-pool bieden die is ingesteld op het gebruik van een klein aantal Spark-resources. Omdat serverloze Spark-pools niets kosten, worden de kosten geminimaliseerd totdat ze actief worden gebruikt wanneer er meerdere ontwikkelaars zijn. De pools delen metagegevens (Spark-tabellen) zodat ze eenvoudig met elkaar kunnen samenwerken.

Hoe kan ik bibliotheken opnemen, beheren en installeren?

U kunt externe pakketten installeren via een requirements.txt-bestand tijdens het maken van de Spark-pool, vanuit de Synapse-werkruimte of vanuit de Azure Portal. Zie Bibliotheken beheren voor Apache Spark in Azure Synapse Analytics.

Welke hulpprogramma's zijn voor mij beschikbaar in Synapse Spark?

MSSparkUtils op Synapse Spark biedt een verscheidenheid aan hulpprogramma's om uw ervaring te verbeteren en de integratie met andere hulpprogramma's en services eenvoudiger te maken. Werk met bestandssystemen, haal omgevingsvariabelen op, koppel notebooks aan elkaar en werk met geheimen met minimale handmatige stappen. Ga naar Microsoft Spark Utilities voor de volledige documentatie.

Toegewezen SQL-pools

Wat is het verschil tussen toegewezen SQL-pools (SQL DW) en toegewezen SQL-pools in Azure Synapse werkruimten?

Toegewezen SQL-pools (voorheen SQL DW) zijn een Platform-as-a-Service (PaaS) enterprise datawarehousingplatform. U kunt query's uitvoeren op bestaande toegewezen SQL-pools (voorheen SQL DW) en ook nieuwe toegewezen SQL-pools maken in uw Azure Synapse-werkruimte. Niet alle functies van de toegewezen SQL-pool in Azure Synapse werkruimten zijn van toepassing op een zelfstandige toegewezen SQL-pool (voorheen SQL DW) en vice versa. Zie Wat is het verschil tussen Azure Synapse toegewezen SQL-pools (voorheen SQL DW) en toegewezen SQL-pools in een Azure Synapse Analytics-werkruimte? voor meer informatie. Als u Azure Synapse werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Een werkruimte inschakelen voor uw toegewezen SQL-pool (voorheen SQL DW).

Wat zijn de functionele verschillen tussen toegewezen SQL-pools en serverloze pools?

U vindt een volledige lijst met verschillen in verschillen in T-SQL-functies in Synapse SQL.

Nu Azure Synapse algemeen beschikbaar is, hoe kan ik mijn toegewezen SQL-pools die voorheen zelfstandig waren, verplaatsen naar Azure Synapse?

Er is geen 'verplaatsing' of 'migratie' nodig. U kunt ervoor kiezen om nieuwe werkruimtefuncties in te schakelen voor uw bestaande pools. Als u dit doet, zijn er geen wijzigingen die fouten veroorzaken. In plaats daarvan kunt u nieuwe functies gebruiken, zoals Synapse Studio, Spark en serverloze SQL-pools. Niet alle functies van de toegewezen SQL-pool in Azure Synapse werkruimten zijn van toepassing op een toegewezen SQL-pool (voorheen SQL DW) en omgekeerd. Als u werkruimtefuncties wilt inschakelen voor een bestaande toegewezen SQL-pool (voorheen SQL DW), raadpleegt u Een werkruimte inschakelen voor uw toegewezen SQL-pool (voorheen SQL DW).

Wat is nu de standaardimplementatie van toegewezen SQL-pools?

Standaard worden alle nieuwe toegewezen SQL-pools geïmplementeerd in een werkruimte; Als dat nodig is, kunt u echter nog steeds een toegewezen SQL-pool (voorheen SQL DW) maken in een zelfstandige vormfactor.

Netwerkbeveiliging

Hoe kan ik beveiligde toegang tot mijn Azure Synapse werkruimte?

Met of zonder een beheerd virtueel netwerk kunt u vanuit openbare netwerken verbinding maken met uw werkruimte. Zie Connectiviteitsinstellingen voor meer informatie. Toegang vanuit openbare netwerken kan worden beheerd door de functie openbare netwerktoegang of de werkruimtefirewall in te schakelen. U kunt ook verbinding maken met uw werkruimte via een beheerd privé-eindpunt en Private Link. Synapse-werkruimten zonder de beheerde Virtual Network van Azure Synapse Analytics hebben niet de mogelijkheid om verbinding te maken via beheerde privé-eindpunten.