Wat is Azure Synapse Link voor Azure Cosmos DB?

  • Artikel

VAN TOEPASSING OP: Nosql MongoDB Gremlin

Azure Synapse Link voor Azure Cosmos DB is een systeemeigen hybride transactionele en analytische verwerking (HTAP) in de cloud waarmee operationele gegevens in Azure Cosmos DB bijna in realtime kunnen worden geanalyseerd. Azure Synapse Link zorgt voor een naadloze integratie tussen Azure Cosmos DB en Azure Synapse Analytics.

Analytische opslag van Azure Cosmos DB, een volledig geïsoleerde kolomopslag, kan worden gebruikt met Azure Synapse Link om ETL-analyses (Extract-Transform-Load) in te schakelen in Azure Synapse Analytics op schaal op basis van uw operationele gegevens. Bedrijfsanalisten, gegevenstechnici en gegevenswetenschappers kunnen nu Synapse Spark of Synapse SQL gebruiken om bijna realtime business intelligence, analyses en machine learning-pijplijnen uit te voeren. U kunt realtimegegevens analyseren zonder dat dit van invloed is op de prestaties van uw transactionele workloads in Azure Cosmos DB.

In de volgende afbeelding ziet u de integratie van Azure Synapse Link met Azure Cosmos DB en Azure Synapse Analytics:

Architecture diagram for Azure Synapse Analytics integration with Azure Cosmos DB

Als u grote operationele gegevenssets wilt analyseren en eventuele gevolgen voor de prestaties van bedrijfskritieke transactionele workloads wilt minimaliseren, exporteren Azure Cosmos DB-klanten traditioneel de operationele gegevens. Deze bewerkingen worden uitgevoerd door ETL-pijplijnen (Extract-Transform-Load), waarvoor veel lagen gegevens- en taakbeheer nodig zijn, wat resulteert in operationele complexiteit en prestatie-effecten op uw transactionele workloads. Het verhoogt ook de latentie om de operationele gegevens te analyseren vanaf het tijdstip van oorsprong.

In vergelijking met traditionele ETL-oplossingen biedt Azure Synapse Link voor Azure Cosmos DB verschillende voordelen, zoals:

Minder complexiteit zonder ETL-taken om te beheren

Met Azure Synapse Link kunt u rechtstreeks toegang krijgen tot de analytische opslag van Azure Cosmos DB met behulp van Azure Synapse Analytics zonder complexe gegevensverplaatsing. Alle updates die zijn aangebracht in de operationele gegevens, zijn in bijna realtime zichtbaar in de analytische opslag zonder ETL- of wijzigingenfeedtaken. U kunt grootschalige analyses uitvoeren op analytische opslag, vanuit Azure Synapse Analytics, zonder extra gegevenstransformatie.

Bijna realtime inzichten in uw operationele gegevens

U kunt nu uitgebreide inzichten krijgen over uw operationele gegevens in bijna realtime met behulp van Azure Synapse Link. ETL-systemen hebben meestal een hogere latentie voor het analyseren van uw operationele gegevens, omdat er veel lagen nodig zijn om de operationele gegevens te extraheren, transformeren en laden. Met systeemeigen integratie van analytische opslag van Azure Cosmos DB met Azure Synapse Analytics kunt u operationele gegevens in bijna realtime analyseren en nieuwe bedrijfsscenario's mogelijk maken.

Geen inbreuk op prestaties voor operationele workloads

Met Azure Synapse Link kunt u analytische query's uitvoeren op een analytische opslag van Azure Cosmos DB, een kolomopslagweergave van uw gegevens. U kunt de query's uitvoeren terwijl de transactionele bewerkingen worden verwerkt met behulp van ingerichte doorvoer voor de transactionele workload, via het transactionele archief op basis van Azure Cosmos DB. De analytische werkbelasting is onafhankelijk van het transactionele workloadverkeer, en verbruikt niet de doorvoer die u hebt toegewezen voor uw operationele gegevens.

Geoptimaliseerd voor grootschalige analyseworkloads

Analytische opslag van Azure Cosmos DB is geoptimaliseerd voor schaalbaarheid, elasticiteit en prestaties voor analytische workloads zonder enige afhankelijkheid van de berekeningsruntimes. De opslagtechnologie wordt zelf beheerd om uw analyseworkloads te optimaliseren. Dankzij ingebouwde ondersteuning in Azure Synapse Analytics biedt toegang tot deze opslaglaag eenvoud en hoge prestaties.

Rendabel

Met Azure Synapse Link kunt u een volledig beheerde oplossing voor operationele analyses krijgen die is geoptimaliseerd voor kosten. Het elimineert extra opslag- en rekenlagen die vereist zijn in traditionele ETL-pijplijnen voor het analyseren van operationele gegevens.

Analytische opslag van Azure Cosmos DB volgt een prijsmodel op basis van verbruik, dat is gebaseerd op gegevensopslag en analytische lees-/schrijfbewerkingen en uitgevoerde query's. Hiervoor hoeft u geen doorvoer toe te wijzen, zoals u dat nu doet voor de transactionele workloads. Als u toegang hebt tot uw gegevens met zeer elastische rekenengines van Azure Synapse Analytics, worden de totale kosten voor het uitvoeren van opslag en rekenkracht efficiënt.

Analyses voor lokaal beschikbare, wereldwijd gedistribueerde schrijfbewerkingen voor meerdere regio's

U kunt analytische query's effectief uitvoeren op de dichtstbijzijnde regionale kopie van de gegevens in Azure Cosmos DB. Azure Cosmos DB biedt de geavanceerde mogelijkheden om de wereldwijd gedistribueerde analytische workloads samen met transactionele workloads op een actief-actieve manier uit te voeren.

HTAP-scenario's inschakelen voor uw operationele gegevens

Azure Synapse Link brengt analytische opslag van Azure Cosmos DB samen met ondersteuning voor Azure Synapse Analytics Runtime. Met deze integratie kunt u cloudeigen HTAP-oplossingen bouwen die inzichten genereren op basis van realtime updates van uw operationele gegevens via grote gegevenssets. Het ontgrendelt nieuwe bedrijfsscenario's om waarschuwingen te genereren op basis van livetrends, bijna realtime dashboards en zakelijke ervaringen te bouwen op basis van gebruikersgedrag.

Analytische opslag van Azure Cosmos DB

Analytische opslag van Azure Cosmos DB is een kolomgeoriënteerde weergave van uw operationele gegevens in Azure Cosmos DB. Deze analytische opslag is geschikt voor snelle, rendabele query's op grote operationele gegevenssets. Dit archief kan query's uitvoeren op gegevens zonder gegevens te kopiëren en de prestaties van uw transactionele workloads te beïnvloeden.

Analytische opslag haalt automatisch hoge frequentie invoegingen, updates, verwijderingen in uw transactionele workloads in bijna realtime op, als een volledig beheerde mogelijkheid ('automatisch synchroniseren') van Azure Cosmos DB. Er is geen wijzigingsfeed of ETL vereist.

Als u een wereldwijd gedistribueerd Azure Cosmos DB-account hebt nadat u analytische opslag voor een container hebt ingeschakeld, is dit beschikbaar in alle regio's voor dat account. Zie het overzichtsartikel over analytische opslag in Azure Cosmos DB voor meer informatie over de analytische opslag.

Met Azure Synapse Link kunt u nu rechtstreeks verbinding maken met uw Azure Cosmos DB-containers vanuit Azure Synapse Analytics en toegang krijgen tot de analytische opslag zonder afzonderlijke connectors. Azure Synapse Analytics ondersteunt momenteel Azure Synapse Link met Synapse Apache Spark en een serverloze SQL-pool.

U kunt tegelijkertijd query's uitvoeren op de gegevens uit de analytische opslag van Azure Cosmos DB, met interop in verschillende uitvoeringstijden voor analyses die worden ondersteund door Azure Synapse Analytics. Er zijn geen extra gegevenstransformaties vereist om de operationele gegevens te analyseren. U kunt de analytische opslaggegevens opvragen en analyseren met behulp van:

  • Synapse Apache Spark met volledige ondersteuning voor Scala, Python, SparkSQL en C#. Synapse Spark is centraal in scenario's voor data engineering en data science

  • Serverloze SQL-pool met T-SQL-taal en ondersteuning voor vertrouwde BI-hulpprogramma's (bijvoorbeeld Power BI Premium, enzovoort)

Notitie

Vanuit Azure Synapse Analytics hebt u toegang tot zowel analytische als transactionele archieven in uw Azure Cosmos DB-container. Als u echter grootschalige analyses of scans op uw operationele gegevens wilt uitvoeren, raden we u aan analytische opslag te gebruiken om prestatie-impact op transactionele workloads te voorkomen.

Notitie

U kunt analyses uitvoeren met een lage latentie in een Azure-regio door uw Azure Cosmos DB-container te verbinden met Synapse Runtime in die regio.

Deze integratie maakt de volgende HTAP-scenario's mogelijk voor verschillende gebruikers:

  • Een BI-technicus die een Power BI-rapport wil modelleren en publiceren om rechtstreeks via Synapse SQL toegang te krijgen tot de live operationele gegevens in Azure Cosmos DB.

  • Een Gegevensanalist die inzichten wil afleiden uit de operationele gegevens in een Azure Cosmos DB-container door er query's op uit te voeren met Synapse SQL, de gegevens op schaal te lezen en deze bevindingen te combineren met andere gegevensbronnen.

  • Een Datawetenschapper, die Synapse Spark wil gebruiken om een functie te vinden om hun model te verbeteren en dat model te trainen zonder complexe data engineering uit te voeren. Ze kunnen ook de resultaten van het modelpostdeductie naar Azure Cosmos DB schrijven voor realtime scoren op de gegevens via Spark Synapse.

  • Een Data-engineer, die gegevens toegankelijk wil maken voor consumenten, door SQL- of Spark-tabellen te maken via Azure Cosmos DB-containers, zonder handmatige ETL-processen.

Zie de ondersteuning van Azure Synapse Analytics voor Azure Cosmos DB voor meer informatie over ondersteuning voor Azure Synapse Analytics voor Azure Cosmos DB.

Azure Synapse Link wordt aanbevolen als u een Azure Cosmos DB-klant bent en u analyses, BI en machine learning wilt uitvoeren voor uw operationele gegevens. Bijvoorbeeld:

  • Als u analyses of BI uitvoert op uw operationele gegevens van Azure Cosmos DB, rechtstreeks met behulp van afzonderlijke connectors, of

  • Als u ETL-processen uitvoert om operationele gegevens te extraheren in een afzonderlijk analysesysteem.

In dergelijke gevallen biedt Azure Synapse Link een meer geïntegreerde analyse-ervaring zonder dat dit van invloed is op de ingerichte doorvoer van uw transactionele winkel.

Azure Synapse Link wordt niet aanbevolen als u op zoek bent naar traditionele datawarehousevereisten. Deze vereisten kunnen bestaan uit hoge gelijktijdigheid, workloadbeheer en persistentie van aggregaties in meerdere gegevensbronnen. Zie algemene scenario's die kunnen worden mogelijk gemaakt met Azure Synapse Link voor Azure Cosmos DB voor meer informatie.

Beperkingen

  • Azure Synapse Link voor Azure Cosmos DB wordt ondersteund voor NoSQL- en MongoDB-API's. Het wordt niet ondersteund voor Cassandra- of Table-API's en blijft in preview voor Gremlin-API.

  • Toegang tot het Azure Cosmos DB-analysearchief met een toegewezen SQL-pool van Azure Synapse wordt momenteel niet ondersteund.

  • Hoewel er geen back-up wordt gemaakt van analytische opslaggegevens en daarom niet kunnen worden hersteld, kunt u de analytische opslag opnieuw bouwen door Azure Synapse Link opnieuw in te schakelen in de herstelde container. Raadpleeg de documentatie voor analytische opslag voor meer informatie.

  • De mogelijkheid om Synapse Link in te schakelen in databaseaccounts waarvoor continue back-up is ingeschakeld, is nu beschikbaar. Maar de omgekeerde situatie, om continue back-up in te schakelen in Synapse Link-databaseaccounts, wordt nog steeds niet ondersteund.

  • Gedetailleerd op rollen gebaseerd toegangsbeheer wordt niet ondersteund bij het uitvoeren van query's vanuit Synapse. Gebruikers die toegang hebben tot uw Synapse-werkruimte en toegang hebben tot het Azure Cosmos DB-account, hebben toegang tot alle containers binnen dat account. Momenteel bieden we geen ondersteuning voor gedetailleerdere toegang tot de containers.

  • Momenteel bieden Azure Synapse-werkruimten geen ondersteuning voor gekoppelde services met behulp van Managed Identity. Gebruik altijd de MasterKey optie.

  • Schrijfaccounts voor meerdere regio's worden momenteel niet aanbevolen voor productieomgevingen.

Beveiliging

Met Azure Synapse Link kunt u bijna realtime analyses uitvoeren op uw essentiële gegevens in Azure Cosmos DB. Het is essentieel om ervoor te zorgen dat kritieke bedrijfsgegevens veilig worden opgeslagen in zowel transactionele als analytische opslag. Azure Synapse Link voor Azure Cosmos DB is ontworpen om te voldoen aan deze beveiligingsvereisten via de volgende functies:

  • Netwerkisolatie met behulp van privé-eindpunten : u kunt de netwerktoegang tot de gegevens in de transactionele en analytische opslag onafhankelijk beheren. Netwerkisolatie wordt uitgevoerd met afzonderlijke beheerde privé-eindpunten voor elke winkel, binnen beheerde virtuele netwerken in Azure Synapse-werkruimten. Zie het artikel Over het configureren van privé-eindpunten voor analytische opslag voor meer informatie.

  • Gegevensversleuteling met door de klant beheerde sleutels : u kunt de gegevens naadloos versleutelen in transactionele en analytische archieven met behulp van dezelfde door de klant beheerde sleutels op een automatische en transparante manier. Azure Synapse Link biedt alleen ondersteuning voor het configureren van door de klant beheerde sleutels met behulp van de beheerde identiteit van uw Azure Cosmos DB-account. U moet de beheerde identiteit van uw account configureren in uw Azure Key Vault-toegangsbeleid voordat u Azure Synapse Link inschakelt voor uw account. Zie voor meer informatie hoe u door de klant beheerde sleutels configureert met behulp van het artikel beheerde identiteiten van Azure Cosmos DB-accounts.

  • Beveiligd sleutelbeheer : voor toegang tot de gegevens in analytische opslag vanuit Synapse Spark- en Synapse-serverloze SQL-pools is het beheren van Azure Cosmos DB-sleutels in Synapse Analytics-werkruimten vereist. In plaats van de azure Cosmos DB-accountsleutels inline te gebruiken in Spark-taken of SQL-scripts, biedt Azure Synapse Link veiligere mogelijkheden:

Prijzen

Het factureringsmodel van Azure Synapse Link omvat de kosten die worden gemaakt met behulp van de analytische opslag van Azure Cosmos DB en de Synapse-runtime. Zie de prijzen voor analytische opslag van Azure Cosmos DB en de prijzen van Azure Synapse Analytics voor meer informatie.

Volgende stappen

Zie de volgende documenten voor meer informatie: