Delen via

Azure Cosmos DB spiegelen (preview)

  • Artikel

Spiegeling in Microsoft Fabric biedt een naadloze no-ETL-ervaring om uw bestaande Azure Cosmos DB-gegevens te integreren met de rest van uw gegevens in Microsoft Fabric. U kunt uw Azure Cosmos DB-gegevens in bijna realtime continu repliceren naar Fabric OneLake, zonder dat dit van invloed is op de prestaties van uw transactionele workloads.

Gegevens in OneLake worden opgeslagen in de opensource-delta-indeling en automatisch beschikbaar gemaakt voor alle analytische engines op Fabric.

U kunt T-SQL gebruiken om complexe statistische query's en Spark uit te voeren voor gegevensverkenning. U kunt naadloos toegang krijgen tot de gegevens in notebooks, data science gebruiken om machine learning-modellen te bouwen en business intelligence-rapporten te bouwen met Direct Lake, mogelijk gemaakt door Copilot integratie.

Belangrijk

Spiegeling voor Azure Cosmos DB is momenteel beschikbaar als preview-versie. Productieworkloads worden niet ondersteund tijdens de preview-versie. Momenteel worden alleen Azure Cosmos DB for NoSQL-accounts ondersteund.

Waarom spiegeling gebruiken in Fabric?

Met Mirroring in Fabric hoeft u geen verschillende services van meerdere leveranciers samen te voegen. In plaats daarvan kunt u genieten van een zeer geïntegreerd, end-to-end en gebruiksvriendelijk product dat is ontworpen om uw analysebehoeften te vereenvoudigen en gebouwd voor openheid.

Als u op zoek bent naar analyses van uw operationele gegevens in Azure Cosmos DB, biedt spiegeling het volgende:

  • No-ETL, rendabel in bijna realtime analyses op Azure Cosmos DB-gegevens zonder dat dit van invloed is op uw verbruik van aanvraageenheden
  • Het gemak van het overbrengen van gegevens over verschillende bronnen in Fabric OneLake
  • Optimalisaties van Delta-tabellen met v-order voor bliksemsnelle leesbewerkingen
  • Integratie met één klik met Power BI met Direct Lake en Copilot
  • Uitgebreide zakelijke inzichten door gegevens toe te voegen aan verschillende bronnen
  • Uitgebreidere app-integratie voor toegang tot query's en weergaven

OneLake-gegevens worden opgeslagen in de opensource Delta Lake-indeling, zodat u deze kunt gebruiken met verschillende oplossingen binnen en buiten Microsoft. Met deze gegevensindeling kunt u eenvoudiger één gegevensdomein bouwen voor uw analytische behoeften.

Welke analyse-ervaringen zijn ingebouwd?

Gespiegelde databases zijn een item in Fabric Synapse-Databeheersysteem anders dan het eindpunt voor warehouse- en SQL-analyse.

Diagram van fabricspiegeling voor Azure Cosmos DB.

Elke gespiegelde Azure Cosmos DB-database heeft drie items waarmee u kunt communiceren in uw Fabric-werkruimte:

  • Het gespiegelde database-item. Spiegeling beheert de replicatie van gegevens in OneLake en conversie naar Parquet, in een indeling die gereed is voor analyse. Dit maakt downstreamscenario's mogelijk, zoals data engineering, data science en meer.
  • SQL Analytics-eindpunt, dat automatisch wordt gegenereerd
  • Standaard semantisch model, dat automatisch wordt gegenereerd

Gespiegelde database

De gespiegelde database toont de replicatiestatus en de besturingselementen voor het stoppen of starten van replicatie in Fabric OneLake. U kunt uw brondatabase ook weergeven in de modus Alleen-lezen, met behulp van de Azure Cosmos DB-gegevensverkenner. Met Data Explorer kunt u uw containers weergeven in uw Azure Cosmos DB-brondatabase en er query's op uitvoeren. Deze bewerkingen verbruiken aanvraageenheden (RU's) uit uw Azure Cosmos DB-account. Wijzigingen in de brondatabase worden onmiddellijk doorgevoerd in de brondatabaseweergave van Fabric. Schrijven naar de brondatabase is niet toegestaan vanuit Fabric, omdat u alleen de gegevens kunt bekijken.

SQL Analytics-eindpunt

Elke gespiegelde database heeft een automatisch gegenereerd SQL-analyse-eindpunt dat een uitgebreide analytische ervaring biedt boven op de Delta-tabellen van OneLake die zijn gemaakt door het spiegelingsproces. U hebt toegang tot bekende T-SQL-opdrachten waarmee u gegevensobjecten kunt definiëren en opvragen, maar de gegevens niet kunt manipuleren vanuit het SQL-analyse-eindpunt, omdat het een alleen-lezen kopie is.

U kunt de volgende acties uitvoeren in het SQL Analytics-eindpunt:

  • Delta Lake-tabellen verkennen met behulp van T-SQL. Elke tabel wordt toegewezen aan een container uit uw Azure Cosmos DB-database.
  • Maak query's en weergaven zonder code te maken en verken ze visueel zonder een coderegel te schrijven.
  • Gegevens samenvoegen en opvragen in andere gespiegelde databases, magazijnen en Lakehouses in dezelfde werkruimte.

Naast de Microsoft Fabric SQL-Power Query-editor is er een breed ecosysteem van hulpprogramma's. Deze hulpprogramma's omvatten Visual Studio Code, Azure Data Studio, SQL Server Management Studio en zelfs GitHub Copilot. U kunt analyses en inzichten genereren op basis van het hulpprogramma van uw keuze.

Semantisch model

Het standaard semantische model is een automatisch ingericht Semantisch Power BI-model. Met deze functie kunnen zakelijke metrische gegevens worden gemaakt, gedeeld en hergebruikt. Zie semantische modellen voor meer informatie.

Hoe werkt bijna realtime replicatie?

Wanneer u spiegeling inschakelt op uw Azure Cosmos DB-database, worden bewerkingen ingevoegd, bijgewerkt en verwijderd op uw OLTP-gegevens (Online Transaction Processing) continu gerepliceerd naar Fabric OneLake voor analyseverbruik.

De functie voor continue back-up is een vereiste voor spiegeling. U kunt continue back-ups van 7 dagen of 30 dagen inschakelen in uw Azure Cosmos DB-account.

Notitie

Spiegeling maakt geen gebruik van de analytische opslag of wijzigingenfeed van Azure Cosmos DB als een gegevensopnamebron voor wijzigingen. U kunt deze mogelijkheden onafhankelijk blijven gebruiken, samen met spiegeling.

Het kan enkele minuten duren voordat uw Azure Cosmos DB-gegevens worden gerepliceerd naar Fabric OneLake. Afhankelijk van de initiële momentopname van uw gegevens of de frequentie van updates/verwijderingen kan replicatie in sommige gevallen ook langer duren. Replicatie heeft geen invloed op de aanvraageenheden (RU's) die u hebt toegewezen voor uw transactionele workloads.

Wat u kunt verwachten van spiegeling

Er zijn enkele overwegingen en ondersteunde scenario's die u moet overwegen voordat u spiegelt.

Overwegingen bij het instellen

Als u een database wilt spiegelen, moet deze al worden ingericht in Azure. U moet continue back-up inschakelen voor het account als een vereiste.

  • U kunt elke database alleen afzonderlijk tegelijk spiegelen. U kunt kiezen welke database u wilt spiegelen.
  • U kunt dezelfde database meerdere keren spiegelen binnen dezelfde werkruimte. Als best practice kan één kopie van de database opnieuw worden gebruikt in lakehouses, magazijnen of andere gespiegelde databases. U hoeft niet meerdere spiegels in te stellen op dezelfde database.
  • U kunt dezelfde database ook spiegelen in verschillende Fabric-werkruimten of -tenants.
  • Wijzigingen in Azure Cosmos DB-containers, zoals het toevoegen van nieuwe containers en het verwijderen van bestaande containers, worden naadloos gerepliceerd naar Fabric. U kunt bijvoorbeeld beginnen met het spiegelen van een lege database zonder containers en het spiegelen van de containers die op een later tijdstip zijn toegevoegd, naadloos worden opgehaald.

Ondersteuning voor geneste gegevens

Geneste gegevens worden weergegeven als een JSON-tekenreeks in SQL Analytics-eindpunttabellen. U kunt T-SQL-query's of weergaven gebruiken OPENJSONCROSS APPLYom OUTER APPLY deze gegevens selectief uit te breiden. Als u Power Query gebruikt, kunt u de ToJson functie ook toepassen om deze gegevens uit te vouwen.

Notitie

Fabric heeft een beperking voor tekenreekskolommen van 8 kB in grootte. Zie datawarehousebeperkingen voor meer informatie.

Schemawijzigingen verwerken

Met spiegeling worden eigenschappen automatisch gerepliceerd in Azure Cosmos DB-items, met schemawijzigingen. Nieuwe eigenschappen die in een item worden gedetecteerd, worden weergegeven als nieuwe kolommen en de ontbrekende eigenschappen, indien aanwezig, worden weergegeven als null in Fabric.

Als u de naam van een eigenschap in een item wijzigt, behouden de fabric-tabellen zowel de oude als de nieuwe kolommen. In de oude kolom wordt null weergegeven en de nieuwe kolom geeft de meest recente waarde weer voor alle items die worden gerepliceerd na de hernoemingsbewerking.

Als u het gegevenstype van een eigenschap in Azure Cosmos DB-items wijzigt, worden de wijzigingen ondersteund voor compatibele gegevenstypen die kunnen worden geconverteerd. Als de gegevenstypen niet compatibel zijn voor conversie in Delta, worden ze weergegeven als null-waarden.

SQL Analytics-eindpunttabellen converteren Delta-gegevenstypen naar T-SQL-gegevenstypen.

Dubbele kolomnamen

Azure Cosmos DB ondersteunt niet-hoofdlettergevoelige kolomnamen, op basis van de JSON-standaard. Spiegeling ondersteunt deze dubbele kolomnamen door toe te voegen _n aan de kolomnaam, waarbij n dit een numerieke waarde zou zijn.

Als het Azure Cosmos DB-item bijvoorbeeld unieke eigenschappen heeft addressName en AddressName als unieke eigenschappen heeft, hebben fabric-tabellen corresponderende addressName en AddressName_1 kolommen. Zie replicatiebeperkingen voor meer informatie.

Beveiliging

Verbindingen met uw brondatabase zijn gebaseerd op accountsleutels voor uw Azure Cosmos DB-accounts. Als u de sleutels roteert of opnieuw genereert, moet u de verbindingen bijwerken om ervoor te zorgen dat replicatie werkt. Zie verbindingen voor meer informatie.

Accountsleutels zijn niet direct zichtbaar voor andere Fabric-gebruikers zodra de verbinding is ingesteld. U kunt beperken wie toegang heeft tot de verbindingen die zijn gemaakt in Fabric. Schrijfbewerkingen zijn niet toegestaan voor de Azure Cosmos DB-database vanuit de Data Explorer of het analyse-eindpunt in uw gespiegelde database.

Mirroring biedt momenteel geen ondersteuning voor verificatie met behulp van alleen-lezen accountsleutels, eenmalige aanmelding (SSO) met Microsoft Entra-id's en op rollen gebaseerd toegangsbeheer of beheerde identiteiten.

Zodra de gegevens zijn gerepliceerd in Fabric OneLake, moet u de toegang tot deze gegevens beveiligen.

Functies voor gegevensbescherming

Gedetailleerde beveiliging kan worden geconfigureerd in de gespiegelde database in Microsoft Fabric. Zie gedetailleerde machtigingen in Microsoft Fabric voor meer informatie.

U kunt kolomfilters en rijfilters op basis van predicaat op tabellen beveiligen voor rollen en gebruikers in Microsoft Fabric:

U kunt ook gevoelige gegevens van niet-beheerders maskeren met dynamische gegevensmaskering:

Netwerkbeveiliging

Op dit moment biedt spiegeling geen ondersteuning voor privé-eindpunten of door de klant beheerde sleutels (CMK) in OneLake. Spiegelen wordt niet ondersteund voor Azure Cosmos DB-accounts met netwerkbeveiligingsconfiguraties die minder permissief zijn dan alle netwerken, het gebruik van service-eindpunten, het gebruik van privé-eindpunten, het gebruik van IP-adressen of het gebruik van andere instellingen die de toegang tot het openbare netwerk tot het account kunnen beperken. Azure Cosmos DB-accounts moeten zijn geopend voor alle netwerken om te kunnen werken met spiegeling.

Herstel na noodgevallen en replicatielatentie

In Fabric kunt u inhoud implementeren in datacenters in andere regio's dan de thuisregio van de Fabric-tenant. Zie ondersteuning voor meerdere geografische gebieden voor meer informatie.

Voor een Azure Cosmos DB-account met een primaire schrijfregio en meerdere leesregio's kiest spiegeling de Leesregio van Azure Cosmos DB die zich het dichtst bij de regio bevindt waar de infrastructuurcapaciteit is geconfigureerd. Deze selectie biedt replicatie met lage latentie voor spiegeling.

Wanneer u uw Azure Cosmos DB-account overschakelt naar een herstelregio, wordt door spiegeling automatisch de dichtstbijzijnde Azure Cosmos DB-regio opnieuw geselecteerd.

Notitie

Spiegeling biedt geen ondersteuning voor accounts met meerdere schrijfregio's.

Uw Cosmos DB-gegevens die zijn gerepliceerd naar OneLake, moeten worden geconfigureerd om storingen in de hele regio af te handelen. Zie herstel na noodgevallen in OneLake voor meer informatie.

Uw gegevens verkennen met spiegeling

U kunt gespiegelde gegevens rechtstreeks weergeven en openen in OneLake. U kunt ook naadloos toegang krijgen tot gespiegelde gegevens zonder verdere gegevensverplaatsing.

Meer informatie over het openen van OneLake met behulp van ADLS Gen2-API's of SDK, de OneLake-verkenner en Azure Storage Explorer.

U kunt verbinding maken met het EINDPUNT van SQL Analytics vanuit hulpprogramma's zoals SQL Server Management Studio (SSMS) of met behulp van stuurprogramma's zoals Microsoft Open Database Connectivity (ODBC) en Java Database Connectivity (JDBC). Zie connectiviteit van SQL Analytics-eindpunten voor meer informatie.

U kunt ook toegang krijgen tot gespiegelde gegevens met services zoals:

  • Azure-services zoals Azure Databricks, Azure HDInsight of Azure Synapse Analytics
  • Fabric Lakehouse met behulp van snelkoppelingen voor data engineering- en data science-scenario's
  • Andere gespiegelde databases of magazijnen in de werkruimte Fabric

U kunt ook oplossingen voor de medalsight-architectuur bouwen, de gegevens opschonen en transformeren die als bronslaag in gespiegelde database worden geplaatst. Zie de ondersteuning voor medal intune-architectuur in Fabric voor meer informatie.

Prijzen

Er zijn momenteel geen kosten verbonden aan de functie spiegeling of het opslaan van gespiegelde gegevens in Fabric tijdens de openbare preview. Het rekengebruik voor het opvragen van gegevens via SQL, Power BI of Spark wordt nog steeds in rekening gebracht op basis van de infrastructuurcapaciteit. Zie veelgestelde vragen voor meer informatie: Prijzen.

Als u data explorer gebruikt in Fabric-spiegeling, worden er typische kosten gemaakt op basis van het gebruik van de aanvraageenheid (RU) om de containers te verkennen en query's uit te voeren op de items in de Azure Cosmos DB-brondatabase. De functie voor continue back-up van Azure Cosmos DB is een vereiste voor spiegeling: de standaardkosten voor continue back-up zijn van toepassing. Er worden geen extra kosten in rekening gebracht voor het spiegelen van doorlopende back-upfacturering. Zie prijzen voor Azure Cosmos DB voor meer informatie.

Volgende stap

Zelfstudie: Gespiegelde Databases van Microsoft Fabric configureren vanuit Azure Cosmos DB (preview)

Gerelateerde inhoud