Vad är Azure Synapse Link för Azure Cosmos DB?
GÄLLER FÖR: NoSQL MongoDB Gremlin
Azure Synapse Link för Azure Cosmos DB är en molnbaserad hybridfunktion för transaktions- och analysbearbetning (HTAP) som gör att du kan köra analyser av driftsdata i Azure Cosmos DB nästan i realtid. Azure Synapse Link skapar en sömlös integrering mellan Azure Cosmos DB och Azure Synapse Analytics.
Viktigt!
Spegling av Azure Cosmos DB i Microsoft Fabric är nu tillgängligt för NoSql API. Den här funktionen ger alla funktioner i Azure Synapse Link med bättre analytiska prestanda, möjlighet att förena din dataegendom med Fabric OneLake och öppna åtkomsten till dina data i Delta Parquet-format. Om du överväger Azure Synapse Link rekommenderar vi att du provar spegling för att utvärdera den övergripande anpassningen för din organisation. Kom igång med spegling i Microsoft Fabric.
Azure Cosmos DB-analysarkiv, ett helt isolerat kolumnarkiv, kan användas med Azure Synapse Link för att aktivera ETL-analys (Extract-Transform-Load) i Azure Synapse Analytics mot dina driftdata i stor skala. Affärsanalytiker, datatekniker och dataexperter kan nu använda Synapse Spark eller Synapse SQL omväxlande för att köra pipelines för business intelligence, analys och maskininlärning i nära realtid. Du kan analysera realtidsdata utan att påverka prestandan för dina transaktionsarbetsbelastningar i Azure Cosmos DB.
Följande bild visar Azure Synapse Link-integreringen med Azure Cosmos DB och Azure Synapse Analytics:
Förmåner
Azure Cosmos DB-kunder exporterar traditionellt driftdata för att analysera stora driftsdatauppsättningar samtidigt som de minimerar eventuella effekter på prestanda för verksamhetskritiska transaktionsarbetsbelastningar. Dessa åtgärder utförs av ETL-pipelines (Extract-Transform-Load), som kräver många lager av data- och jobbhantering, vilket resulterar i driftkomplexitet och prestandaeffekter på dina transaktionsarbetsbelastningar. Det ökar också svarstiden för att analysera driftdata från ursprungstiden.
Jämfört med traditionella ETL-baserade lösningar erbjuder Azure Synapse Link för Azure Cosmos DB flera fördelar, till exempel:
Minskad komplexitet utan ETL-jobb att hantera
Med Azure Synapse Link kan du direkt komma åt Azure Cosmos DB-analysarkivet med hjälp av Azure Synapse Analytics utan komplex dataflytt. Alla uppdateringar som görs av driftdata visas i analysarkivet nästan i realtid utan ETL- eller ändringsflödesjobb. Du kan köra storskaliga analyser mot analysarkiv, från Azure Synapse Analytics, utan extra datatransformering.
Insikter i nära realtid om dina driftdata
Nu kan du få omfattande insikter om dina driftdata nästan i realtid med hjälp av Azure Synapse Link. ETL-baserade system tenderar att ha högre svarstid för att analysera dina driftdata, på grund av många lager som behövs för att extrahera, transformera och läsa in driftdata. Med intern integrering av Azure Cosmos DB-analysarkivet med Azure Synapse Analytics kan du analysera driftdata nästan i realtid och aktivera nya affärsscenarier.
Inga prestandakompromisser för driftsarbetsbelastningar
Med Azure Synapse Link kan du köra analysfrågor mot ett Azure Cosmos DB-analysarkiv, en kolumnlagringsrepresentation av dina data. Du kan köra frågorna medan transaktionsåtgärderna bearbetas med hjälp av etablerat dataflöde för transaktionsarbetsbelastningen via det radbaserade transaktionsarkivet i Azure Cosmos DB. Den analytiska arbetsbelastningen är oberoende av transaktionell arbetsbelastningstrafik och förbrukar inte det dataflöde som du allokerade för dina driftdata.
Optimerad för storskaliga analysarbetsbelastningar
Azure Cosmos DB-analysarkivet är optimerat för att ge skalbarhet, elasticitet och prestanda för analytiska arbetsbelastningar utan något beroende av beräkningskörningstiderna. Lagringstekniken är självhanterad för att optimera dina analysarbetsbelastningar. Med inbyggt stöd i Azure Synapse Analytics ger åtkomst till det här lagringsskiktet enkelhet och höga prestanda.
Kostnadseffektivt
Med Azure Synapse Link kan du få en kostnadsoptimerad, fullständigt hanterad lösning för driftanalys. Det eliminerar extra lagrings- och beräkningslager som krävs i traditionella ETL-pipelines för analys av driftdata.
Azure Cosmos DB-analysarkivet följer en förbrukningsbaserad prismodell som baseras på datalagring och analytiska läs-/skrivåtgärder och kör frågor. Det kräver inte att du allokerar något dataflöde, som du gör i dag för transaktionsarbetsbelastningarna. Att komma åt dina data med mycket elastiska beräkningsmotorer från Azure Synapse Analytics gör den totala kostnaden för att köra lagring och beräkning effektiv.
Analys för lokalt tillgängliga, globalt distribuerade skrivningar i flera regioner
Du kan köra analysfrågor effektivt mot närmaste regionala kopia av data i Azure Cosmos DB. Azure Cosmos DB tillhandahåller den senaste funktionen för att köra de globalt distribuerade analytiska arbetsbelastningarna tillsammans med transaktionsarbetsbelastningar på ett aktivt och aktivt sätt.
Aktivera HTAP-scenarier för dina driftdata
Azure Synapse Link sammanför Azure Cosmos DB-analysarkivet med Stöd för Azure Synapse Analytics-körning. Med den här integreringen kan du skapa molnbaserade HTAP-lösningar som genererar insikter baserat på realtidsuppdateringar av dina driftdata över stora datamängder. Det låser upp nya affärsscenarier för att skapa aviseringar baserat på livetrender, skapa instrumentpaneler i nära realtid och affärsupplevelser baserat på användarbeteende.
Azure Cosmos DB-analysarkiv
Azure Cosmos DB-analysarkivet är en kolumnorienterad representation av dina driftdata i Azure Cosmos DB. Det här analysarkivet lämpar sig för snabba och kostnadseffektiva frågor på stora driftdatauppsättningar. Det här arkivet kan köra frågor mot data utan att kopiera data och påverka prestandan för dina transaktionsarbetsbelastningar.
Analysarkivet hämtar automatiskt infogningar med hög frekvens, uppdateringar, borttagningar i dina transaktionsarbetsbelastningar nästan i realtid, som en fullständigt hanterad funktion ("automatisk synkronisering") av Azure Cosmos DB. Ingen ändringsfeed eller ETL krävs.
Om du har ett globalt distribuerat Azure Cosmos DB-konto blir det tillgängligt i alla regioner för det kontot när du har aktiverat analysarkiv för en container. Mer information om analysarkivet finns i översiktsartikeln för Azure Cosmos DB Analytical Store.
Integrering med Azure Synapse Analytics
Med Azure Synapse Link kan du nu ansluta direkt till dina Azure Cosmos DB-containrar från Azure Synapse Analytics och få åtkomst till analysarkivet utan separata anslutningsappar. Azure Synapse Analytics stöder för närvarande Azure Synapse Link med Synapse Apache Spark och serverlös SQL-pool.
Du kan köra frågor mot data från Azure Cosmos DB-analysarkivet samtidigt, med interop över olika analyskörningstider som stöds av Azure Synapse Analytics. Inga extra datatransformeringar krävs för att analysera driftdata. Du kan fråga och analysera analyslagringsdata med hjälp av:
Synapse Apache Spark med fullt stöd för Scala, Python, SparkSQL och C#. Synapse Spark är centralt för scenarier för datateknik och datavetenskap
Serverlös SQL-pool med T-SQL-språk och stöd för välbekanta BI-verktyg (till exempel Power BI Premium osv.)
Kommentar
Från Azure Synapse Analytics kan du komma åt både analys- och transaktionslager i din Azure Cosmos DB-container. Men om du vill köra storskaliga analyser eller genomsökningar av dina driftdata rekommenderar vi att du använder analysarkivet för att undvika prestandapåverkan på transaktionsarbetsbelastningar.
Kommentar
Du kan köra analys med låg svarstid i en Azure-region genom att ansluta din Azure Cosmos DB-container till Synapse-körningen i den regionen.
Den här integreringen möjliggör följande HTAP-scenarier för olika användare:
En BI-tekniker som vill modellera och publicera en Power BI-rapport för att få åtkomst till realtidsdriftdata i Azure Cosmos DB direkt via Synapse SQL.
En Dataanalytiker, som vill härleda insikter från driftdata i en Azure Cosmos DB-container genom att fråga den med Synapse SQL, läsa data i stor skala och kombinera dessa resultat med andra datakällor.
En Dataforskare, som vill använda Synapse Spark för att hitta en funktion för att förbättra sin modell och träna den modellen utan att utföra komplex datateknik. De kan också skriva resultatet av modellinferensen till Azure Cosmos DB för realtidsbedömning av data via Spark Synapse.
En Dataingenjör, som vill göra data tillgängliga för konsumenter, genom att skapa SQL- eller Spark-tabeller över Azure Cosmos DB-containrar utan manuella ETL-processer.
Mer information om Azure Synapse Analytics-körningsstöd för Azure Cosmos DB finns i Azure Synapse Analytics för Azure Cosmos DB-stöd.
När ska du använda Azure Synapse Link för Azure Cosmos DB?
Azure Synapse Link rekommenderas om du är Azure Cosmos DB-kund och vill köra analys, BI och maskininlärning över dina driftdata. Till exempel:
Om du kör analys eller BI på dina Azure Cosmos DB-driftdata direkt med hjälp av separata anslutningsappar i dag, eller
Om du kör ETL-processer för att extrahera driftdata till ett separat analyssystem.
I sådana fall ger Azure Synapse Link en mer integrerad analysupplevelse utan att påverka transaktionslagrets etablerade dataflöde.
Azure Synapse Link rekommenderas inte om du letar efter traditionella informationslagerkrav. Dessa krav kan omfatta hög samtidighet, arbetsbelastningshantering och beständighet av aggregeringar mellan flera datakällor. Mer information finns i vanliga scenarier som kan köras med Azure Synapse Link för Azure Cosmos DB.
Begränsningar
Azure Synapse Link för Azure Cosmos DB stöds för API:er för NoSQL, Gremlin och MongoDB. Det stöds inte för Cassandra- eller Tabell-API:er.
Datautforskaren i Synapse-arbetsytor visar inte Gremlin-grafer i trädvyn. Men du kan fortfarande köra frågor.
Åtkomst till Azure Cosmos DB-analysarkivet med Azure Synapse Dedicated SQL Pool stöds för närvarande inte.
Även om analyslagringsdata inte säkerhetskopieras och därför inte kan återställas kan du återskapa analysarkivet genom att återaktivera Azure Synapse Link i den återställda containern. Mer information finns i dokumentationen för analysarkivet.
Synapse Link för databaskonton som använder läget för kontinuerlig säkerhetskopiering är GA. Läget för kontinuerlig säkerhetskopiering för Synapse Link-aktiverade konton är i offentlig förhandsversion. För närvarande kan kunder som inaktiverade Synapse Link från containrar inte migrera till kontinuerlig säkerhetskopiering.
Detaljerad rollbaserad åtkomstkontroll stöds inte vid frågor från Synapse. Användare som har åtkomst till din Synapse-arbetsyta och har åtkomst till Azure Cosmos DB-kontot kan komma åt alla containrar i det kontot. Vi stöder för närvarande inte mer detaljerad åtkomst till containrarna.
För närvarande stöder Inte Azure Synapse-arbetsytor länkade tjänster med hjälp av
Managed Identity
. Använd alltid alternativetMasterKey
.För närvarande rekommenderas inte skrivkonton i flera regioner för produktionsmiljöer.
Säkerhet
Med Azure Synapse Link kan du köra analyser i nära realtid över dina verksamhetskritiska data i Azure Cosmos DB. Det är viktigt att se till att viktiga affärsdata lagras på ett säkert sätt i både transaktions- och analyslager. Azure Synapse Link för Azure Cosmos DB är utformat för att uppfylla dessa säkerhetskrav med hjälp av följande funktioner:
Nätverksisolering med privata slutpunkter – Du kan styra nätverksåtkomsten till data i transaktions- och analysarkiven oberoende av varandra. Nätverksisolering utförs med separata hanterade privata slutpunkter för varje butik i hanterade virtuella nätverk på Azure Synapse-arbetsytor. Mer information finns i artikeln Konfigurera privata slutpunkter för analysarkiv .
Datakryptering med kundhanterade nycklar – Du kan sömlöst kryptera data i transaktions- och analyslager med samma kundhanterade nycklar på ett automatiskt och transparent sätt. Azure Synapse Link stöder endast konfiguration av kundhanterade nycklar med hjälp av ditt Azure Cosmos DB-kontos hanterade identitet. Du måste konfigurera kontots hanterade identitet i din Azure Key Vault-åtkomstprincip innan du aktiverar Azure Synapse Link för ditt konto. Mer information finns i artikeln Konfigurera kundhanterade nycklar med hjälp av Azure Cosmos DB-kontons hanterade identiteter .
Säker nyckelhantering – Åtkomst till data i analysarkivet från Synapse Spark- och Synapse-serverlösa SQL-pooler kräver hantering av Azure Cosmos DB-nycklar i Synapse Analytics-arbetsytor. I stället för att använda Azure Cosmos DB-kontonycklarna infogade i Spark-jobb eller SQL-skript ger Azure Synapse Link säkrare funktioner:
När du använder Synapse-serverlösa SQL-pooler kan du fråga Azure Cosmos DB-analysarkivet genom att i förväg skapa SQL-autentiseringsuppgifter som lagrar kontonycklarna och referera till dessa nycklar i
OPENROWSET
funktionen. Mer information finns i artikeln Fråga med en serverlös SQL-pool i Azure Synapse Link .När du använder Synapse Spark kan du lagra kontonycklarna i länkade tjänstobjekt som pekar på en Azure Cosmos DB-databas och referera till nycklarna i Spark-konfigurationen vid körning. Mer information finns i artikeln Kopiera data till en dedikerad SQL-pool med Apache Spark .
Prissättning
Faktureringsmodellen för Azure Synapse Link innehåller de kostnader som uppstår med hjälp av Azure Cosmos DB-analysarkivet och Synapse-körningen. Mer information finns i prissättningen för Azure Cosmos DB-analysarkivet och prissättningsartiklarna för Azure Synapse Analytics.
Nästa steg
Mer information finns i följande dokument: