Vad är Azure Synapse Link för Azure Cosmos DB?

GÄLLER FÖR: Nosql Mongodb Gremlin

Azure Synapse Link för Azure Cosmos DB är en molnbaserad hybridfunktion för transaktions- och analysbearbetning (HTAP) som gör att du kan köra analyser av driftsdata i Azure Cosmos DB nästan i realtid. Azure Synapse Link skapar en sömlös integrering mellan Azure Cosmos DB och Azure Synapse Analytics.

Azure Cosmos DB-analysarkiv, ett helt isolerat kolumnarkiv, kan användas med Azure Synapse Link för att aktivera ETL-analys (Extract-Transform-Load) i Azure Synapse Analytics mot dina driftdata i stor skala. Affärsanalytiker, datatekniker och dataexperter kan nu använda Synapse Spark eller Synapse SQL omväxlande för att köra pipelines för business intelligence, analys och maskininlärning i nära realtid. Du kan analysera realtidsdata utan att påverka prestandan för dina transaktionsarbetsbelastningar i Azure Cosmos DB.

Följande bild visar Azure Synapse Link-integreringen med Azure Cosmos DB och Azure Synapse Analytics:

Architecture diagram for Azure Synapse Analytics integration with Azure Cosmos DB

Azure Cosmos DB-kunder exporterar traditionellt driftdata för att analysera stora driftsdatauppsättningar samtidigt som de minimerar eventuella effekter på prestanda för verksamhetskritiska transaktionsarbetsbelastningar. Dessa åtgärder utförs av ETL-pipelines (Extract-Transform-Load), som kräver många lager av data- och jobbhantering, vilket resulterar i driftkomplexitet och prestandaeffekter på dina transaktionsarbetsbelastningar. Det ökar också svarstiden för att analysera driftdata från ursprungstiden.

Jämfört med traditionella ETL-baserade lösningar erbjuder Azure Synapse Link för Azure Cosmos DB flera fördelar, till exempel:

Minskad komplexitet utan ETL-jobb att hantera

Med Azure Synapse Link kan du direkt komma åt Azure Cosmos DB-analysarkivet med hjälp av Azure Synapse Analytics utan komplex dataflytt. Alla uppdateringar som görs av driftdata visas i analysarkivet nästan i realtid utan ETL- eller ändringsflödesjobb. Du kan köra storskaliga analyser mot analysarkiv, från Azure Synapse Analytics, utan extra datatransformering.

Insikter i nära realtid om dina driftdata

Nu kan du få omfattande insikter om dina driftdata nästan i realtid med hjälp av Azure Synapse Link. ETL-baserade system tenderar att ha högre svarstid för att analysera dina driftdata, på grund av många lager som behövs för att extrahera, transformera och läsa in driftdata. Med intern integrering av Azure Cosmos DB-analysarkivet med Azure Synapse Analytics kan du analysera driftdata nästan i realtid och aktivera nya affärsscenarier.

Inga prestandakompromisser för driftsarbetsbelastningar

Med Azure Synapse Link kan du köra analysfrågor mot ett Azure Cosmos DB-analysarkiv, en kolumnlagringsrepresentation av dina data. Du kan köra frågorna medan transaktionsåtgärderna bearbetas med hjälp av etablerat dataflöde för transaktionsarbetsbelastningen via det radbaserade transaktionsarkivet i Azure Cosmos DB. Den analytiska arbetsbelastningen är oberoende av transaktionell arbetsbelastningstrafik och förbrukar inte det dataflöde som du allokerade för dina driftdata.

Optimerad för storskaliga analysarbetsbelastningar

Azure Cosmos DB-analysarkivet är optimerat för att ge skalbarhet, elasticitet och prestanda för analytiska arbetsbelastningar utan något beroende av beräkningskörningstiderna. Lagringstekniken är självhanterad för att optimera dina analysarbetsbelastningar. Med inbyggt stöd i Azure Synapse Analytics ger åtkomst till det här lagringsskiktet enkelhet och höga prestanda.

Kostnadseffektivt

Med Azure Synapse Link kan du få en kostnadsoptimerad, fullständigt hanterad lösning för driftanalys. Det eliminerar extra lagrings- och beräkningslager som krävs i traditionella ETL-pipelines för analys av driftdata.

Azure Cosmos DB-analysarkivet följer en förbrukningsbaserad prismodell som baseras på datalagring och analytiska läs-/skrivåtgärder och kör frågor. Det kräver inte att du allokerar något dataflöde, som du gör i dag för transaktionsarbetsbelastningarna. Att komma åt dina data med mycket elastiska beräkningsmotorer från Azure Synapse Analytics gör den totala kostnaden för att köra lagring och beräkning effektiv.

Analys för lokalt tillgängliga, globalt distribuerade skrivningar i flera regioner

Du kan köra analysfrågor effektivt mot närmaste regionala kopia av data i Azure Cosmos DB. Azure Cosmos DB tillhandahåller den senaste funktionen för att köra de globalt distribuerade analytiska arbetsbelastningarna tillsammans med transaktionsarbetsbelastningar på ett aktivt och aktivt sätt.

Aktivera HTAP-scenarier för dina driftdata

Azure Synapse Link sammanför Azure Cosmos DB-analysarkivet med Stöd för Azure Synapse Analytics-körning. Med den här integreringen kan du skapa molnbaserade HTAP-lösningar som genererar insikter baserat på realtidsuppdateringar av dina driftdata över stora datamängder. Det låser upp nya affärsscenarier för att skapa aviseringar baserat på livetrender, skapa instrumentpaneler i nära realtid och affärsupplevelser baserat på användarbeteende.

Azure Cosmos DB-analysarkiv

Azure Cosmos DB-analysarkivet är en kolumnorienterad representation av dina driftdata i Azure Cosmos DB. Det här analysarkivet lämpar sig för snabba och kostnadseffektiva frågor på stora driftdatauppsättningar. Det här arkivet kan köra frågor mot data utan att kopiera data och påverka prestandan för dina transaktionsarbetsbelastningar.

Analysarkivet hämtar automatiskt infogningar med hög frekvens, uppdateringar, borttagningar i dina transaktionsarbetsbelastningar nästan i realtid, som en fullständigt hanterad funktion ("automatisk synkronisering") av Azure Cosmos DB. Ingen ändringsfeed eller ETL krävs.

Om du har ett globalt distribuerat Azure Cosmos DB-konto blir det tillgängligt i alla regioner för det kontot när du har aktiverat analysarkiv för en container. Mer information om analysarkivet finns i översiktsartikeln för Azure Cosmos DB Analytical Store.

Med Azure Synapse Link kan du nu ansluta direkt till dina Azure Cosmos DB-containrar från Azure Synapse Analytics och få åtkomst till analysarkivet utan separata anslutningsappar. Azure Synapse Analytics stöder för närvarande Azure Synapse Link med Synapse Apache Spark och serverlös SQL-pool.

Du kan köra frågor mot data från Azure Cosmos DB-analysarkivet samtidigt, med interop över olika analyskörningstider som stöds av Azure Synapse Analytics. Inga extra datatransformeringar krävs för att analysera driftdata. Du kan fråga och analysera analyslagringsdata med hjälp av:

  • Synapse Apache Spark med fullt stöd för Scala, Python, SparkSQL och C#. Synapse Spark är centralt för scenarier för datateknik och datavetenskap

  • Serverlös SQL-pool med T-SQL-språk och stöd för välbekanta BI-verktyg (till exempel Power BI Premium osv.)

Kommentar

Från Azure Synapse Analytics kan du komma åt både analys- och transaktionslager i din Azure Cosmos DB-container. Men om du vill köra storskaliga analyser eller genomsökningar av dina driftdata rekommenderar vi att du använder analysarkivet för att undvika prestandapåverkan på transaktionsarbetsbelastningar.

Kommentar

Du kan köra analys med låg svarstid i en Azure-region genom att ansluta din Azure Cosmos DB-container till Synapse-körningen i den regionen.

Den här integreringen möjliggör följande HTAP-scenarier för olika användare:

  • En BI-tekniker som vill modellera och publicera en Power BI-rapport för att få åtkomst till realtidsdriftdata i Azure Cosmos DB direkt via Synapse SQL.

  • En Dataanalytiker, som vill härleda insikter från driftdata i en Azure Cosmos DB-container genom att fråga den med Synapse SQL, läsa data i stor skala och kombinera dessa resultat med andra datakällor.

  • En Dataforskare, som vill använda Synapse Spark för att hitta en funktion för att förbättra sin modell och träna den modellen utan att utföra komplex datateknik. De kan också skriva resultatet av modellinferensen till Azure Cosmos DB för realtidsbedömning av data via Spark Synapse.

  • En Dataingenjör, som vill göra data tillgängliga för konsumenter, genom att skapa SQL- eller Spark-tabeller över Azure Cosmos DB-containrar utan manuella ETL-processer.

Mer information om Azure Synapse Analytics-körningsstöd för Azure Cosmos DB finns i Azure Synapse Analytics för Azure Cosmos DB-stöd.

Azure Synapse Link rekommenderas om du är Azure Cosmos DB-kund och vill köra analys, BI och maskininlärning över dina driftdata. Till exempel:

  • Om du kör analys eller BI på dina Azure Cosmos DB-driftdata direkt med hjälp av separata anslutningsappar i dag, eller

  • Om du kör ETL-processer för att extrahera driftdata till ett separat analyssystem.

I sådana fall ger Azure Synapse Link en mer integrerad analysupplevelse utan att påverka transaktionslagrets etablerade dataflöde.

Azure Synapse Link rekommenderas inte om du letar efter traditionella informationslagerkrav. Dessa krav kan omfatta hög samtidighet, arbetsbelastningshantering och beständighet av aggregeringar mellan flera datakällor. Mer information finns i vanliga scenarier som kan köras med Azure Synapse Link för Azure Cosmos DB.

Begränsningar

  • Azure Synapse Link för Azure Cosmos DB stöds för NoSQL- och MongoDB-API:er. Det stöds inte för Cassandra- eller Tabell-API:er och förblir i förhandsversion för Gremlin API.

  • Åtkomst till Azure Cosmos DB-analysarkivet med Azure Synapse Dedicated SQL Pool stöds för närvarande inte.

  • Även om analyslagringsdata inte säkerhetskopieras och därför inte kan återställas kan du återskapa analysarkivet genom att återaktivera Azure Synapse Link i den återställda containern. Mer information finns i dokumentationen för analysarkivet.

  • Möjligheten att aktivera Synapse Link i databaskonton med kontinuerlig säkerhetskopiering aktiverad är nu tillgänglig. Men den motsatta situationen, för att aktivera kontinuerlig säkerhetskopiering i Synapse Link-aktiverade databaskonton, stöds fortfarande inte ännu.

  • Detaljerad rollbaserad åtkomstkontroll stöds inte vid frågor från Synapse. Användare som har åtkomst till din Synapse-arbetsyta och har åtkomst till Azure Cosmos DB-kontot kan komma åt alla containrar i det kontot. Vi stöder för närvarande inte mer detaljerad åtkomst till containrarna.

  • För närvarande stöder Inte Azure Synapse-arbetsytor länkade tjänster med hjälp av Managed Identity. Använd alltid alternativet MasterKey .

  • För närvarande rekommenderas inte skrivkonton i flera regioner för produktionsmiljöer.

Säkerhet

Med Azure Synapse Link kan du köra analyser i nära realtid över dina verksamhetskritiska data i Azure Cosmos DB. Det är viktigt att se till att viktiga affärsdata lagras på ett säkert sätt i både transaktions- och analyslager. Azure Synapse Link för Azure Cosmos DB är utformat för att uppfylla dessa säkerhetskrav med hjälp av följande funktioner:

  • Nätverksisolering med privata slutpunkter – Du kan styra nätverksåtkomsten till data i transaktions- och analysarkiven oberoende av varandra. Nätverksisolering utförs med separata hanterade privata slutpunkter för varje butik i hanterade virtuella nätverk på Azure Synapse-arbetsytor. Mer information finns i artikeln Konfigurera privata slutpunkter för analysarkiv .

  • Datakryptering med kundhanterade nycklar – Du kan sömlöst kryptera data i transaktions- och analyslager med samma kundhanterade nycklar på ett automatiskt och transparent sätt. Azure Synapse Link stöder endast konfiguration av kundhanterade nycklar med hjälp av ditt Azure Cosmos DB-kontos hanterade identitet. Du måste konfigurera kontots hanterade identitet i din Azure Key Vault-åtkomstprincip innan du aktiverar Azure Synapse Link för ditt konto. Mer information finns i artikeln Konfigurera kundhanterade nycklar med hjälp av Azure Cosmos DB-kontons hanterade identiteter .

  • Säker nyckelhantering – Åtkomst till data i analysarkivet från Synapse Spark- och Synapse-serverlösa SQL-pooler kräver hantering av Azure Cosmos DB-nycklar i Synapse Analytics-arbetsytor. I stället för att använda Azure Cosmos DB-kontonycklarna infogade i Spark-jobb eller SQL-skript ger Azure Synapse Link säkrare funktioner:

Prissättning

Faktureringsmodellen för Azure Synapse Link innehåller de kostnader som uppstår med hjälp av Azure Cosmos DB-analysarkivet och Synapse-körningen. Mer information finns i prissättningen för Azure Cosmos DB-analysarkivet och prissättningsartiklarna för Azure Synapse Analytics.

Nästa steg

Mer information finns i följande dokument: