Logiskt informationslager med Azure Synapse serverlösa SQL-pooler

LDW-mönstret (Logical Data Warehouse) lägger ett enkelt virtualiserat relationslager ovanpå data som lagras i en datasjö eller databas. Det här virtualiseringslagret ger informationslageråtkomst utan att kräva dataflytt. Den här lösningen kan kombinera OLTP-data (Online Transaction Processing) med analysdata från datasjöar för ett lågkomplexitets- och lågsvarstidssätt för att hantera arbetsbelastningar med business intelligence (BI) och analys.

Apache Spark™ är ett varumärke som tillhör Apache Software Foundation i USA och/eller andra länder/regioner. Inget godkännande från Apache Software Foundation underförstås av användningen av det här märket.

Arkitektur

Ladda ned en PowerPoint-fil med alla diagram i den här artikeln.

Dataflöde

1. Azure Data Factory integrerar data från källsystem i företagsdatasjön.

2. Enhets- och sensordata strömmar också från gränsenheter till molnet via Azure IoT Hub. Azure Stream Analytics bearbetar data och skickar dem till företagsdatasjön.

3. Azure Synapse serverlösa SQL-pooler definierar en LDW som har logiska tabeller och vyer som är tillgängliga via Azure Synapse serverlös SQL-pool på begäran.

4. Azure Synapse Link för Azure Cosmos DB frågar transaktionsdata i realtid via Azure Synapse serverlösa SQL-pooler. Dessa data kopplas till kall batch- och frekvent strömmande data från företagsdatasjön för att skapa logiska vyer.

5. Rapporterings-, BI- och andra analysprogram får åtkomst till LDW-data och vyer med hjälp av Azure Synapse serverlös SQL-slutpunkt på arbetsytan.

   Anteckning

   Den serverlösa SQL-slutpunkten Azure Synapse arbetsyta är tillgänglig från alla verktyg eller tjänster som stöder TDS-anslutningar (Tabular Data Stream) till SQL Server.

Komponenter

• Azure Synapse Analytics är en obegränsad analystjänst som sammanför dataintegrering, lagring av företagsdata och stordataanalys.
  • Azure Synapse serverlösa SQL-pooler frågar efter datasjöar med hjälp av T-SQL och serverlösa SQL-slutpunkter på begäran.
  • Azure Synapse Link för Azure Cosmos DB frågar Azure Cosmos DB OLTP-data med hjälp av Azure Synapse serverlösa SQL-pooler.
• Data Factory erbjuder dataintegrering i molnskala och dataflödesorkestrering.
• IoT Hub möjliggör säker och tillförlitlig kommunikation mellan IoT-program (Internet of Things) och enheter.
• Stream Analytics tillhandahåller serverlösa pipelines för direktuppspelningsanalys i realtid.
• Azure Data Lake Storage erbjuder skalbar och kostnadseffektiv molnlagring.
• Azure Cosmos DB är en fullständigt hanterad NoSQL-databas för modern apputveckling.

Scenarioinformation

Genom att använda en LDW med Azure Synapse serverlösa SQL-pooler kan du koppla kalla batchdata, direktuppspelningsdata och livetransaktionsdata i en enda T-SQL-fråga eller vydefinition.

Den här lösningen undviker att flytta data via komplexa, dyra och latensbenägna pipelines för extrahering, transformering och belastning (ETL). LDW-konceptet liknar ett data lakehouse, men LDW med Azure Synapse Analytics innehåller stöd för hybridtransaktions-/analysbearbetning (HTAP). HTAP använder Azure Synapse serverlösa SQL-pooler för att köra frågor mot OLTP-data som lagras i Azure Cosmos DB.

En Azure Synapse Analytics LDW baseras på serverlösa SQL-pooler som är tillgängliga med alla Azure Synapse arbetsytor. En förbättrad version av funktionen OPENROWSET gör det möjligt för serverlösa SQL-pooler att komma åt data i Data Lake Storage.

Med den här dataåtkomsten kan du skapa relationsdatabasobjekt som tabeller och vyer över samlingar av datafiler som representerar logiska entiteter, till exempel produkter, kunder och försäljningstransaktioner. BI-verktyg som ansluter med hjälp av en standardslutpunkt SQL Server kan använda dessa logiska entiteter som dimensioner och faktatabeller.

Möjligheten att komma åt transaktionsdatalager som Azure Cosmos DB via Azure Synapse Link för Azure Cosmos DB utökar dessa funktioner. Åtkomst till OLTP-data med hjälp av HTAP-arkitekturen ger omedelbara uppdateringar utan att störa livetransaktioner.

Varje Azure Synapse arbetsyta innehåller en SQL-slutpunkt på begäran. Med slutpunkten kan SQL Server administratörer och utvecklare använda välbekanta miljöer för att arbeta med LDW:er som Azure Synapse definiera serverlösa SQL-pooler.

Följande skärmbild visar SQL Server Management Studio (SSMS) som är ansluten till en Azure Synapse serverlös SQL-pool.

Azure Synapse serverlösa SQL-pooler stöder följande filformat:

• Avgränsad text, till exempel CSV, TSV och TXT
• JSON
• Parquet

Azure Synapse serverlösa SQL-pooler stöder också Delta Lake-formatet. Det här stödet tillåter mönster som berikar i Spark, fungerar med SQL, där Apache Spark-tjänster™ som Azure Databricks eller Apache Spark-pooler i Azure Synapse teknikerdata för att skapa kurerade datauppsättningar i datasjön. I stället för att behöva läsa in dessa datauppsättningar i ett fysiskt informationslager kan du definiera en LDW över datasjön för att tillhandahålla modell-/serverlagret för rapportering.

LDW med Azure Synapse serverlösa SQL-pooler är en implementering av Data Lakehouse-mönstret. Att använda Databricks SQL för att implementera en LDW är en alternativ lösning. Databricks SQL saknar dock HTAP-funktionen för Azure Synapse Link för Cosmos DB.

Potentiella användningsfall

Det här mönstret är användbart i följande fall:

• Informationslager som betjänar lager för BI och andra analysanvändningsfall.
• Ad hoc-utforskning av rådata i en datasjö.
• Kostnadseffektiv dataströmning till en datasjö som inte kräver egna beräkningsresurser för att skriva data. En logisk databastabell, vy eller ad hoc-T-SQL-fråga kan komma åt data direkt från datasjön.
• Omedelbar åtkomst till Transaktionsdata i Azure Cosmos DB för att skapa aggregeringspipelines i realtid eller ansluta till analysdata som lagras i datasjön.

Deltagare

Den här artikeln underhålls av Microsoft. Den skrevs ursprungligen av följande deltagare.

Huvudförfattare:

• Jon Dobrzeniecki | Sr. Cloud Solution Architect

Om du vill se icke-offentliga LinkedIn-profiler loggar du in på LinkedIn.

Nästa steg

• Köra frågor mot lagringsfiler med serverlös SQL-pool i Azure Synapse Analytics
• Självstudie: Skapa logiska Data Warehouse med serverlös SQL-pool
• Vad är Azure Synapse Link för Azure Cosmos DB?
• POLARIS: Den distribuerade SQL-motorn i Azure Synapse
• Vad är Delta Lake?

Relaterade resurser

• Informationslager för företag
• Skydda ett data lakehouse med Azure Synapse Analytics
• Databearbetning i nära realtid i lakehouse
• Fråga en datasjö eller lakehouse med hjälp av Azure Synapse serverlös