解決方案構想
本文說明解決方案概念。 您的雲端架構設計人員可以使用本指南，協助可視化此架構的一般實作的主要元件。 使用本文作為起點，設計符合您工作負載特定需求的架構良好解決方案。
邏輯數據倉儲 （LDW） 模式會將輕量型虛擬化關係層放在儲存在數據湖或資料庫中的數據之上。 此虛擬化層提供數據倉儲存取權，而不需要數據移動。 此解決方案可以結合在線事務處理 （OLTP） 資料與來自 Data Lake 的分析數據，以提供低複雜度、低延遲的方式來服務商業智慧 （BI） 和分析工作負載。
Apache Spark™ 是 美國 和/或其他國家/地區的 Apache Software Foundation 商標。 Apache Software Foundation 不會隱含使用此標記。
架構
資料流程
Azure Data Factory 會將來源系統的數據整合到企業數據湖中。
裝置和感測器數據也會透過 Azure IoT 中樞 從邊緣裝置串流至雲端。 Azure 串流分析會處理數據，並將其傳送至企業數據湖。
Azure Synapse 無伺服器 SQL 集區會定義 LDW，其具有可透過 Azure Synapse 工作區 無伺服器 SQL 集區隨選端點存取的邏輯數據表和檢視。
適用於 Azure Cosmos DB 的 Azure Synapse Link 會透過 Azure Synapse 無伺服器 SQL 集區查詢即時事務數據。 此數據會與來自企業 Data Lake 的冷批次和經常性串流數據聯結，以建立邏輯檢視。
報表、BI 和其他分析應用程式會使用 Azure Synapse 工作區無伺服器 SQL 端點來存取 LDW 資料和檢視。
注意
Azure Synapse 工作區無伺服器 SQL 端點可從任何支援表格式資料流 （TDS） 連線至 SQL Server 的工具或服務存取。
元件
- Azure Synapse Analytics 是一項無限制的分析服務，可將數據整合、企業數據倉儲和巨量數據分析整合在一起。
- Azure Synapse 無伺服器 SQL 集區 會使用 T-SQL 和無伺服器 SQL 隨選端點來查詢數據湖。
- 適用於 Azure Cosmos DB 的 Azure Synapse Link 會使用 Azure Synapse 無伺服器 SQL 集區來查詢 Azure Cosmos DB OLTP 數據。
- Data Factory 提供雲端規模的數據整合和數據流協調流程。
- IoT 中樞 可讓您在物聯網 （IoT） 應用程式和裝置之間進行安全且可靠的通訊。
- 串流分析 提供無伺服器即時串流分析管線。
- Azure Data Lake Storage 提供可調整且符合成本效益的雲端記憶體。
- Azure Cosmos DB 是完全受控的 NoSQL 資料庫，可用於新式應用程式開發。
案例詳細資料
藉由搭配 Azure Synapse 無伺服器 SQL 集區使用 LDW，您可以在單一 T-SQL 查詢或檢視定義中聯結冷批次數據、熱串流數據和即時事務數據。
此解決方案可避免透過複雜、昂貴且容易延遲的擷取、轉換和載入 （ETL） 管線來行動資料。 LDW 概念類似於 Data Lakehouse，但使用 Azure Synapse Analytics 的 LDW 包含混合式交易/分析處理 （HTAP） 的支援。 HTAP 使用 Azure Synapse 無伺服器 SQL 集區來查詢儲存在 Azure Cosmos DB 中的 OLTP 數據。
Azure Synapse Analytics LDW 是以所有 Azure Synapse 工作區可用的無伺服器 SQL 集區為基礎。 OPENROWSET 函式的增強版本可讓無伺服器 SQL 集區存取 Data Lake Storage 中的數據。
此數據存取可讓您建立關係資料庫物件，例如數據表和檢視表，以代表邏輯實體的數據檔集合，例如產品、客戶和銷售交易。 使用標準 SQL Server 端點連線的 BI 工具可以使用這些邏輯實體作為維度和事實數據表。
透過適用於 Azure Cosmos DB 的 Azure Synapse Link 存取交易式數據存放區的能力擴充了這些功能。 使用 HTAP 架構存取 OLTP 數據可提供即時更新，而不會干擾即時交易。
每個 Azure Synapse 工作區都包含隨選 SQL 端點。 端點可讓 SQL Server 系統管理員和開發人員使用熟悉的環境來處理 Azure Synapse 無伺服器 SQL 集區所定義的 LDW。
下列螢幕快照顯示連線至 Azure Synapse 無伺服器 SQL 集區的 SQL Server Management Studio （SSMS）。
Azure Synapse 無伺服器 SQL 集區支援下列檔案格式：
- 分隔文字，例如 CSV、TSV 和 TXT
- JSON
- Parquet
Azure Synapse 無伺服器 SQL 集區也支援 Delta Lake 格式。 此支援允許在Spark中擴充、使用SQL等模式，其中 Azure Synapse 工程師數據中的 Azure Databricks 或 Apache Spark 集區等 Apache Spark™ 服務可在 Data Lake 中建立策劃的數據集。 您不必將這些數據集載入實體數據倉儲，而是可以在數據湖上定義LDW，以提供用於報告的模型/服務層。
具有 Azure Synapse 無伺服器 SQL 集區的 LDW 是 Data Lakehouse 模式的實作。 使用 Databricks SQL 實作 LDW 是替代解決方案。 不過，Databricks SQL 缺少適用於 Cosmos DB 的 Azure Synapse Link 的 HTAP 功能。
潛在使用案例
此模式適用於下列情況：
- 適用於 BI 和其他分析使用案例的數據倉儲服務層。
- 臨機操作探索 Data Lake 中的原始數據。
- 符合成本效益的數據串流至不需要自己的計算資源來寫入數據的數據湖。 邏輯資料庫數據表、檢視或臨機操作 T-SQL 查詢可以立即從 Data Lake 存取數據。
- 立即存取 Azure Cosmos DB 事務數據，以建置即時匯總管線，或與儲存在 Data Lake 中的分析數據聯結。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主體作者：
- Jon Dobrzeniecki | Sr. 雲端解決方案架構師
若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。
下一步
- 在 Azure Synapse Analytics 中使用無伺服器 SQL 集區查詢記憶體檔案
- 教學課程：使用無伺服器 SQL 集區建立邏輯數據倉儲
- 什麼是適用於 Azure Cosmos DB 的 Azure Synapse Link
- POLARIS：Azure Synapse 中的分散式 SQL 引擎
- 什麼是 Delta Lake？