Share via


資料應用程式 (來源對齊)

如果您選擇不實作資料無關引擎,以便從操作來源擷取資料一次,或如果資料無關引擎中沒有協助複雜的連線,您應該建立一個與來源對齊的資料應用程式。 當從外部資料源擷取資料時,它應該遵循與資料無關引擎相同的流程。

概觀

您的應用程式資源群組只負責從外部來源擷取和擴充資料,例如遙測、財務或 CRM。 此層可以即時、批次和微批次運作。

本節說明針對每個資料應用程式部署的基礎結構, (資料登陸區域內的來源對齊) 資源群組。

提示

針對資料網格,您可以選擇部署每個來源的其中一個,或每個網域一個。 資料標準化、資料品質和資料譜系的原則仍必須遵循。 資料平臺作業小組可以開發標準程式碼的程式碼片段,並呼叫它們來達成此目的。

資料應用程式 (與來源對齊) 資源群組

針對資料登陸區域中每個資料應用程式 (來源對齊) 資源群組,您應該建立:

  • Azure 金鑰保存庫
  • Azure Data Factory,用來執行開發工程管線,將資料從未經處理轉換為擴充
  • 只有在使用 Azure Databricks) 時,資料應用程式所使用的服務主體 (來源對齊) ,才能將作業擷取至 Azure Databricks (

您也可以建立其他服務的實例,例如Azure 事件中樞、Azure IoT 中樞、Azure 串流分析和 Azure Machine Learning。

注意

您必須使用 spark 引擎,例如 Azure Synapse Spark 或 Azure Databricks,以強制執行 Delta Lake 標準。

如果您決定使用 Azure Databricks,建議您部署Azure Data Factory,而不是Azure Synapse Analytics 工作區,將介面區縮減為僅所需的功能。

不過,如果您需要具有管線和 Spark 的全含開發區域,請使用 Azure Synapse Analytics。 套用原則只允許使用 Spark 和管線,以避免在Azure Synapse SQL 集區中建立定址接收器。

Azure Key Vault

盡可能使用 Azure 金鑰保存庫 功能將秘密儲存在 Azure 中。

如果 mesh) 會有 Azure 金鑰保存庫,則每個資料應用程式 () 資源群組或資料欄 (。 這可確保加密金鑰、秘密和憑證衍生符合您環境的需求。 這可讓您更妥善地區隔系統管理職責,並降低混合不同分類的金鑰、整合和秘密的風險。

與資料應用程式相關的所有金鑰 (來源對齊) 都應該包含在 Azure 金鑰保存庫中。

重要

資料應用程式 (來源對齊) 金鑰保存庫應遵循最低許可權模型,並應避免跨環境的交易規模限制和秘密共用。

Azure Data Factory

部署Azure Data Factory,以允許資料應用程式小組所撰寫的管線使用開發管線從原始資料擷取到擴充的資料。 使用對應資料流程進行轉換,並細分為使用 Azure Databricks (內嵌) 工作區或Azure Synapse Spark 進行複雜的轉換。

您應該將Azure Data Factory連線到資料應用程式的 DevOps 實例, (來源對齊) 存放庫。 此連線允許 CI/CD 部署。

事件中樞

如果您的資料應用程式 (來源對齊) 需要串流資料,您可以在資料應用程式中部署下游事件中樞, (來源對齊) 資源群組。

下一步

資料應用程式參考模式