線上到 Infoworks
重要
這項功能處於公開預覽狀態。
Infoworks DataFoundry 是自動化的企業數據作業和協調流程系統，可在 Azure Databricks 上原生執行，並利用 Azure Databricks 的完整功能來提供簡單的數據上線解決方案，這是操作 Data Lake 的重要第一步。 DataFoundry 不僅會將數據擷取自動化，而且會將內嵌隨附的重要功能自動化，以建立分析的基礎。 使用 DataFoundry 將資料上線自動化：
- 數據擷取：來自所有企業和外部數據源
- 數據同步處理：CDC 可讓數據與來源保持同步
- 數據控管：編錄、譜系、元數據管理、稽核和歷程記錄
以下是搭配 Azure Databricks 使用 Infoworks 的步驟。
步驟 1：產生 Databricks 個人存取令牌
Infoworks 會使用 Azure Databricks 個人存取令牌向 Azure Databricks 進行驗證。
注意
作為安全性最佳做法，當您使用自動化工具、系統、腳本和應用程式進行驗證時，Databricks 建議您使用屬於 服務主體 的個人存取令牌，而不是工作區使用者。 若要建立服務主體的令牌，請參閱 管理服務主體的令牌。
步驟 2：設定叢集以支援整合需求
Infoworks 會將數據寫入 Azure Data Lake Storage 路徑，而 Azure Databricks 整合叢集會從該位置讀取數據。 因此，整合叢集需要安全存取 Azure Data Lake Storage 路徑。
保護 Azure Data Lake Storage 路徑的存取
若要安全地存取 Azure Data Lake Storage （ADLS） 中的數據，您可以使用 Azure 儲存體帳戶存取密鑰（建議）或Microsoft Entra ID 服務主體。
使用 Azure 記憶體帳戶存取金鑰
您可以在整合叢集上設定記憶體帳戶存取金鑰，作為 Spark 設定的一部分。 確定記憶體帳戶可以存取用於暫存數據的 ADLS 容器和文件系統，以及您想要在其中寫入 Delta Lake 數據表的 ADLS 容器和文件系統。 若要將整合叢集設定為使用密鑰，請遵循連線至 Azure Data Lake Storage Gen2 和 Blob 記憶體中的步驟。
使用Microsoft Entra ID 服務主體
您可以在 Azure Databricks 整合叢集上設定服務主體，作為 Spark 組態的一部分。 請確定服務主體可以存取用於暫存數據的 ADLS 容器，以及您要在其中寫入 Delta 數據表的 ADLS 容器。 若要將整合叢集設定為使用服務主體，請遵循使用服務主體存取 ADLS Gen2 中的步驟。
指定叢集設定
將 [叢集模式] 設定為 [標準]。
將 Databricks 執行時間版本設定為 Databricks 執行時間版本。
將下列屬性新增至 Spark 組態，以啟用優化的寫入和自動壓縮：
spark.databricks.delta.optimizeWrite.enabled true spark.databricks.delta.autoCompact.enabled true根據您的整合和調整需求來設定叢集。
如需叢集組態詳細數據，請參閱 計算組態參考。
如需取得 JDBC URL 和 HTTP 路徑的步驟，請參閱 取得 Azure Databricks 計算資源的 連線詳細數據。
步驟 3：取得 JDBC 和 ODBC 連線詳細數據以連線到叢集
若要將 Azure Databricks 叢集連線到 Infoworks，您需要下列 JDBC/ODBC 連線屬性：
- JDBC URL
- HTTP 路徑
步驟 4：取得 Azure Databricks 的 Infoworks
移至 Infoworks 以深入瞭解並取得示範。