教學課程:設定適用於網狀架構數據倉儲的 dbt
適用於✅:Microsoft Fabric 的倉儲
本教學課程會引導您設定 dbt 並將第一個專案部署到網狀架構倉儲。
簡介
dbt (資料建置工具) 開放原始碼架構可簡化數據轉換和分析工程。 其著重於分析層內的SQL型轉換,將SQL視為程式碼。 dbt 支援版本控制、模組化、測試和檔。
適用於 Microsoft Fabric 的 dbt 配接器可用來建立 dbt 專案,然後部署至網狀架構 Synapse 數據倉儲。
您也可以變更配接器來變更 dbt 項目的目標平臺,例如:針對 Azure Synapse 專用 SQL 集 區建置的專案,可以在幾秒鐘內升級為 網狀架構 Synapse 數據倉儲。
Microsoft Fabric 之 dbt 配接器的必要條件
請遵循此清單來安裝和設定 dbt 必要條件:
Microsoft ODBC Driver for SQL Server。
使用 從 PyPI (Python 套件索引) 存放庫取得最新版的 dbt-fabric 配接器
pip install dbt-fabric
。pip install dbt-fabric
注意
藉由變更
pip install dbt-fabric
為pip install dbt-synapse
並使用下列指示,您可以 安裝 Synapse 專用 SQL 集區的 dbt 配接器。請務必使用
pip list
命令確認已安裝 dbt-fabric 及其相依性:pip list
應該從此命令傳回套件和目前版本的長清單。
如果您還沒有倉儲,請建立倉儲。 您可以使用此練習的試用容量: 註冊 Microsoft Fabric 免費試用、 建立工作區,然後 建立倉儲。
開始使用 dbt-fabric 配接器
本教學課程使用 Visual Studio Code,但您可以使用您選擇的慣用工具。
將 jaffle_shop示範 dbt 專案 複製到您的電腦上。
- 您可以使用 Visual Studio Code 的內建原始檔控制來複製存放庫。
- 或者,例如,您可以使用
git clone
命令:
git clone https://github.com/dbt-labs/jaffle_shop.git
在
jaffle_shop
Visual Studio Code 中開啟項目資料夾。如果您已建立倉儲,則可以略過註冊。
建立
profiles.yml
檔案。 將下列組態新增至profiles.yml
。 此檔案會使用 dbt-fabric 配接器,在 Microsoft Fabric 中設定倉儲的連線。config: partial_parse: true jaffle_shop: target: fabric-dev outputs: fabric-dev: authentication: CLI database: <put the database name here> driver: ODBC Driver 18 for SQL Server host: <enter your SQL analytics endpoint here> schema: dbo threads: 4 type: fabric
注意
type
fabric
synapse
視需要將 從 變更為 ,將資料庫配接器切換至 Azure Synapse Analytics。 變更資料庫配接器,即可更新任何現有的 dbt 專案數據平臺 。 如需詳細資訊,請參閱 支持的數據平臺 dbt 清單。在 Visual Studio Code 終端機中向 Azure 驗證自己。
az login
如果您使用 Azure CLI 驗證,請在 Visual Studio Code 終端機中執行。- 如需 Microsoft Fabric 中的服務主體或其他Microsoft Entra ID(先前稱為 Azure Active Directory)驗證,請參閱 dbt (數據建置工具) 設定 和 dbt 資源設定。 如需詳細資訊,請參閱 Microsoft Entra 驗證作為 Microsoft Fabric 中 SQL 驗證的替代方案。
現在您已準備好測試連線能力。 若要測試倉儲的連線能力,請在 Visual Studio Code 終端機中執行
dbt debug
。dbt debug
所有檢查都會通過,這表示您可以使用 dbt-fabric 配接器從
jaffle_shop
dbt 專案連線您的倉儲。現在,是時候測試配接器是否正常運作了。 第一次執行
dbt seed
,以將範例數據插入倉儲。執行
dbt run
以針對某些測試驗證數據。dbt run
執行
dbt test
以執行示範 dbt 項目中定義的模型。dbt test
您現在已將 dbt 專案部署至 Fabric 中的 Synapse 數據倉儲。
在不同的倉儲之間移動
在不同的倉儲之間移動 dbt 項目很簡單。 您可以使用這三個步驟程式,快速移轉任何支援的倉儲上的 dbt 專案:
安裝新的配接器。 如需詳細資訊和完整安裝指示,請參閱 dbt 配接器。
type
更新檔案中的profiles.yml
屬性。組建專案。
考量
使用 dbt-fabric 配接器時需要考慮的重要事項:
檢閱 Microsoft網狀架構數據倉儲中的目前限制。
Fabric 支援用戶主體、使用者身分識別和服務主體的Microsoft Entra ID(先前稱為 Azure Active Directory)驗證。 在倉儲上以互動方式運作的建議驗證模式是 CLI(命令行介面),並使用服務主體進行自動化。
檢閱 Microsoft Fabric 中 Synapse 數據倉儲不支援的 T-SQL (Transact-SQL) 命令 。
dbt-fabric 配接器使用
Create Table as Select
、CTAS、DROP
、 和CREATE
命令支援某些 T-SQL 命令,例如ALTER TABLE ADD/ALTER/DROP COLUMN
、MERGE
、、TRUNCATE
sp_rename
。檢閱 不支持的數據類型 ,以了解支援和不支援的數據類型。