共用方式為


教學課程:設定適用於網狀架構數據倉儲的 dbt

適用於✅:Microsoft Fabric 的倉儲

本教學課程會引導您設定 dbt 並將第一個專案部署到網狀架構倉儲。

簡介

dbt (資料建置工具) 開放原始碼架構可簡化數據轉換和分析工程。 其著重於分析層內的SQL型轉換,將SQL視為程式碼。 dbt 支援版本控制、模組化、測試和檔。

適用於 Microsoft Fabric 的 dbt 配接器可用來建立 dbt 專案,然後部署至網狀架構 Synapse 數據倉儲。

您也可以變更配接器來變更 dbt 項目的目標平臺,例如:針對 Azure Synapse 專用 SQL 集 區建置的專案,可以在幾秒鐘內升級為 網狀架構 Synapse 數據倉儲

Microsoft Fabric 之 dbt 配接器的必要條件

請遵循此清單來安裝和設定 dbt 必要條件:

  1. Python 3.7 版(或更新版本)。

  2. Microsoft ODBC Driver for SQL Server

  3. 使用 從 PyPI (Python 套件索引) 存放庫取得最新版的 dbt-fabric 配接器pip install dbt-fabric

    pip install dbt-fabric
    

    注意

    藉由變更 pip install dbt-fabricpip install dbt-synapse 並使用下列指示,您可以 安裝 Synapse 專用 SQL 集區的 dbt 配接器

  4. 請務必使用 pip list 命令確認已安裝 dbt-fabric 及其相依性:

    pip list
    

    應該從此命令傳回套件和目前版本的長清單。

  5. 如果您還沒有倉儲,請建立倉儲。 您可以使用此練習的試用容量: 註冊 Microsoft Fabric 免費試用建立工作區,然後 建立倉儲

開始使用 dbt-fabric 配接器

本教學課程使用 Visual Studio Code,但您可以使用您選擇的慣用工具。

  1. jaffle_shop示範 dbt 專案 複製到您的電腦上。

    git clone https://github.com/dbt-labs/jaffle_shop.git
    
  2. jaffle_shop Visual Studio Code 中開啟項目資料夾。

    Visual Studio Code 的螢幕快照,其中顯示開啟的專案。

  3. 如果您已建立倉儲,則可以略過註冊。

  4. 建立 profiles.yml 檔案。 將下列組態新增至 profiles.yml。 此檔案會使用 dbt-fabric 配接器,在 Microsoft Fabric 中設定倉儲的連線。

    config:
      partial_parse: true
    jaffle_shop:
      target: fabric-dev
      outputs:    
        fabric-dev:
          authentication: CLI
          database: <put the database name here>
          driver: ODBC Driver 18 for SQL Server
          host: <enter your SQL analytics endpoint here>
          schema: dbo
          threads: 4
          type: fabric
    

    注意

    type fabric synapse視需要將 從 變更為 ,將資料庫配接器切換至 Azure Synapse Analytics。 變更資料庫配接器,即可更新任何現有的 dbt 專案數據平臺 。 如需詳細資訊,請參閱 支持的數據平臺 dbt 清單。

  5. 在 Visual Studio Code 終端機中向 Azure 驗證自己。

  6. 現在您已準備好測試連線能力。 若要測試倉儲的連線能力,請在 Visual Studio Code 終端機中執行 dbt debug

    dbt debug
    

    Visual Studio Code 的螢幕快照,其中顯示 dbt 偵錯命令。

    所有檢查都會通過,這表示您可以使用 dbt-fabric 配接器從 jaffle_shop dbt 專案連線您的倉儲。

  7. 現在,是時候測試配接器是否正常運作了。 第一次執行 dbt seed ,以將範例數據插入倉儲。

    Visual Studio Code 的螢幕快照,其中顯示 dbt 種子命令。

  8. 執行 dbt run 以針對某些測試驗證數據。

    dbt run
    

    Visual Studio Code 的螢幕快照,其中顯示 dbt 執行命令。

  9. 執行 dbt test 以執行示範 dbt 項目中定義的模型。

    dbt test
    

    Visual Studio Code 的螢幕快照,其中顯示 dbt 測試命令。

您現在已將 dbt 專案部署至 Fabric 中的 Synapse 數據倉儲。

在不同的倉儲之間移動

在不同的倉儲之間移動 dbt 項目很簡單。 您可以使用這三個步驟程式,快速移轉任何支援的倉儲上的 dbt 專案:

  1. 安裝新的配接器。 如需詳細資訊和完整安裝指示,請參閱 dbt 配接器

  2. type更新檔案中的 profiles.yml 屬性。

  3. 組建專案。

考量

使用 dbt-fabric 配接器時需要考慮的重要事項: