Kılavuz: Fabric Veri Ambarı için dbt ayarlama

Şunlar için geçerlidir:✅ Warehouse in Microsoft Fabric

Bu öğretici, dbt'yi kurma ve ilk projenizi Fabric Warehouse'a dağıtma sürecinde size adım adım rehberlik eder.

Introduction

dbt (Veri Derleme Aracı) açık kaynak çerçevesi, veri dönüştürme ve analiz mühendisliğini basitleştirir. Analiz katmanındaki SQL tabanlı dönüşümlere odaklanarak SQL'i kod olarak ele alır. dbt sürüm denetimini, modülerleştirmeyi, testi ve belgeleri destekler.

Microsoft Fabric için dbt bağdaştırıcısı, daha sonra bir Fabric Veri Ambarı'na dağıtılabilecek dbt projeleri oluşturmak için kullanılabilir.

Örneğin, yalnızca bağdaştırıcıyı değiştirerek dbt projesinin hedef platformunu da değiştirebilirsiniz; Azure Synapse ayrılmış SQL havuzu için oluşturulmuş bir proje birkaç saniye içinde Doku Veri Ambarı'na yükseltilebilir.

Microsoft Fabric için dbt bağdaştırıcısının önkoşulları

dbt önkoşullarını yüklemek ve ayarlamak için bu listeyi izleyin:

  1. Python sürüm 3.7 (veya üzeri).

  2. SQL Server için Microsoft ODBC Sürücüsü.

  3. dbt-fabric bağdaştırıcısının en son sürümünü kullanarak edinin.

    pip install dbt-fabric
    

    Note

    pip install dbt-fabric şunu pip install dbt-synapse olarak değiştirerek ve aşağıdaki yönergeleri kullanarak Synapse ayrılmış SQL havuzu için dbt bağdaştırıcısını yükleyebilirsiniz.

  4. komutunu kullanarak pip list dbt-fabric ve bağımlılıklarının yüklendiğinden emin olun:

    pip list
    

    Paketlerin ve geçerli sürümlerin uzun bir listesi bu komuttan döndürülmelidir.

  5. Henüz yoksa bir Ambar oluşturun. Bu alıştırma için deneme kapasitesini kullanabilirsiniz: Microsoft Fabric ücretsiz deneme sürümüne kaydolun, bir çalışma alanı oluşturun ve ardından bir ambar oluşturun.

dbt-fabric bağdaştırıcısını kullanmaya başlama

Bu öğreticide Visual Studio Code kullanılır, ancak tercih ettiğiniz aracı kullanabilirsiniz.

  1. jaffle_shop demo dbt projesini makinenize kopyalayın.

    git clone https://github.com/dbt-labs/jaffle-shop-classic.git
    
  2. jaffle_shop Visual Studio Code'da proje klasörünü açın.

    Visual Studio Code'un açık projeyi gösteren ekran görüntüsü.

  3. Zaten bir Ambar oluşturduysanız, kaydolmayı atlayabilirsiniz.

  4. Bir profiles.yml dosyası oluşturun. aşağıdaki yapılandırmayı öğesine profiles.ymlekleyin. Bu dosya, dbt-fabric bağdaştırıcısını kullanarak Microsoft Fabric'teki ambarınıza bağlantıyı yapılandırıyor.

    config:
      partial_parse: true
    jaffle_shop:
      target: fabric-dev
      outputs:    
        fabric-dev:
          authentication: CLI
          database: <put the database name here>
          driver: ODBC Driver 18 for SQL Server
          host: <enter your SQL analytics endpoint here>
          schema: dbo
          threads: 4
          type: fabric
    

    Note

    type öğesini fabric olarak synapse olarak değiştirerek, isterseniz veritabanı bağdaştırıcısını Azure Synapse Analytics'e dönüştürebilirsiniz. Veritabanı bağdaştırıcısı değiştirilerek mevcut dbt projelerinin veri platformları güncelleştirilebilir. Daha fazla bilgi için desteklenen veri platformlarının dbt listesine bakın.

  5. Visual Studio Code terminalinde Azure'da kimliğinizi doğrulayın.

    • Azure CLI kimlik doğrulaması kullanıyorsanız Visual Studio Code terminalinde komutunu çalıştırın az login .
    • Microsoft Fabric'teki Hizmet Sorumlusu veya diğer Microsoft Entra Kimliği (eski adıyla Azure Active Directory) kimlik doğrulaması için dbt (Veri Derleme Aracı) kurulumu ve dbt Kaynak Yapılandırmaları'na bakın. Daha fazla bilgi için bkz . Microsoft Fabric'te SQL kimlik doğrulamasına alternatif olarak Microsoft Entra kimlik doğrulaması.
  6. Artık bağlantıyı test etmeye hazırsınız. Ambarınıza bağlantıyı test etmek için Visual Studio Code terminalinde komutunu çalıştırın dbt debug .

    dbt debug
    

    dbt debug komutunu gösteren Visual Studio Code'un ekran görüntüsü.

    Tüm denetimlerden geçildi, yani dbt projesinden jaffle_shop dbt-fabric bağdaştırıcısını kullanarak ambarınıza bağlanabilirsiniz.

  7. Şimdi bağdaştırıcının çalışıp çalışmadığını test etme zamanı geldi. İlk olarak ambara örnek veri eklemek için komutunu çalıştırın dbt seed .

    Visual Studio Code'da dbt seed komutunu gösteren ekran görüntüsü.

  8. demo dbt projesinde tanımlanan modelleri çalıştırmak için komutunu çalıştırın dbt run .

    dbt run
    

    Bir dbt çalıştırma komutunu gösteren Visual Studio Code'un ekran görüntüsü.

  9. Bazı testlerde verileri doğrulamak için komutunu çalıştırın dbt test .

    dbt test
    

    Visual Studio Code'da dbt test komutunu gösteren ekran görüntüsü.

Şimdi Fabric Data Warehouse'a bir dbt projesi dağıttınız.

Farklı ambarlar arasında hareket etme

Dbt projesini farklı ambarlar arasında taşımak kolaydır. Desteklenen herhangi bir ambardaki dbt projesi bu üç adımlı işlemle hızla geçirilebilir:

  1. Yeni bağdaştırıcıyı yükleyin. Daha fazla bilgi ve tam yükleme yönergeleri için bkz. dbt bağdaştırıcıları.

  2. type dosyasındaki profiles.yml özelliğini güncelleştirin.

  3. Projeyi oluşturun.

"Fabric Data Factory'de dbt"

Popüler bir iş akışı yönetim sistemi olan Apache Airflow ile tümleştirildiğinde dbt, veri dönüşümlerini düzenlemeye yönelik güçlü bir araç haline gelir. Airflow'un zamanlama ve görev yönetimi özellikleri, veri ekiplerinin dbt çalıştırmalarını otomatikleştirmesine olanak tanır. Düzenli veri güncelleştirmeleri sağlar ve analiz ve raporlama için tutarlı bir yüksek kaliteli veri akışı sağlar. Airflow'un iş akışı yönetimiyle dbt'nin dönüşüm uzmanlığını kullanan bu birleşik yaklaşım verimli ve sağlam işlem hatları sunar ve sonuç olarak daha hızlı ve daha içgörülü veri odaklı kararlar alınmasına yol açar.

Apache Airflow , karmaşık veri iş akışlarını program aracılığıyla oluşturmak, zamanlamak ve izlemek için kullanılan açık kaynak bir platformdur. İşlem hatlarını temsil etmek için yönlendirilmiş döngüsel grafiklere (DAG) birleştirilebilen işleçler olarak adlandırılan bir görev kümesi tanımlamanızı sağlar.

Dbt'yi ambarınızla kullanıma hazır hale getirmek için bkz. Microsoft Fabric'te Data Factory ile dbt kullanarak verileri dönüştürme.

Dikkate Alınacaklar

dbt-fabric bağdaştırıcısı kullanılırken dikkate alınması gereken önemli şeyler:

  • Microsoft Fabric veri ambarı ile ilgili geçerli sınırlamaları gözden geçirin.

  • Fabric, kullanıcı ilkeleri, kullanıcı kimlikleri ve hizmet ilkeleri için Microsoft Entra ID (eski adıyla Azure Active Directory) kimlik doğrulamasını destekler. Ambar üzerinde etkileşimli olarak çalışmak için önerilen kimlik doğrulama modu CLI'dir (komut satırı arabirimleri) ve otomasyon için hizmet sorumlularını kullanır.

  • Doku Veri Ambarı'nda desteklenmeyen T-SQL (Transact-SQL) komutlarını gözden geçirin.

  • Bazı T-SQL komutları, Create Table as Select (CTAS), DROP, ve CREATE gibi komutlar kullanılarak dbt-fabric bağdaştırıcısı tarafından desteklenir, örneğin ALTER TABLE ADD/ALTER/DROP COLUMN, MERGE, TRUNCATE, sp_rename.

  • Desteklenen ve desteklenmeyen veri türleri hakkında bilgi edinmek için Desteklenmeyen veri türlerini gözden geçirin.

  • GitHub'da dbt-fabric bağdaştırıcısında sorunları kaydetmek için Sorunlar · microsoft/dbt-fabric · GitHub adresini ziyaret edebilirsiniz.

Sonraki adım