dbt Core'a bağlanma

Bu sayfada dbt'nin ne olduğu, dbt Core'un nasıl yükleneceği ve nasıl bağlanacakları açıklanmaktadır. dbt'nin dbt Cloud olarak adlandırılan barındırılan sürümü de kullanılabilir. Daha fazla bilgi için bkz . dbt Cloud'a bağlanma.

dbt nedir?

dbt (veri derleme aracı), select deyimleri yazarak verileri dönüştürmeye yönelik bir geliştirme ortamıdır. dbt, bu seçme deyimlerini tablolara ve görünümlere dönüştürür. dbt kodunuzu ham SQL'de derler ve ardından bu kodu Azure Databricks'te belirtilen veritabanında çalıştırır. dbt, sürüm denetimi, belgeler ve modülerlik gibi işbirliğine dayalı kodlama desenlerini ve en iyi uygulamaları destekler.

dbt verileri ayıklamaz veya yüklemez. dbt, "yüklemeden sonra dönüştürme" mimarisini kullanarak yalnızca dönüştürme adımına odaklanır. dbt, verilerinizin bir kopyasının zaten veritabanınızda olduğunu varsayar.

dbt Core, yerel geliştirme makinenizde istediğiniz IDE'de dbt kodu yazmanızı ve ardından dbt'yi komut satırından çalıştırmanızı sağlar. dbt Core, dbt Komut Satırı Arabirimi'ni (CLI) içerir. dbt CLI'yi kullanmak ve açık kaynak ücretsizdir.

dbt Core (ve dbt Cloud), barındırılan git depolarını kullanabilir. Daha fazla bilgi için bkz . Dbt projesi oluşturma ve dbt web sitesinde var olan bir projeyi kullanma.

Yükleme gereksinimleri

dbt Core'u yüklemeden önce yerel geliştirme makinenize aşağıdakileri yüklemeniz gerekir:

  • Python 3.7 veya üzeri
  • Python sanal ortamları oluşturmak için bir yardımcı program (pipenv gibi)

Ayrıca kimlik doğrulaması için aşağıdakilerden birine de ihtiyacınız vardır:

  • (Önerilen) dbt Core, hesabınızda OAuth uygulaması olarak etkinleştirildi. Bu varsayılan olarak etkindir.

  • Kişisel erişim belirteci

    Not

    Otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaparken en iyi güvenlik uygulaması olarak Databricks, OAuth belirteçleri kullanmanızı önerir.

    Kişisel erişim belirteci kimlik doğrulaması kullanıyorsanız Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerinin kullanılmasını önerir. Hizmet ilkeleri için belirteçler oluşturmak için bkz Hizmet ilkesi için belirteçleri yönetme.

1. Adım: dbt Databricks bağdaştırıcısını yükleme

Python sanal ortamı kullanmanızı öneririz çünkü diğer ortamlardaki paket sürümlerine ve kod bağımlılıklarına bakılmaksızın paket sürümlerini ve kod bağımlılıklarını bu ortama yalıtır. Bu, beklenmeyen paket sürümü uyuşmazlıklarını ve kod bağımlılığı çakışmalarını azaltmaya yardımcı olur.

Databricks, dbt-databricks paketinin 1.8.0 veya sonraki bir sürümünü önerir.

Önemli

Yerel geliştirme makineniz aşağıdaki işletim sistemlerinden birini kullanıyorsa öncelikle ek adımları tamamlamanız gerekir: CentOS, MacOS, Ubuntu, Debian ve Windows. dbt Labs web sitesindeki pip kullanarak dbt yükleme makalesinin "Kullandığım işletim sisteminin önkoşulları var mı" bölümünü kontrol edin.

2. Adım: Dbt projesi oluşturma ve bağlantı ayarlarını belirtme ve test etme

Bir dbt projesi (dbt kullanmak için gereken ilgili dizinlerin ve dosyaların koleksiyonu) oluşturun. Ardından, Azure Databricks işlem veya SQL veri ambarı ya da her ikisi için bağlantı ayarlarını içeren bağlantı profillerinizi yapılandırırsınız. Güvenliği artırmak için dbt projeleri ve profilleri varsayılan olarak ayrı konumlarda depolanır.

  1. Sanal ortam hala etkinken dbt init komutunu proje adıyla çalıştırın. Bu örnek yordam adlı my_dbt_demobir proje oluşturur.

    dbt init my_dbt_demo

  2. Bir databricks veya spark veritabanı seçmeniz istendiğinde, databricks'ye karşılık gelen numarayı girin.

  3. Bir host değer istendiğinde aşağıdakileri yapın:

  4. Bir http_path değer istendiğinde aşağıdakileri yapın:

  5. Kimlik doğrulama türü seçmek için, use oauth (önerilen) veya use access token ile karşılık gelen numarayı girin.

  6. Kimlik doğrulama türünü seçtiyseniz use access token Azure Databricks kişisel erişim belirtecinizin değerini girin.

    Not

    En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet ilkeleri için belirteçler oluşturmak için bkz Hizmet ilkesi için belirteçleri yönetme.

  7. Değer istendiğinde desired Unity Catalog option ile use Unity Catalog veya not use Unity Catalog karşılık gelen sayıyı girin.

  8. Unity Kataloğu'nu kullanmayı seçtiyseniz, istendiğinde catalog için istenen değeri girin. Bu, dbt'nin modellerinizi derlediği ilk katalogdur.

  9. İstendiğinde schema ve threads için istenen değerleri girin. threads değeri, dbt'nin paralel olarak kaç model derleyebileceğine göre ayarlar. ile 4 başlayın ve işlem veya SQL ambarı kapasitenize ve tüm veritabanı eşzamanlılık sınırlarınıza göre ayarlayın. Daha fazla bilgi için dbt belgelerindeki İş parçacıklarını kullanma bölümüne bakın.

  10. dbt, girdilerinizi bir profiles.yml dosyaya yazar. Bu dosyanın konumu komutun çıkışında dbt init listelenir. Bu konumu daha sonra dbt debug --config-dir komutunu çalıştırarak da listeleyebilirsiniz. İçeriğini incelemek ve doğrulamak için bu dosyayı şimdi açabilirsiniz.

    Kimlik doğrulama türünü seçtiyseniz use oauth makineden makineye (M2M) veya kullanıcıdan makineye (U2M) kimlik doğrulama profilinizi öğesine profiles.ymlekleyin.

    Örnekler için bkz Microsoft Entra ID ile dbt Core'dan Azure Databricks oturum açmayı yapılandırma.

    Databricks, gizli bilgilerin profiles.yml doğrudan belirtilmesini tavsiye etmez. Bunun yerine, istemci kimliğini ve istemci gizli dizisini ortam değişkenleri olarak ayarlayın.

  11. dbt debug dizininde my_dbt_demo komutunu çalıştırarak bağlantı ayrıntılarını onaylayın.

    Kimlik doğrulama türünü seçtiyseniz use oauth kimlik sağlayıcınızla oturum açmanız istenir.

    Önemli

    Başlamadan önce işlem veya SQL ambarınızın çalıştığını doğrulayın.

    Aşağıdakine benzer bir çıktı görmeniz gerekir:

    cd my_dbt_demo
dbt debug

    ...
Configuration:
  profiles.yml file [OK found and valid]
  dbt_project.yml file [OK found and valid]

Required dependencies:
  - git [OK found]

Connection:
  ...
  Connection test: OK connection ok

Sonraki adımlar

Ek kaynaklar

  • Last updated on