dbt Core'a bağlanma

Makale
10/16/2024

Bu resim, dbt'nin ne olduğunu, dbt Core'un nasıl yükleneceğini ve nasıl bağlan yapılacağını açıklar. dbt'nin dbt Cloud olarak adlandırılan barındırılan sürümü de kullanılabilir. Daha fazla bilgi için bkz . dbt Cloud'a bağlanma.

dbt nedir?

dbt (veri derleme aracı), select deyimleri yazarak verileri dönüştürmeye yönelik bir geliştirme ortamıdır. dbt, bu seçme deyimlerini tablolara ve görünümlere dönüştürür. dbt kodunuzu ham SQL'de derler ve ardından bu kodu Azure Databricks'te belirtilen veritabanında çalıştırır. dbt, sürüm denetimi, belgeler ve modülerlik gibi işbirliğine dayalı kodlama desenlerini ve en iyi uygulamaları destekler.

dbt verileri ayıklamaz veya yüklemez. dbt, "yüklemeden sonra dönüştürme" mimarisini kullanarak yalnızca dönüştürme adımına odaklanır. dbt, verilerinizin bir kopyasının zaten veritabanınızda olduğunu varsayar.

dbt Core, yerel geliştirme makinenizde istediğiniz IDE'de dbt kodu yazmanızı ve ardından dbt'yi komut satırından çalıştırmanızı sağlar. dbt Core, dbt Komut Satırı Arabirimi'ni (CLI) içerir. dbt CLI'yi kullanmak ve açık kaynak ücretsizdir.

dbt Core (ve dbt Cloud), barındırılan git depolarını kullanabilir. Daha fazla bilgi için bkz . Dbt projesi oluşturma ve dbt web sitesinde var olan bir projeyi kullanma.

Yükleme gereksinimleri

dbt Core'u yüklemeden önce yerel geliştirme makinenize aşağıdakileri yüklemeniz gerekir:

Python 3.7 veya üzeri
Python sanal ortamları oluşturmak için bir yardımcı program (pipenv gibi)

Ayrıca kimlik doğrulaması için aşağıdakilerden birine de ihtiyacınız vardır:

(Önerilen) dbt Core, hesabınızda OAuth uygulaması olarak etkinleştirildi. Bu varsayılan olarak etkindir.
Kişisel erişim belirteci

Not

Otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaparken en iyi güvenlik uygulaması olarak Databricks, OAuth belirteçleri kullanmanızı önerir.

Kişisel erişim belirteci kimlik doğrulaması kullanıyorsanız Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerinin kullanılmasını önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.

1. Adım: dbt Databricks bağdaştırıcısını yükleme

Python sanal ortamı kullanmanızı öneririz çünkü diğer ortamlardaki paket sürümlerine ve kod bağımlılıklarına bakılmaksızın paket sürümlerini ve kod bağımlılıklarını bu ortama yalıtır. Bu, beklenmeyen paket sürümü uyuşmazlıklarını ve kod bağımlılığı çakışmalarını azaltmaya yardımcı olur.

Databricks, dbt-databricks paketinin 1.8.0 veya sonraki bir sürümünü önerir.

.. important:: Yerel geliştirme makineniz aşağıdaki işletim sistemlerinden birini kullanıyorsa, önce ek adımları tamamlamanız gerekir: CentOS, MacOS, Ubuntu, Debian ve Windows. dbt Labs web sitesine dbt yüklemek için pip kullanma makalesinin "İşletim sistemimin önkoşulları var mı" bölümüne bakın.

2. Adım: Dbt projesi oluşturma ve bağlantı ayarlarını belirtme ve test etme

Bir dbt projesi (dbt kullanmak için gereken ilgili dizinlerin ve dosyaların koleksiyonu) oluşturun. Ardından, Azure Databricks işlem, SQL ambarı veya her ikisi için bağlantı ayarlarını içeren bağlantı profillerinizi yapılandırabilirsiniz. Güvenliği artırmak için dbt projeleri ve profilleri varsayılan olarak ayrı konumlarda depolanır.

Sanal ortam hala etkinken dbt init komutunu proje adıyla çalıştırın. Bu örnek yordam adlı my_dbt_demobir proje oluşturur.
```
dbt init my_dbt_demo
```
Bir veya spark veritabanı seçmeniz databricks istendiğinde, öğesine karşılık gelen databricksnumarayı girin.
Bir host değer istendiğinde aşağıdakileri yapın:
- İşlem için, Azure Databricks işleminizin Gelişmiş Seçenekler, JDBC/ODBC sekmesinden Sunucu Ana Bilgisayar adı değerini girin.
- SQL ambarı için, SQL ambarınızın Bağlantı Ayrıntıları sekmesinde sunucu ana bilgisayar adı değerini girin.
Bir http_path değer istendiğinde aşağıdakileri yapın:
- İşlem için, Azure Databricks işleminizin Gelişmiş Seçenekler, JDBC/ODBC sekmesinden HTTP Yolu değerini girin.
- SQL ambarı için, SQL ambarınızın Bağlantı Ayrıntıları sekmesinden HTTP Yolu değerini girin.
Bir kimlik doğrulama türü seçmek için, veya ile use oauth karşılık gelen (önerilen) use access tokennumarayı girin.
Kimlik doğrulama türünü seçtiyseniz use access token Azure Databricks kişisel erişim belirtecinizin değerini girin.

Not

En iyi güvenlik uygulaması olarak otomatik araçlar, sistemler, betikler ve uygulamalarla kimlik doğrulaması yaptığınızda Databricks, çalışma alanı kullanıcıları yerine hizmet sorumlularına ait kişisel erişim belirteçlerini kullanmanızı önerir. Hizmet sorumlularına yönelik belirteçler oluşturmak için bkz . Hizmet sorumlusu için belirteçleri yönetme.
Değer istendiğinde desired Unity Catalog option veya ile use Unity Catalog not use Unity Catalogkarşılık gelen sayıyı girin.
Unity Kataloğu'nu kullanmayı seçtiyseniz, istendiğinde için catalog istenen değeri girin.
İstendiğinde ve threads için schema istenen değerleri girin.
dbt, girdilerinizi bir profiles.yml dosyaya yazar. Bu dosyanın konumu komutun çıkışında dbt init listelenir. Bu konumu daha sonra komutunu çalıştırarak dbt debug --config-dir da listeleyebilirsiniz. İçeriğini incelemek ve doğrulamak için bu dosyayı şimdi açabilirsiniz.

Kimlik doğrulama türünü seçtiyseniz use oauth makineden makineye (M2M) veya kullanıcıdan makineye (U2M) kimlik doğrulama profilinizi öğesine profiles.ymlekleyin.

Örnekler için bkz . Microsoft Entra ID ile dbt Core'dan Azure Databricks oturum açmayı yapılandırma.

Databricks, içinde gizli dizilerin profiles.yml doğrudan belirtilmesi önerilmez. Bunun yerine, istemci kimliğini ve istemci gizli dizisini ortam değişkenleri olarak ayarlayın.
dizininde komutunu my_dbt_demo çalıştırarak dbt debug bağlantı ayrıntılarını onaylayın.

Kimlik doğrulama türünü seçtiyseniz use oauth kimlik sağlayıcınızla oturum açmanız istenir.

Önemli

Başlamadan önce işlem veya SQL ambarınızın çalıştığını doğrulayın.

Aşağıdakine benzer bir çıktı görmeniz gerekir:
```
cd my_dbt_demo
dbt debug
```
```
...
Configuration:
  profiles.yml file [OK found and valid]
  dbt_project.yml file [OK found and valid]

Required dependencies:
  - git [OK found]

Connection:
  ...
  Connection test: OK connection ok
```

Sonraki adımlar

Dbt Core modellerini yerel olarak oluşturun, çalıştırın ve test edin. Dbt Core öğreticisine bakın.
dbt Core projelerini Azure Databricks iş görevleri olarak çalıştırın. Bkz. Azure Databricks işinde dbt dönüşümlerini kullanma.

Aracılığıyla paylaş