Başka bir Databricks çalışma alanında federasyon sorguları çalıştırma

Önemli

Bu özellik Genel Önizlemededir.

Bu makalede, Lakehouse Federasyonu'nun başka bir Databricks çalışma alanındaki Databricks verileri üzerinde federasyon sorguları çalıştıracak şekilde nasıl ayarlanacağı açıklanmaktadır. Lakehouse Federasyonu hakkında daha fazla bilgi edinmek için bkz . Lakehouse Federasyonu nedir?

Önemli

Databricks-Databricks Lakehouse Federation, başka bir Databricks çalışma alanının Hive veya AWS Glue meta deposu tarafından yönetilen veriler üzerinde sorgu çalıştırmak için iyi bir araçtır. Diğer senaryoların çoğunda diğer Azure Databricks iş akışları daha verimlidir:

• Azure Databricks çalışma alanları aynı Unity Kataloğu meta veri depolarını paylaşıyorsa, standart Unity Kataloğu sorgularını ve veri idare araçlarını kullanarak çalışma alanları arası sorguları yönetebilirsiniz.
• Azure Databricks hesabınızda olsun veya olmasın, farklı bir Unity Kataloğu meta veri deposuna bağlı databricks çalışma alanındaki verilere salt okunur erişim istiyorsanız Delta Sharing daha iyi bir seçimdir.

Bu senaryoların ikisinde de Lakehouse Federasyonu'nun ayarlanması gerekmez.

Lakehouse Federation kullanarak başka bir çalışma alanındaki Databricks kataloğuna bağlanmak için Azure Databricks Unity Kataloğu meta veri deponuzda aşağıdakileri oluşturmanız gerekir:

• Databricks çalışma alanında küme veya SQL ambarı.
• Küme veya SQL ambarı bağlantısı.
• Unity Kataloğu sorgu söz dizimini ve veri idare araçlarını kullanarak Verilere Azure Databricks kullanıcı erişimini yönetebilmeniz için Unity Kataloğu meta veri deponuzda kümeden veya SQL ambarından erişilebilen diğer Databricks kataloğunu yansıtan bir yabancı katalog.

Başlamadan önce

Çalışma alanı gereksinimleri:

• Unity Kataloğu için etkinleştirilen çalışma alanı.

İşlem gereksinimleri:

• Databricks Runtime kümenizden veya SQL ambarından hedef veritabanı sistemlerine ağ bağlantısı. Bkz . Lakehouse Federasyonu için ağ önerileri.
• Azure Databricks kümeleri Databricks Runtime 13.3 LTS veya üzerini ve paylaşılan veya tek kullanıcılı erişim modunu kullanmalıdır.
• SQL ambarları Pro veya Sunucusuz olmalıdır.

Gerekli izinler:

• Bağlantı oluşturmak için meta veri deposu yöneticisi veya çalışma alanına bağlı Unity Kataloğu meta veri deposunda ayrıcalığı olan CREATE CONNECTION bir kullanıcı olmanız gerekir.
• Yabancı katalog oluşturmak için meta veri deposu üzerinde izninizin olması ve bağlantının sahibi olmanız veya bağlantıda ayrıcalığınız olması CREATE FOREIGN CATALOG gerekirCREATE CATALOG.

Aşağıdaki her görev tabanlı bölümde ek izin gereksinimleri belirtilir.

Ayrıca, bağlantıyı yapılandırmak için kullandığınız Azure Databricks çalışma alanında etkin bir kümeniz veya SQL ambarınız olmalıdır.

Bağlantı oluşturma

Bağlantı, bir dış veritabanı sistemine erişmek için bir yol ve kimlik bilgileri belirtir. Bağlantı oluşturmak için, Bir Azure Databricks not defterinde veya CREATE CONNECTION Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni veya SQL komutunu kullanabilirsiniz.

Gerekli izinler: Meta veri deposu yöneticisi veya ayrıcalığına CREATE CONNECTION sahip kullanıcı.

Katalog gezgini

1. Azure Databricks çalışma alanınızda Katalog'a tıklayın.
2. Sol bölmede Dış Veri menüsünü genişletin ve Bağlan yonlar'ı seçin.
3. Bağlantı oluştur'a tıklayın.
4. Kullanıcı dostu bir Bağlan ion adı girin.
5. Databricks'in Bağlan bir türünü seçin.
6. Diğer Databricks örneği için aşağıdaki bağlantı özelliklerini girin.
   • Konak: Çalışma alanı örneği adı. Çalışma alanı örneği adını almayı öğrenmek için bkz . Çalışma alanı nesnelerinin tanımlayıcılarını alma.
   • HTTP yolu: SQL ambarınızın HTTP yolu. Yolu almak için kenar çubuğunda SQL SQL > Ambarları'nagidin, SQL ambarını seçin, Bağlan ayrıntıları sekmesine gidin ve HTTP yolunun değerini kopyalayın.
   • Kişisel erişim belirteci: Hedef çalışma alanına erişim sağlayan bir Azure Databricks kişisel erişim belirteci.. Belirteç almayı öğrenmek için bkz . Azure Databricks kişisel erişim belirteci kimlik doğrulaması. Databricks, bağlantılar için hizmet sorumlusu için kişisel erişim belirteci kullanılmasını önerir.
7. (İsteğe bağlı) Çalıştığını onaylamak için Bağlantıyı test et'e tıklayın.
8. (İsteğe bağlı) Açıklama ekleyin.
9. Oluştur’a tıklayın.

Sql

Aşağıdaki komutu bir not defterinde veya Databricks SQL sorgu düzenleyicisinde çalıştırarak aşağıdakilerin yerine geçin:

• <connection-name>: Oluşturduğunuz bağlantının kolay adı.
• <workspace-instance>: Hedef çalışma alanı örneği. Çalışma alanı örneği adını almayı öğrenmek için bkz . Çalışma alanı nesnelerinin tanımlayıcılarını alma.
• <sql-warehouse-path>: SQL ambarınızın HTTP yolu. Yolu almak için kenar çubuğunda SQL SQL > Ambarları'nagidin, SQL ambarını seçin, Bağlan ayrıntıları sekmesine gidin ve HTTP yolunun değerini kopyalayın.
• <personal-access-token>: Hedef çalışma alanına erişim sağlayan bir Azure Databricks kişisel erişim belirteci. Belirteç almayı öğrenmek için bkz . Azure Databricks kişisel erişim belirteci kimlik doğrulaması. Databricks, bağlantılar için hizmet sorumlusuna ait kişisel erişim belirtecini kullanmanızı önerir.

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken '<personal-access-token>'
);

Kimlik bilgileri gibi hassas değerler için düz metin dizeleri yerine Azure Databricks gizli dizilerini kullanmanızı öneririz. Örneğin:

CREATE CONNECTION <connection-name> TYPE databricks
OPTIONS (
  host '<workspace-instance>',
  httpPath '<sql-warehouse-path>',
  personalAccessToken secret ('<secret-scope>','<secret-key-password>')
)

Gizli dizileri ayarlama hakkında bilgi için bkz . Gizli dizi yönetimi.

Yabancı katalog oluşturma

Yabancı katalog, dış Databricks çalışma alanında bir kataloğu yansıtır; böylece bu dış Databricks kataloğundaki verileri kendi çalışma alanınızdaki bir katalog gibi sorgulayabilir ve yönetebilirsiniz. Yabancı katalog oluşturmak için, önceden tanımlanmış olan dış Databricks çalışma alanına bir bağlantı kullanırsınız.

Yabancı katalog oluşturmak için, Bir Azure Databricks not defterinde veya CREATE FOREIGN CATALOG Databricks SQL sorgu düzenleyicisinde Katalog Gezgini'ni veya SQL komutunu kullanabilirsiniz.

gerekli izinler:CREATE CATALOG meta veri deposu üzerindeki izin ve bağlantının sahipliği veya CREATE FOREIGN CATALOG bağlantı üzerindeki ayrıcalık.

Katalog gezgini

1. Azure Databricks çalışma alanınızda Katalog'a tıklayın.
2. Katalog Oluştur düğmesine tıklayın.
3. Yeni katalog oluştur iletişim kutusunda katalog için bir ad girin ve Bir Yabancı Türüseçin.
4. Unity Kataloğu kataloğu olarak yansıtmak istediğiniz veritabanına erişim sağlayan Bağlan seçin.
5. Hedef Databricks Kataloğu adını girin.
6. Oluştur’a tıklayın.

Sql

Aşağıdaki SQL komutunu bir not defterinde veya Databricks SQL düzenleyicisinde çalıştırın. Köşeli ayraç içindeki öğeler isteğe bağlıdır. Yer tutucu değerlerini değiştirin:

• <catalog-name>: Oluşturduğunuz yabancı kataloğun adı.
• <connection-name>: Veri kaynağını, yolu ve erişim kimlik bilgilerini belirten bağlantı nesnesi .
• <external-catalog-name>: Yansıttığınız dış Databricks çalışma alanında kataloğun adı.

CREATE FOREIGN CATALOG [IF NOT EXISTS] <catalog-name> USING CONNECTION <connection-name>
OPTIONS (catalog '<external-catalog-name>');

Desteklenen gönderimler

Aşağıdaki gönderimler tüm işlemlerde desteklenir:

• Filtreler
• Projeksiyonlar
• Sınır
• İşlevler: yalnızca filtre ifadeleri desteklenir (dize işlevleri, Matematiksel işlevler, Veri, Zaman ve Zaman Damgası işlevleri ve Alias, Cast, SortOrder gibi diğer çeşitli işlevler).

Aşağıdaki gönderimler Databricks Runtime 13.3 LTS ve üzeri ile SQL ambarı işlemlerinde desteklenir:

• Toplamlar
• Aşağıdaki Boole işleçleri: =, <, <=, >, >=, <=>
• Aşağıdaki matematiksel işlevler (ANSI devre dışı bırakıldıysa desteklenmez): +, -, *, %, /
• Aşağıdaki çeşitli işleçler: ^, |, ~
• Sıralama, sınır ile kullanıldığında

Aşağıdaki gönderimler desteklenmez:

• Birleştirmeler
• Windows işlevleri