Aracılığıyla paylaş

Lakehouse Federasyonu nedir?

Lakehouse Federation, Databricks için sorgu federasyon platformudur. Sorgu federasyonu terimi, kullanıcıların ve sistemlerin tüm verileri birleşik bir sisteme geçirmeye gerek kalmadan birden çok veri kaynağında sorgu çalıştırmasına olanak tanıyan bir özellik koleksiyonunu açıklar.

İki tür federasyon vardır: sorgu federasyonu ve katalog federasyonu. Bu sayfa, türler arasındaki farkları kapsar.

Sorgu federasyonu ile katalog federasyonu karşılaştırması

Aşağıdaki tabloda sorgu federasyonu ile katalog federasyonu arasındaki temel farklar özetlemektedir:

Attribute Sorgu Birleşimi Katalog birleştirme
Sorgu yolu Unity Kataloğu sorguları JDBC kullanılarak yabancı veritabanına gönderiliyor. Sorgu hem Databricks'te hem de uzak işlem kullanılarak çalıştırılır. Unity Kataloğu sorguları, nesne depolamadaki yabancı tabloya doğrudan erişer. Katalog federasyonu, katalog ve depolama hizmetlerine doğrudan erişimi destekleyen platformlar için kullanılabilir. Sorgu yalnızca Databricks işlemi üzerinde çalıştırılır; bu da katalog federasyonunun sorgu federasyonundan daha uygun maliyetli ve performans açısından iyileştirilmiş olduğu anlamına gelir.
Kullanım örneği
  • Dış veritabanlarında depolanan işletimsel verilere geçici raporlama veya kavram kanıtı erişimine ihtiyacınız vardır.
  • Veri taşımayı en aza indirmek ve dış sistemlere canlı erişimi sürdürmek istiyorsunuz.

Kaynağınız hem Lakehouse Federasyonu hem de Lakeflow Connect'i desteklediğinde Databricks, daha yüksek veri hacimlerinde performans ve daha düşük gecikme süresi öncelikleri varsa Lakeflow Connect'i önerir.
  • Unity Kataloğu'na geçiyorsunuz ancak yabancı katalogdan yönetilen verileri kademeli olarak aşama aşama entegre etmeniz gerekiyor.
  • Bazı verilerin dış katalogda kaldığı ve bazı verilerin Unity Kataloğu tarafından yönetildiği uzun vadeli bir karma model istiyorsunuz.
Adımlara genel bakış
  • Erişim kimlik bilgileriniz ve JDBC URL'nizle Unity Kataloğu'nda bir bağlantı oluşturun.
  • Bağlantıyı kullanarak bir yabancı katalog oluşturun.
  • Yabancı katalogdaki tablolardaki kullanıcılara ayrıcalıklar verin.
  • Sorguları çalıştırın. Bunlar dış veritabanına iletilir.
  • Dış kataloğa erişmek için Unity Kataloğu'nda bir bağlantı oluşturun.
  • Tablo yolları için bir depolama kimlik bilgisi ve bir harici konum oluşturun.
  • Bağlantıyı ve dış konumu kullanarak bir yabancı katalog oluşturun.
  • Yabancı katalogdaki tablolardaki kullanıcılara ayrıcalıklar verin.
  • Sorguları çalıştırın. Bunlar doğrudan nesne depolama üzerinde çalışır.

Desteklenen veri kaynakları

Sorgu federasyonu kullanarak aşağıdaki kaynaklara bağlanın:

Katalog federasyonunu kullanarak aşağıdaki kaynaklara bağlanın:

Ek kaynaklar

  • Last updated on