Lakehouse Real-Time

Important

Bu özellik Beta sürümündedir. Bu özelliği hesabınızda etkinleştirmek için Databricks hesap ekibinize ulaşın.

Lakehouse//RT aktif geliştirme aşamasındadır. Genel kullanılabilirlik öncesinde performans özellikleri ve desteklenen özellik kümesi değişir.

Lakehouse Real-Time (Lakehouse//RT), analiz verilerini özel uygulamalara sunma, operasyonel analiz çalıştırma veya yüzlerce ile binlerce eşzamanlı kullanıcı için saniyenin altında yanıt gerektiren BI panolarını çalıştırma gibi düşük gecikme süresi, yüksek eşzamanlılık kullanım örnekleri için oluşturulmuş sunucusuz bir işlemdir.

Lakehouse//RT, bulut depolamada Delta Lake veya Apache Iceberg biçimlerini kullanan Unity Kataloğu tablolarınıza yönelik SQL okuma sorgularında saniyenin altında gecikme süresi sunar. Lakehouse//RT'i diğer SQL ambarlarında yaptığınız gibi oluşturup yönetirsiniz. Çalışma alanı yöneticisi veya ayrıcalıklı kullanıcı çalışma alanı başına bir veya daha fazla oluşturur ve kullanıcılara izinler atar.

Gereksinimler

Lakehouse//RT kullanmak için şunları kullanmanız gerekir:

Çalışma alanınızda Lakehouse//RT'yi etkinleştirme

Çalışma alanı yöneticileri, çalışma alanınızda Lakehouse//RT Beta'yı etkinleştirebilir:

  1. Çalışma alanı menünüzü (sağ üst köşede) Önizlemeler'e gidin.
  2. Lakehouse RT için arama.
  3. Önizlemeyi etkinleştirin.

Önizlemeyi etkinleştirdikten sonra , gerçek zamanlı ambar türü çalışma alanınızın SQL ambarı oluşturma akışında kullanılabilir hale gelir.

Lakehouse//RT veri ambarı oluştur

Lakehouse//RT ambarı oluşturmak için:

  1. İşlem>SQL Ambarları>SQL Ambarı Oluştur bölümüne gidin.
  2. Gerçek Zamanlı'ya tıklayın.
  3. Bir boyut seçin: Sorgularınızın gerektirdiği performansa bağlı olarak Küçük, Orta, Büyük veya X-Büyük.
  4. Ambar için bir ad girin.
  5. Oluştur'utıklayın.

İzin atamak için, bir SQL veri ambarında olduğu gibi kullanıcılara ve gruplara Kullanabilir, İzleyebilir veya Yönetebilir izni verin.

Note

Şu anda mevcut bir SQL ambarı Lakehouse//RT'ye yükseltilemez veya mevcut bir Lakehouse//RT ambarı başka bir ambar türüne düşürülemez.

Lakehouse//RT etkinliğini izleme

Lakehouse//RT sorgularını, SQL ambarı üzerinde çalıştırılacak herhangi bir sorguyla aynı şekilde izleyebilirsiniz:

  • Sorgu geçmişi: Lakehouse//RT sorguları sorgu geçmişi kullanıcı arabiriminde ve sorgu geçmişi sistem tablosunda görünür.
  • Sorgu profilleri: Sorgu profilini görüntülemek için sorgu geçmişi kullanıcı arabiriminde bir Lakehouse//RT sorgusu açın.
  • İzleme sayfası: Her Lakehouse//RT ambarı için izleme sayfasında sorgu aktarım hızını, kuyruğa alınan sorguları ve sorgu geçmişini izleyin.
  • Faturalama: Lakehouse//RT kullanımı, faturalama sistemi tablolarında sku_nameLakehouse_Serverless olarak görünür.

En iyi uygulamalar

Lakehouse//RT'den en iyi sonuçları almak için iş yüklerinizi taşımadan önce hazırlayın:

  • Önce sunucusuz SQL'de doğrulayın. Sorgularınızı sunucusuz bir SQL ambarında çalıştırın ve birkaç saniye içinde çalıştırıldığını onaylayın.
  • Unity Kataloğu yönetilen tablolarını kullanın. Tahmine dayalı iyileştirme ve sıvı kümeleme ile yönetilen tablolar, verilerinizin iş yükü desenleriniz için iyi kümelenmiş olmasını sağlar.
  • Sorguların seçmeli olduğunu doğrulayın. Saniyenin altında gecikme süresi için sorgularınızın daha az miktarda veriyi taradığını doğrulayın. WHERE koşullarıyla erken filtreleyin, yalnızca ihtiyaç duyduğunuz sütunları seçin ve toplulaştırmaları kullanın. Tablolar arasında birleştirme desteklenir, ancak sorgunuzun karmaşık veya yavaş olduğunu fark ederseniz, daha hızlı gecikme süreleri için verilerinizi önceden toplayan gerçekleştirilmiş görünümleri kullanmayı göz önünde bulundurun.
  • SQL kapsamını denetleyin. Lakehouse//RT yalnızca ANSI uyumlu okuma sorgularını destekler. İş yüklerinizin ANSI uyumlu olduğunu onaylayın ve Sınırlamalar altında listelenen desteklenmeyen deyimlerden, işlevlerden ve veri türlerinden kaçının.

Desteklenen özellikler

Araçlar ve arabirimler

Aşağıdaki Azure Databricks özelliklerden herhangi birinde işlem seçiciden Lakehouse//RT'yi seçebilirsiniz:

  • SQL düzenleyicisi
  • SQL not defterleri
  • AI/BI Gösterge Panoları
  • Katalog Tarayıcısı
  • Alerts

Tablo türleri

Lakehouse//RT yalnızca Unity Kataloğu verilerini sorgular. En iyi performans için, işleme altyapısına düşük gecikme için ihtiyaç duyduğu veri düzenini sağlayan Unity Catalog tarafından yönetilen tabloları kullanın.

Lakehouse//RT aşağıdaki tablo türlerini destekler:

  • Yönetilen tablolar (Delta Lake ve Apache Iceberg tabloları)
  • Gerçekleştirilmiş görünümler ve akış tabloları
  • Metrik görünüm

Connectivity

Lakehouse//RT yalnızca Deyim Yürütme API'sini kullanan bağlantıları kabul eder. Eski Thrift protokolünün desteklenmediğinden, Deyim Yürütme API'sini açıkça kullanmadan bağlanan bir sürücü bir 501 hata alır.

Lakehouse//RT ambarını aşağıdaki yollarla bağlayabilirsiniz:

Pricing

Fiyatlandırma bilgileri için Lakehouse Real-Time fiyatlandırma sayfasına bakın.

Limitations

Sorgu desteklenmeyen bir özellik kullandığında, Lakehouse//RT özelliği adlandırırken bir hata döndürür. Sorguyu başarıyla çalıştırmak için bunun yerine sunucusuz bir SQL ambarı kullanın.

Araçlar ve özellikler

Lakehouse//RT henüz aşağıdaki özellikleri desteklemez:

  • Cinne
  • Genie Ajanları
  • İş görevleri

Tablo türleri

Aşağıdaki tablo türleri henüz desteklenmiyor:

  • Sistem tabloları
  • Delta Sharing tabloları
  • Unity Kataloğu varsayılan depolamadaki tablolar
  • Unity Kataloğu'nda dış tablolar

Lakehouse//RT aşağıdaki tablo türlerini desteklemez:

  • Hive meta veri deposu tabloları (yönetilen veya dış)
  • Yabancı tablolar ve sorgu federasyonu (Lakehouse Federasyonu)
  • Geçici tablolar
  • Diğer veri biçimlerini (CSV, JSON, Avro, Parquet, ORC ve metin) kullanan tablolar

Sürücüler ve bağlayıcılar

Lakehouse//RT aşağıdaki sürücüleri ve bağlayıcıları desteklemez:

  • ADBC
  • ODBC
  • Git

SQL dili

Lakehouse//RT yalnızca ANSI modunda SQL okuma sorguları çalıştırır. Tüm örtük tür zorlamalarını ve yayınlarını katı ANSI SQL kurallarına göre değerlendirir ve bu davranış kapatılamaz. ANSI semantiği altında, ANSI olmayan davranışa dayalı sorgular şunları içerebilir:

  • sessizce üretmek yerine çalışma zamanı hatası oluşturma NULL. Örneğin, sayısal olmayan bir dizeyi sayıya dönüştürme.
  • Güvenli bir ortak tür olmadığında analiz zamanı hatası oluşturma. Örneğin, COALESCE, CASE, INveya uyumsuz türler arasında işlemleri ayarlayın.
  • ANSI dize yükseltme ve sayısal genişletme güvenli, kayıpsız türleri seçtiğinden eski moddan farklı bir sonuç türü döndürür.

Tahmin edilebilir sonuçlar elde etmek için, ANSI modundaki örtük dönüştürmeler beklediğiniz davranışı üretmediğinde açık CAST ifadeler kullanın.

Lakehouse//RT aşağıdakileri desteklemez:

  • Veri türleri:GEOGRAPHY ve GEOMETRY veri türleri.
  • İşlevler: Yapay zeka işlevleri, Python UDF'leri, uzamsal SQL işlevleri ve XPath ve XML işlevleri.
  • Yönetim: Satır düzeyi güvenlik ve sütun maskeleme de dahil olmak üzere öznitelik tabanlı erişim denetimi (ABAC).

Lakehouse//RT yalnızca okuma (SELECT) sorguları içindir. Yazma ve ETL komutları desteklenmez, örneğin:

  • Yazma işlemleri:INSERT, UPDATE, DELETE, MERGEve CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, ALTER, DROPve nesneleri oluşturan veya değiştiren diğer deyimler.
  • Güvenlik deyimleri:GRANT ve REVOKE.
  • Betik yazımı, saklı yordamlar, geçici tablolar ve birden çok deyim içeren işlemler.
  • Delta Lake bakımı:OPTIMIZE, ANALYZE, VACUUMve REFRESH.

Ağ güvenliği

Lakehouse//RT henüz aşağıdaki ağ yapılandırmalarını desteklemez:

Compliance

Uyumluluk güvenlik profilleri şu anda desteklenmiyor.

  • Last updated on