Lakehouse Real-Time

Important

Bu özellik Beta sürümündedir. Bu özelliği hesabınızda etkinleştirmek için Databricks hesap ekibinize ulaşın.

Lakehouse//RT aktif geliştirme aşamasındadır. Genel kullanılabilirlik öncesinde performans özellikleri ve desteklenen özellik kümesi değişir.

Lakehouse Real-Time (Lakehouse//RT), analiz verilerini özel uygulamalara sunma, operasyonel analiz çalıştırma veya yüzlerce ile binlerce eşzamanlı kullanıcı için saniyenin altında yanıt gerektiren BI panolarını çalıştırma gibi düşük gecikme süresi, yüksek eşzamanlılık kullanım örnekleri için oluşturulmuş sunucusuz bir işlemdir.

Lakehouse//RT, bulut depolamada Delta Lake veya Apache Iceberg biçimlerini kullanan Unity Kataloğu tablolarınıza yönelik SQL okuma sorgularında saniyenin altında gecikme süresi sunar. Lakehouse//RT'i diğer SQL ambarlarında yaptığınız gibi oluşturup yönetirsiniz. Çalışma alanı yöneticisi veya ayrıcalıklı kullanıcı çalışma alanı başına bir veya daha fazla oluşturur ve kullanıcılara izinler atar.

Gereksinimler

Lakehouse//RT kullanmak için şunları kullanmanız gerekir:

Çalışma alanınızda Lakehouse//RT'yi etkinleştirme

Çalışma alanı yöneticileri, çalışma alanınızda Lakehouse//RT Beta'yı etkinleştirebilir:

  1. Çalışma alanı menünüzü (sağ üst köşede) Önizlemeler'e gidin.
  2. Lakehouse RT için arama.
  3. Önizlemeyi etkinleştirin.

Önizlemeyi etkinleştirdikten sonra , gerçek zamanlı ambar türü çalışma alanınızın SQL ambarı oluşturma akışında kullanılabilir hale gelir.

Lakehouse//RT veri ambarı oluştur

Lakehouse//RT ambarı oluşturmak için:

  1. İşlem>SQL Ambarları>SQL Ambarı Oluştur bölümüne gidin.
  2. Gerçek Zamanlı'ya tıklayın.
  3. Sorgularınızın gerektirdiği performansa bağlı olarak bir Sorgu boyutu seçin: Küçük, Orta, Büyük veya X-Büyük.
  4. Otomatik ölçeklendirmeyi saatte faturalandırılabileceğiniz maksimum DBU'ları belirlemek için ayarlayın.
  5. Boşta duran bir deponun durma noktasını kontrol etmek için otomatik durdurmayı ayarlayın.
  6. Ambar için bir ad girin.
  7. Oluştur'utıklayın.

İzin atamak için, bir SQL veri ambarında olduğu gibi kullanıcılara ve gruplara Kullanabilir, İzleyebilir veya Yönetebilir izni verin.

Note

Şu anda mevcut bir SQL ambarı Lakehouse//RT'ye yükseltilemez veya mevcut bir Lakehouse//RT ambarı başka bir ambar türüne düşürülemez.

Bir Lakehouse//RT deposunu boyutlandırın ve ölçeklendirin

Lakehouse//RT performans ve maliyeti kontrol eden ayarlara sahiptir:

  • Sorgu boyutu, tek bir sorguya sunulan hesaplamayı kontrol eder.
  • Otomatik ölçeklendirme, deponun eşzamanlı sorgulara hizmet etmek için ne kadar ölçeklendiğini kontrol eder.
  • Otomatik durdurma , boşta kalan bir deponun durmadan ne kadar süre çalışacağını kontrol eder.

Sorgu boyutu ve otomatik ölçeklendirme, sunucusuz SQL deposunda boyutlandırma ve ölçeklendirme ayarlarından farklı çalışır.

Sorgu boyutu

Sorgu boyutu, tek bir sorgunun kullanabileceği maksimum hesaplama gücünü belirler; bu da bireysel bir sorgunun ne kadar hızlı çalışabileceğini belirler. Ayrıca, veri ambarı açık olduğu sürece, veri ambarının üzerinde çalıştığı en düşük işlem gücü düzeyini ve size faturalandırılacak asgari miktarı da belirler.

Depoyu oluştururken sorgu boyutunu belirlersiniz. Küçük, orta, büyük veya X-büyük seçeneğini seçin. Daha büyük bir boyut, her sorguya daha hızlı sonuçlar için daha fazla hesaplama imkanı sağlar ve minimum maliyeti daha yüksektir.

Bu ayar, sunucusuz bir SQL deposunun boyutuna benzer ve kullanılabilir hesaplamayı tek bir sorguya ayarlıyor.

Autoscaling

Otomatik ölçeklendirme, bir depoya daha fazla eşzamanlı sorgu sunmak için hesaplama eklemesini ve talep düştüğünde serbest bırakmasını sağlar. Deponun DBU cinsinden ölçülen, ölçeklenebileceği maksimum işlem gücünü belirlersiniz.

Lakehouse//RT'de otomatik ölçeklendirme, sunucusuz SQL deposunda küme ölçeklendirmesinden birkaç şekilde farklıdır:

  • DBU'larla ölçülür, kümeler olarak değil.
  • Maksimum, sorgu boyutundan bağımsızdır. Küçük bir sorgu boyutunu yüksek maksimumla eşleştirerek yüksek eşzamanlılık elde edebilirsiniz ve her sorguya daha fazla hesaplama gerektirmez.
  • Lakehouse//RT otomatik ölçeklendirme, küme artışları hâlinde değil, yalnızca gereken işlem gücünü ekler ve kaldırır.

Bir deponun ne kadar ölçeklendiğini görmek için izleme sayfasını kullanın.

Otomatik durdurma

Otomatik durdurma, depo belirli bir süre boşta kaldıktan sonra onu sonlandırır, yani boşta duran depo sürekli ücret biriktirmez. Depoyu oluştururken boşta kalma zaman aşımını ayarlarsınız.

Lakehouse//RT'de otomatik durdurma, sunucusuz SQL deposunda olduğu gibi çalışıyor. Varsayılan ve minimum değerler için SQL depo ayarlarını yapılandır sayfasına bakınız.

Lakehouse//RT etkinliğini izleme

Lakehouse//RT sorgularını, SQL ambarı üzerinde çalıştırılacak herhangi bir sorguyla aynı şekilde izleyebilirsiniz:

  • Sorgu geçmişi: Lakehouse//RT sorguları sorgu geçmişi kullanıcı arabiriminde ve sorgu geçmişi sistem tablosunda görünür.
  • Sorgu profilleri: Sorgu profilini görüntülemek için sorgu geçmişi kullanıcı arabiriminde bir Lakehouse//RT sorgusu açın.
  • İzleme sayfası: Her Lakehouse//RT ambarı için izleme sayfasında sorgu aktarım hızını, kuyruğa alınan sorguları ve sorgu geçmişini izleyin.
  • Faturalama: Lakehouse//RT kullanımı, faturalama sistemi tablolarında sku_nameLakehouse_Serverless olarak görünür.

En iyi uygulamalar

Lakehouse//RT'den en iyi sonuçları almak için iş yüklerinizi taşımadan önce hazırlayın:

  • Önce sunucusuz SQL'de doğrulayın. Sorgularınızı sunucusuz bir SQL ambarında çalıştırın ve birkaç saniye içinde çalıştırıldığını onaylayın.
  • Unity Kataloğu yönetilen tablolarını kullanın. Tahmine dayalı iyileştirme ve sıvı kümeleme ile yönetilen tablolar, verilerinizin iş yükü desenleriniz için iyi kümelenmiş olmasını sağlar.
  • Sorguların seçmeli olduğunu doğrulayın. Saniyenin altında gecikme süresi için sorgularınızın daha az miktarda veriyi taradığını doğrulayın. WHERE koşullarıyla erken filtreleyin, yalnızca ihtiyaç duyduğunuz sütunları seçin ve toplulaştırmaları kullanın. Tablolar arasında birleştirme desteklenir, ancak sorgunuzun karmaşık veya yavaş olduğunu fark ederseniz, daha hızlı gecikme süreleri için verilerinizi önceden toplayan gerçekleştirilmiş görünümleri kullanmayı göz önünde bulundurun.
  • SQL kapsamını denetleyin. Lakehouse//RT yalnızca ANSI uyumlu okuma sorgularını destekler. İş yüklerinizin ANSI uyumlu olduğunu onaylayın ve Sınırlamalar altında listelenen desteklenmeyen deyimlerden, işlevlerden ve veri türlerinden kaçının.

Desteklenen özellikler

Araçlar ve arabirimler

Aşağıdaki Azure Databricks özelliklerden herhangi birinde işlem seçiciden Lakehouse//RT'yi seçebilirsiniz:

  • SQL düzenleyicisi
  • SQL not defterleri
  • AI/BI Gösterge Panoları
  • Katalog Tarayıcısı
  • Alerts

Tablo türleri

Lakehouse//RT yalnızca Unity Kataloğu verilerini sorgular. En iyi performans için, işleme altyapısına düşük gecikme için ihtiyaç duyduğu veri düzenini sağlayan Unity Catalog tarafından yönetilen tabloları kullanın.

Lakehouse//RT aşağıdaki tablo türlerini destekler:

  • Yönetilen tablolar (Delta Lake ve Apache Iceberg tabloları)
  • Gerçekleştirilmiş görünümler ve akış tabloları
  • Metrik görünüm

Connectivity

Lakehouse//RT yalnızca Deyim Yürütme API'sini kullanan bağlantıları kabul eder. Eski Thrift protokolünün desteklenmediğinden, Deyim Yürütme API'sini açıkça kullanmadan bağlanan bir sürücü bir 501 hata alır.

Lakehouse//RT ambarını aşağıdaki yollarla bağlayabilirsiniz:

Pricing

Fiyatlandırma bilgileri için Lakehouse Real-Time fiyatlandırma sayfasına bakın.

Limitations

Sorgu desteklenmeyen bir özellik kullandığında, Lakehouse//RT özelliği adlandırırken bir hata döndürür. Sorguyu başarıyla çalıştırmak için bunun yerine sunucusuz bir SQL ambarı kullanın.

Araçlar ve özellikler

Lakehouse//RT henüz aşağıdaki özellikleri desteklemez:

  • Cinne
  • Genie Ajanları
  • İş görevleri

Tablo türleri

Aşağıdaki tablo türleri henüz desteklenmiyor:

  • Sistem tabloları
  • Delta Sharing tabloları
  • Unity Kataloğu varsayılan depolamadaki tablolar
  • Unity Kataloğu'nda dış tablolar

Lakehouse//RT aşağıdaki tablo türlerini desteklemez:

  • Hive meta veri deposu tabloları (yönetilen veya dış)
  • Yabancı tablolar ve sorgu federasyonu (Lakehouse Federasyonu)
  • Geçici tablolar
  • Diğer veri biçimlerini (CSV, JSON, Avro, Parquet, ORC ve metin) kullanan tablolar

Sürücüler ve bağlayıcılar

Lakehouse//RT aşağıdaki sürücüleri ve bağlayıcıları desteklemez:

  • ADBC
  • ODBC

SQL dili

Lakehouse//RT yalnızca ANSI modunda SQL okuma sorguları çalıştırır. Tüm örtük tür zorlamalarını ve yayınlarını katı ANSI SQL kurallarına göre değerlendirir ve bu davranış kapatılamaz. ANSI semantiği altında, ANSI olmayan davranışa dayalı sorgular şunları içerebilir:

  • sessizce üretmek yerine çalışma zamanı hatası oluşturma NULL. Örneğin, sayısal olmayan bir dizeyi sayıya dönüştürme.
  • Güvenli bir ortak tür olmadığında analiz zamanı hatası oluşturma. Örneğin, COALESCE, CASE, INveya uyumsuz türler arasında işlemleri ayarlayın.
  • ANSI dize yükseltme ve sayısal genişletme güvenli, kayıpsız türleri seçtiğinden eski moddan farklı bir sonuç türü döndürür.

Tahmin edilebilir sonuçlar elde etmek için, ANSI modundaki örtük dönüştürmeler beklediğiniz davranışı üretmediğinde açık CAST ifadeler kullanın.

Lakehouse//RT aşağıdakileri desteklemez:

  • Veri türleri:GEOGRAPHY ve GEOMETRY veri türleri.
  • İşlevler: Yapay zeka işlevleri, Python UDF'leri, uzamsal SQL işlevleri ve XPath ve XML işlevleri.
  • Yönetim: Satır düzeyi güvenlik ve sütun maskeleme de dahil olmak üzere öznitelik tabanlı erişim denetimi (ABAC).

Lakehouse//RT yalnızca okuma (SELECT) sorguları içindir. Yazma ve ETL komutları desteklenmez, örneğin:

  • Yazma işlemleri:INSERT, UPDATE, DELETE, MERGEve CREATE TABLE AS SELECT (CTAS).
  • DDL:CREATE, ALTER, DROPve nesneleri oluşturan veya değiştiren diğer deyimler.
  • Güvenlik deyimleri:GRANT ve REVOKE.
  • Betik yazımı, saklı yordamlar, geçici tablolar ve birden çok deyim içeren işlemler.
  • Delta Lake bakımı:OPTIMIZE, ANALYZE, VACUUMve REFRESH.

Ağ güvenliği

Important

Lakehouse//RT Azure Databricks serverless compute üzerinde çalışıyor. Bulut depolamanız etrafında bir güvenlik duvarı oluşturarak sunucusuz hesaplamadan erişim izni vermek için Sunucusuz hesaplama erişimi için bir güvenlik duvarı yapılandırma bölümünü inceleyin. Eski güvenlik duvarı yapılandırma yöntemleri yakın zamanda kullanımdan kaldırıldı. Eğer hala kullanılıyorsa, sunucusuz hesaplama depolamanıza erişmeye çalışırken hata 403 Forbidden verebilir.

Lakehouse//RT henüz aşağıdaki ağ yapılandırmalarını desteklemez:

Compliance

Uyumluluk güvenlik profilleri şu anda desteklenmiyor.

  • Last updated on