Kasım 2023

  • Makale

Bu özellikler ve Azure Databricks platformu iyileştirmeleri Kasım 2023'te kullanıma sunuldu.

Not

Sürümler hazırlanır. Azure Databricks çalışma alanınız ilk yayın tarihinden bir hafta veya daha sonra güncelleştirilmeyebilir.

Databricks Vektör Araması Genel Önizlemedir

30 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım 20

Azure Databricks Vektör Arama, meta veriler de dahil olmak üzere verilerinizin vektör gösterimini bir vektör veritabanında depolamanıza olanak tanıyan sunucusuz bir benzerlik arama altyapısıdır. Bu işlevin bir parçası olarak Unity Kataloğu'ndaki verilerden otomatik güncelleştirme vektör arama dizinleri oluşturabilir ve RAG iş akışlarınızın bir parçası olarak en benzer vektörleri döndürmek için bunları basit bir API ile sorgulayabilirsiniz. Bkz. Databricks Vektör Araması.

Erişim denetimleri listeleri artık devre dışı bırakılamaz

29 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20

Aşağıdaki ayarlar tüm Premium plan çalışma alanlarında etkinleştirilir ve artık çalışma alanı yönetici ayarları sayfasından veya Workspace Conf API'sinden devre dışı bırakılamaz:

  • Çalışma alanı erişim denetimi: Kullanıcıların çalışma alanı nesnelerine yönelik izinleri yapılandırmasına olanak tanır.
  • Küme, havuz, iş erişim denetimi: Kullanıcıların kümelere, havuzlara ve işlere yönelik izinleri yapılandırmasına olanak tanır.
  • Küme görünürlüğü denetimi: Kümelerin üzerinde hiçbir izni olmayan kullanıcılar tarafından görünür olmasını engeller.
  • İşler görünürlük denetimi: İşlerin üzerinde hiçbir izni olmayan kullanıcılar tarafından görünür olmasını önler.
  • Çalışma alanı görünürlük denetimi ayarı: Not defterlerinin ve klasörlerin üzerinde hiçbir izni olmayan kullanıcılar tarafından görünür olmasını önler.

Erişim denetimi ayarları Mart 2018'den bu yana yeni çalışma alanlarında varsayılan olarak etkinleştirilmiştir ve aralık 2020'den bu yana görünürlük denetimi ayarları varsayılan olarak etkinleştirilmiştir.

Daha fazla bilgi için bkz . Erişim denetim listeleri.

Birimler için Katalog Gezgini'nde yeni davranışlar ve eylemler

22 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20

Artık Birime yükle kullanıcı arabiriminden hiçbiri yoksa hedef şemada yeni bir birim oluşturabilirsiniz. Bkz . Unity Kataloğu birimine dosya yükleme.

Birimlerdeki dosyalar için Dosya sil ve Dosyayı indir gibi eylemler Katalog Gezgini'ne eklendi.

Databricks Runtime 14.2 GA'dır

22 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20

Databricks Runtime 14.2 ve Databricks Runtime 14.2 ML genel kullanıma sunuldu.

Bkz. Machine Learning için Databricks Runtime 14.2 ve Databricks Runtime 14.2.

Python sürüm 3.0.0 için Databricks SQL Bağlan or

17 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım 20

Artık komutunu çalıştırabilirsiniz pip install databricks-sql-connector==3.0.0.

Bu sürüm:

  • Python 3.7 desteğini kaldırır
  • Yerel parametreli SQL sorguları için destek ekler. DBR 14.2 ve üzerini gerektirir. Daha fazla bilgi için bkz . Databricks-sql-python GitHub deposunda Yerel Parametreleri Kullanma.
  • Tamamen yeniden yazılmış SQLAlchemy diyalektimizi içerir:
    • SQLAlchemy >= 2.0 desteği ekler ve SQLAlchemy 1.x desteğini bırakır
    • Desteklenen tüm özelliklerin tam uçtan uca test kapsamı
    • Ayrıntılı kullanım notları burada bulunabilir
    • Şu destek eklendi:
      • Yeni türler: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric tür ölçeği ve duyarlık, örneğin Numeric(10,2)
      • Okuma ve yazma PrimaryKeyConstraint ve ForeignKeyConstraint
      • Bileşik anahtarları okuma ve yazma
      • Görünümlerden okuma ve yazma
      • Tablolara yazma Identity (birincil anahtarları otomatik olarak numaralandırma)
      • LIMIT ve OFFSET sonuçları sayfalandırmak için
      • Meta veri çağrılarını Önbelleğe Alma
  • Varsayılan olarak Cloud Fetch'i etkinleştirir. Devre dışı bırakmak için oluştururken databricks.sql.clientayarlayınuse_cloud_fetch=False.
  • Azure Databricks Unity Kataloğu birimleri alma sorguları için tümleştirme testleri ekleme
  • Yeni -den deneme:
    • Yapılandırma ekle _retry_max_redirects
    • Kullanıcıların geçersiz kılıp geçersiz kılmadığını ayarlayın _enable_v3_retries=True ve uyarın.
  • Güvenlik: En düşük pyarrow sürümünü 14.0.1'e yükseltti (CVE-2023-47248)

Yalıtımsız paylaşılan kümelerde desteklenen çalışma alanı dosyalarındaki kitaplıklar

15 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım 20

Artık Databricks Runtime 14.1 ve üzeri sürümlerde yalıtımsız paylaşılan erişim moduyla yapılandırılmış işlem için çalışma alanı dosyaları olarak depolanan kitaplıkları yükleyebilirsiniz.

Çalışma alanı kitaplıklarının kullanımdan kaldırılması

15 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım 20

Çalışma alanı kitaplıkları artık kullanım dışı bırakıldı ve yeni çalışma alanı kitaplıkları oluşturma devre dışı bırakıldı. Mevcut çalışma alanı kitaplıkları çalışmaya devam eder. Kitaplıkları çalışma alanı dosyaları olarak depolamanın çalışma alanı kitaplıklarından farklı olduğunu ve hala tam olarak desteklendiğini unutmayın. Çalışma alanı dosyaları olarak depolanan kitaplıkları doğrudan işlem veya iş görevlerine yükleyebilirsiniz. Bkz. Kitaplıklar.

Azure gizli bilgi işlem VM türleri desteği artık GA'dır

15 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım 20

Azure gizli bilgi işlem VM türleri için Azure Databricks desteği genel kullanıma sunuldu. Azure gizli bilgi işlem, kullanımdaki verilerin korunmasına yardımcı olarak bulut sağlayıcısının hassas verilere erişmesini engeller. Bkz. Azure gizli bilgi işlem VM'leri.

13 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20

Artık Azure Databricks çalışma alanı kullanıcı arabirimindeki genel arama çubuğunu kullanarak Databricks Market'te veri kümelerini, yapay zeka modellerini ve Databricks Çözüm Hızlandırıcılarını bulabilirsiniz. Bkz . Databricks Market nedir? ve Çalışma alanı nesnelerini arama.

Databricks Market'te dış platformları kullanarak veri ürünlerini kullanma

10 Kasım 2023, Saat 2023, Kasım 2023, Kasım 2023, Kasım 20

Unity Kataloğu özellikli Azure Databricks çalışma alanı olmayan tüketiciler artık Databricks Market'teki veri ürünlerine erişebilir. Delta Sharing açık paylaşım bağlayıcılarını kullanarak Microsoft Power BI, Microsoft Excel, pandas, Apache Spark ve Unity Kataloğu olmayan Databricks çalışma alanları gibi birçok yaygın platformu kullanarak Market verilerine erişebilirsiniz. Dış platformlarda yalnızca tablosal veri kümeleri kullanılabilir (örneğin Databricks not defterleri veya modelleri kullanılamaz). Bkz. Dış platformları kullanarak Databricks Market'te veri ürünleri isteme ve bu ürünlere erişme.

Birkaç Azure bölgesi için sunucusuz SQL ambarları desteği eklendi

9 Kasım 2023, Kasım 2023

Aşağıdaki Azure bölgeleri artık sunucusuz SQL ambarlarını destekliyor:

  • Güney Brezilya (brezilyasouth)
  • Orta Hindistan (centralindia)
  • Doğu Japonya (japonya)
  • Orta Kuzey ABD (northcentralus)
  • Güney Birleşik Krallık (uksouth)

Bkz. Azure Databricks bölgeleri ve Sunucusuz SQL ambarlarını etkinleştirme.

Unity Kataloğu'nun yeni çalışma alanları için otomatik olarak etkinleştirilmesi

9 Kasım 2023, Kasım 2023

Databricks, yeni çalışma alanları için Unity Kataloğu'nu otomatik olarak etkinleştirmeye başladı. Bu, bir çalışma alanı oluşturulduktan sonra hesap yöneticilerinin Unity Kataloğu'nu yapılandırma gereksinimini ortadan kaldırır. Dağıtım, hesaplar arasında aşamalı olarak devam edecektir. Bkz . Unity Kataloğu'nun otomatik olarak etkinleştirilmesi.

Databricks Runtime 14.2 (beta)

8 Kasım 2023, Kasım 2023, Kasım 2023, Kasım 2023, Kasım

Databricks Runtime 14.2 ve Databricks Runtime 14.2 ML artık beta sürümü olarak kullanılabilir.

Bkz. Machine Learning için Databricks Runtime 14.2 ve Databricks Runtime 14.2.

Databricks Market, Databricks Çözüm Hızlandırıcılarını içerir

7 Kasım 2023, Kasım 2023

Databricks Market artık Databricks Çözüm Hızlandırıcıları'na, tam işlevsel not defterleri sağlayan amaca yönelik kılavuzlara, en iyi yöntemler kılavuzuna ve Azure Databricks'te birçok popüler kullanım örneğini hızlıca ayarlamanızı sağlayacak örnek verilere erişmenizi sağlar. Bkz . Databricks Çözüm Hızlandırıcılarına erişim elde etme.

Lakehouse Federasyonu, Google BigQuery için destek ekledi

3 Kasım 2023, Kasım 2023

Artık Lakehouse Federasyonu'na bağlayıcı türüyle BigQuery federasyon sorguları çalıştıracak şekilde yapılandırabilirsiniz. Yeni BigQuery bağlayıcısı Pro ve Sunucusuz SQL ambarlarında ve Databricks Runtime 13.3 LTS ve üzerinde desteklenir. Bkz . Google BigQuery'de federasyon sorguları çalıştırma.