Mayıs 2020
Bu özellikler ve Azure Databricks platformu iyileştirmeleri Mayıs 2020'de yayımlandı.
Not
Sürümler hazırlanır. Azure Databricks hesabınız ilk yayın tarihinden sonraki bir haftaya kadar güncelleştirilmeyebilir.
Easv4 serisi sanal makineler (Beta)
29 Mayıs 2020, Saat 20:00
Azure Databricks artık premium SSD kullanan ve 3,35 GHz artırılmış maksimum frekansa ulaşabilen Easv4 serisi VM'ler için Beta desteği sunuyor. Bu örnek türleri, yoğun bellek kullanan kurumsal uygulamalar için iş yükü performansınızı iyileştirebilir.
Genomiks için Databricks Runtime 6.6 GA
26 Mayıs 2020, Saat 20:00
Genomiks için Databricks Runtime 6.6, Databricks Runtime 6.6'nın üzerine kurulmuştur ve aşağıdaki yeni özellikleri içerir:
- GFF3 okuyucu
- Özel başvuru genomu desteği
- Örnek başına işlem hattı zaman aşımları
- BAM dışarı aktarma seçeneği
- Bildirim blobları
Databricks Runtime 6.6 ML GA
26 Mayıs 2020, Saat 20:00
Databricks Runtime 6.6 ML, Databricks Runtime 6.6'nın üzerine kurulmuştur ve aşağıdaki yeni özellikleri içerir:
- Yükseltilmiş mlflow: 1.7.0 - 1.8.0
Daha fazla bilgi için databricks Runtime 6.6 ML (EoS) sürüm notlarının tamamına bakın.
Databricks Runtime 6.6 GA
26 Mayıs 2020, Saat 20:00
Databricks Runtime 6.6, aşağıdaki Delta Lake özellikleri de dahil olmak üzere birçok kitaplık yükseltmesi ve yeni özellik getirir:
- Artık işlemle
mergetablonun şemasını otomatik olarak geliştirebilirsiniz. Bu, değişiklik verilerini bir tabloya eklemek istediğiniz ve verilerin şemasının zaman içinde değiştiği senaryolarda kullanışlıdır. Upserting öncesinde şema değişikliklerini algılamak ve uygulamak yerine,mergeşemayı aynı anda geliştirebilir ve değişiklikleri ekleyebilir. Bkz. Delta Lake birleştirme için otomatik şema evrimi. - Yalnızca eşleşen yan tümceleri olan, yani yalnızca
updateve eylemleri olan vedeleteeylem içermeyeninsertbirleştirme işlemlerinin performansı iyileştirildi. - Hive meta veri deposunda başvuruda bulunan parquet tabloları artık kullanılarak
CONVERT TO DELTAtablo tanımlayıcıları aracılığıyla Delta Lake'e dönüştürülebilir.
Daha fazla bilgi için databricks Runtime 6.6 (EoS) sürüm notlarının tamamına bakın.
DBFS REST API uç nokta silme sınırı
21-28 Mayıs 2020: Sürüm 3.20
DBFS API'sini kullanarak özyinelemeli olarak çok sayıda dosyayı sildiğinizde, silme işlemi artımlı olarak gerçekleştirilir. Çağrı, yaklaşık 45'lerden sonra dizin yapısı tamamen silinene kadar silme işlemini yeniden çağırmanızı isteyen bir hata iletisiyle bir yanıt döndürür. Örneğin:
{
"error_code":"PARTIAL_DELETE","message":"The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}
MLflow'a kayıtlı çok sayıda modeli kolayca görüntüleme
21-28 Mayıs 2020: Sürüm 3.20
MLflow Model Kayıt Defteri artık kayıtlı modeller için sunucu tarafı arama ve sayfalandırmayı destekleyerek çok sayıda modele sahip kuruluşların listeleme ve arama işlemlerini verimli bir şekilde gerçekleştirmesine olanak tanır. Daha önce olduğu gibi, modelleri ada göre arayabilir ve sonuçları ada göre sıralayabilir veya son güncelleştirme zamanına göre sıralayabilirsiniz. Ancak çok sayıda modeliniz varsa sayfalar çok daha hızlı yüklenir ve arama, modellerin en güncel görünümünü getirir.
Tüm kümelere yüklenmek üzere yapılandırılmış kitaplıklar Databricks Runtime 7.0 ve üzerini çalıştıran kümelere yüklenmez
21-28 Mayıs 2020: Sürüm 3.20
Databricks Runtime 7.0 ve üzeri sürümlerinde Apache Spark'ın temel alınan sürümü Scala 2.12'yi kullanır. Scala 2.11'de derlenen kitaplıklar Databricks Runtime 7.0 kümelerini beklenmedik şekilde devre dışı bırakabildiğinden, Databricks Runtime 7.0 ve üzerini çalıştıran kümeler tüm kümelere yüklenecek şekilde yapılandırılmış kitaplıkları yüklemez. Küme Kitaplıkları sekmesinde , kitaplık işlemedeki değişikliklerle ilgili bir durum Skipped ve kullanımdan kaldırma iletisi gösterilir.
Çalışma alanınızda 3.20 yayımlanmadan önce Databricks Runtime'ın önceki bir sürümünde oluşturulmuş bir kümeniz varsa ve şimdi bu kümeyi Databricks Runtime 7.0 kullanacak şekilde düzenlerseniz, tüm kümelere yüklenmek üzere yapılandırılmış tüm kitaplıklar bu kümeye yüklenir. Bu durumda, yüklü kitaplıklardaki uyumsuz JAR'ler kümenin devre dışı bırakılmasına neden olabilir. Geçici çözüm, kümeyi kopyalamak veya yeni bir küme oluşturmaktır.
Genomiks için Databricks Runtime 7.0 (Beta)
21 Mayıs 2020, Saat 20:00
Genomiks için Databricks Runtime 7.0, Databricks Runtime 7.0'ın üzerine kurulmuştur ve aşağıdaki kitaplık değişikliklerini içerir:
- ADAM kitaplığı 0.30.0 sürümünden 0.32.0 sürümüne güncelleştirildi.
- Hail kitaplığı, Apache Spark 3.0 tabanlı bir sürüm olmadığından Genomiks için Databricks Runtime 7.0'a dahil değildir.
Databricks Runtime 7.0 ML (Beta)
21 Mayıs 2020, Saat 20:00
Databricks Runtime 7.0 ML, Databricks Runtime 7.0'ın üzerine kurulmuştur ve aşağıdaki yeni özellikleri içerir:
- Conda ve pip komutları tarafından yönetilen not defteri kapsamlı Python kitaplıkları ve özel ortamlar.
- Tensorflow, tensorboard, pytorch, xgboost, sparkdl ve hyperopt gibi önemli Python paketleri için güncelleştirmeler.
- Yeni eklenen Python paketleri lightgbm, nltk, petastorm ve plotly.
- RStudio Sunucusu Açık Kaynak v1.2.
Daha fazla bilgi için databricks Runtime 7.0 ML (EoS) sürüm notlarının tamamına bakın.
Genomiks için Databricks Runtime 6.6 (Beta)
7 Mayıs 2020, Saat 20:00
Genomiks için Databricks Runtime 6.6, Databricks Runtime 6.6'nın üzerine kurulmuştur ve aşağıdaki yeni özellikleri içerir:
- GFF3 okuyucu
- Özel başvuru genomu desteği
- Örnek başına işlem hattı zaman aşımları
- BAM dışarı aktarma seçeneği
- Bildirim blobları
Databricks Runtime 6.6 ML (Beta)
7 Mayıs 2020, Saat 20:00
Databricks Runtime 6.6 ML, Databricks Runtime 6.6'nın üzerine kurulmuştur ve aşağıdaki yeni özellikleri içerir:
- Yükseltilmiş mlflow: 1.7.0 - 1.8.0
Daha fazla bilgi için databricks Runtime 6.6 ML (EoS) sürüm notlarının tamamına bakın.
Databricks Runtime 6.6 (Beta)
7 Mayıs 2020, Saat 20:00
Databricks Runtime 6.6 (Beta), aşağıdaki Delta Lake özellikleri de dahil olmak üzere birçok kitaplık yükseltmesi ve yeni özellik getirir:
- Artık işlemle
mergetablonun şemasını otomatik olarak geliştirebilirsiniz. Bu, değişiklik verilerini bir tabloya eklemek istediğiniz ve verilerin şemasının zaman içinde değiştiği senaryolarda kullanışlıdır. Upserting öncesinde şema değişikliklerini algılamak ve uygulamak yerine,mergeşemayı aynı anda geliştirebilir ve değişiklikleri ekleyebilir. Bkz. Delta Lake birleştirme için otomatik şema evrimi. - Yalnızca eşleşen yan tümceleri olan, yani yalnızca
updateve eylemleri olan vedeleteeylem içermeyeninsertbirleştirme işlemlerinin performansı iyileştirildi. - Hive meta veri deposunda başvuruda bulunan parquet tabloları artık kullanılarak
CONVERT TO DELTAtablo tanımlayıcıları aracılığıyla Delta Lake'e dönüştürülebilir.
Daha fazla bilgi için databricks Runtime 6.6 (EoS) sürüm notlarının tamamına bakın.
İş kümeleri şimdi iş adı ve kimliği ile etiketleniyor
5-12 Mayıs 2020: Sürüm 3.19
İş kümeleri otomatik olarak iş adı ve kimliğiyle etiketlenir. Etiketler faturalanabilir kullanım raporlarında görünür, böylece DBU kullanımınızı işe göre kolayca ilişkilendirebilir ve anomalileri tanımlayabilirsiniz. Etiketler izin verilen karakterler, maksimum boyut ve maksimum etiket sayısı gibi küme etiketi belirtimlerine göre temizlenir. İş adı etiketinde RunName , iş kimliği de etiketinde JobId yer alır.
Silinen not defteri hücrelerini geri yükleme
5-12 Mayıs 2020: Sürüm 3.19
Artık (Z) klavye kısayolunu kullanarak veya Hücreleri Silmeyi Düzenle'yi > seçerek silinen hücreleri geri yükleyebilirsiniz.
Bekleyen işler kuyruk sınırı
5-12 Mayıs 2020: Sürüm 3.19
Çalışma alanı artık 1000 etkin (çalışıyor ve beklemede) iş çalıştırması ile sınırlıdır. Çalışma alanı 150 eşzamanlı (çalışan) iş çalıştırması ile sınırlı olduğundan, çalışma alanının bekleyen kuyrukta en fazla 850 çalıştırması olabilir.