Listopad 2018 r.

  • Artykuł

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w listopadzie 2018 r.

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia po początkowej dacie wydania.

Interfejs użytkownika biblioteki

Ważne

Ta aktualizacja została przywrócona 7 grudnia 2018 r.

27 listopada 2018 r. 4 grudnia 2018 r.: Wersja 2.85

W tej wersji interfejs użytkownika biblioteki został znacznie ulepszony.

Interfejs użytkownika usługi Azure Databricks obsługuje teraz biblioteki obszarów roboczych i biblioteki dołączone do klastra. Biblioteka obszarów roboczych istnieje w obszarze roboczym i może być dołączona do co najmniej jednego klastra. Biblioteka dołączona do klastra to biblioteka, która istnieje tylko w kontekście klastra, do którego jest dołączony. Dodatkowo:

  • Teraz możesz utworzyć bibliotekę na podstawie pliku przekazanego do magazynu obiektów.
  • Możesz teraz dołączać i odłączać biblioteki od strony szczegółów biblioteki i karty Biblioteki klastra.
  • Biblioteki zainstalowane przy użyciu interfejsu API są teraz wyświetlane na karcie Biblioteki klastra.

Włączono niestandardowe ustawienia pamięci sterty platformy Spark

27 listopada 2018 r. 4 grudnia 2018 r.: Wersja 2.85

Teraz obowiązują następujące ustawienia pamięci platformy Spark:

  • spark.executor.memory
  • spark.driver.memory

Ważne

  • Usługa Azure Databricks ma usługi uruchomione w każdym węźle, więc maksymalna dozwolona pamięć dla platformy Spark jest mniejsza niż pojemność pamięci maszyny wirtualnej zgłoszonej przez dostawcę usług w chmurze. Jeśli chcesz zapewnić platformie Spark maksymalną ilość pamięci stertowej dla funkcji wykonawczej lub sterownika, nie należy określać spark.executor.memory ani spark.driver.memory odpowiednio.
  • Niektóre konfiguracje klastra, które były wcześniej nieprawidłowe, ale ignorowane, mogą spowodować awarie klastra.

Wykluczanie kontekstu wykonywania bezczynnego i zadań

27 listopada 2018 r. 4 grudnia 2018 r.: Wersja 2.85

Zadania teraz automatycznie wykluczają konteksty wykonywania bezczynności. Zobacz Konteksty wykonywania notesu usługi Databricks. Aby zminimalizować automatyczne eksmisji, usługa Azure Databricks zaleca używanie różnych klastrów do zadań i obciążeń interaktywnych.

Databricks Runtime 5.0 na potrzeby uczenia maszynowego (wersja beta)

19 listopada 2018 r.

Środowisko Databricks Runtime 5.0 ML (wersja beta) zapewnia gotowe do użycia środowisko do uczenia maszynowego i nauki o danych. Zawiera wiele popularnych bibliotek, w tym TensorFlow, Keras i XGBoost. Obsługuje również rozproszone trenowanie Biblioteki TensorFlow przy użyciu struktury Horovod. Środowisko Databricks Runtime 5.0 ML jest oparte na środowisku Databricks Runtime 5.0. Środowisko Databricks Runtime 5.0 ML obejmuje następujące nowe funkcje:

Zobacz pełne informacje o wersji dla środowiska Databricks Runtime 5.0 ML (nieobsługiwane).

Databricks Runtime 5.0

8 listopada 2018 r.

Środowisko Databricks Runtime 5.0 jest teraz dostępne. Środowisko Databricks Runtime 5.0 obejmuje platformę Apache Spark 2.4.0, nowe funkcje usługi Delta Lake i przesyłania strumieniowego ze strukturą oraz uaktualnienia oraz uaktualnione biblioteki Python, R i Java i Scala. Aby uzyskać szczegółowe informacje, zobacz Databricks Runtime 5.0 (nieobsługiwane).

W środowisku Databricks Runtime 5.0 usługa Azure Databricks eksmituje teraz konteksty bezczynności wykonywania, gdy klaster osiągnie maksymalny limit kontekstu (145). Zobacz Konteksty wykonywania notesu usługi Databricks.

displayHTML obsługa nieograniczonego ładowania zawartości innej firmy

6-13 listopada 2018 r.: Wersja 2.84

displayHTML Wcześniej w piaskownicy elementu iframe brakuje atrybutu allow-same-origin. Oznaczało to, że element iframe miał źródło o wartości null, które nie było przyjazne dla żądań XHR między źródłami, plików cookie ani uzyskiwania dostępu do osadzonych elementów iframe. W tej wersji element displayHTML iframe jest obsługiwany z nowej domeny , databricksusercontent.coma piaskownica allow-same-origin elementu iframe zawiera teraz atrybut .

Nie ma potrzeby zmieniania użycia formatu displayHTML, jeśli już działa.

databricksusercontent.com musi być dostępny z przeglądarki. Jeśli jest ona obecnie zablokowana przez sieć firmową, musi zostać dodana do listy dozwolonych przez dział IT.