Udostępnij przez

Informacje o wersji usługi Lakeflow Spark Deklaratywne potoki i proces uaktualniania wersji

W tym artykule wyjaśniono proces wydawania wersji potoków deklaratywnych Lakeflow Spark, sposób zarządzania środowiskiem wykonawczym potoków deklaratywnych Lakeflow Spark oraz zawiera linki do informacji o wersjach dla każdej wersji potoków deklaratywnych Lakeflow Spark.

Kanały środowiska uruchomieniowego potoków deklaratywnych usługi Lakeflow Spark

Note

Aby wyświetlić wersje środowiska Databricks Runtime używane w wersji Lakeflow Spark Deklaratywne potoki, zobacz informacje o wersji dla tej wersji.

Klastry potoków deklaratywnych platformy Lakeflow używają środowisk uruchomieniowych opartych na wersjach i zgodności środowiska Databricks Runtime. Usługa Databricks automatycznie uaktualnia środowiska uruchomieniowe Deklaratywnych potoków Lakeflow Spark, aby wspierać ulepszenia i aktualizacje platformy. Możesz użyć pola channel w ustawieniach deklaratywnych potoków Lakeflow Spark, aby kontrolować wersję środowiska uruchomieniowego Lakeflow Spark, które uruchamia Twój potok. Obsługiwane wartości to:

  • current, aby użyć bieżącej wersji środowiska uruchomieniowego.
  • preview przetestować przepływ z przyszłymi zmianami w wersji uruchomieniowej środowiska.

Domyślnie twoje potoki są uruchamiane przy użyciu wersji środowiska uruchomieniowego current. Databricks zaleca używanie run-time'u current dla obciążeń produkcyjnych. Aby dowiedzieć się, jak używać preview ustawienia do testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego, zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego.

Important

Funkcje oznaczone jako ogólnie dostępne lub publiczna wersja zapoznawcza są dostępne w kanale current.

Aby uzyskać więcej informacji na temat kanałów Lakeflow Spark Declarative Pipelines, zobacz pole channel w ustawieniach deklaratywnego potoku Lakeflow Spark.

Aby dowiedzieć się, jak Lakeflow Spark Declarative Pipelines zarządzają procesem uaktualniania dla każdej wersji, zobacz Jak działają uaktualnienia Lakeflow Spark Declarative Pipelines?.

Jak znaleźć wersję środowiska Databricks Runtime dla aktualizacji pipelinów?

Aby znaleźć wersję środowiska Databricks Runtime dla aktualizacji potoku, możesz wykonać zapytanie dotyczące dziennika zdarzeń dla deklaratywnych potoków Lakeflow Spark. Zobacz informacje o środowisku uruchomieniowym .

Informacje o wersji usługi Lakeflow Spark Deklaratywne potoki

Informacje o wersji usługi Lakeflow Spark Deklaratywne potoki są zorganizowane według roku i tygodnia. Ponieważ deklaratywne potoki Lakeflow Spark są niewymagające wersjonowania, zmiany zarówno w obszarze roboczym, jak i środowisku uruchomieniowym odbywają się automatycznie. Poniższe informacje o wersji zawierają omówienie zmian i poprawek błędów w każdej wersji:

Jak przebiegają uaktualnienia deklaratywnych potoków Spark na platformie Lakeflow?

Lakeflow Spark Deklaratywne Potoki są uważane za produkt bez wersji, co oznacza, że Databricks automatycznie aktualizuje środowisko uruchomieniowe Lakeflow Spark Deklaratywnych Potoków, aby wspierać ulepszenia i aktualizacje platformy. Firma Databricks zaleca ograniczenie zewnętrznych zależności dla deklaratywnych potoków Lakeflow Spark.

Usługa Databricks aktywnie działa, aby zapobiec automatycznym uaktualnieniom, które mogą wprowadzać błędy lub problemy do produkcyjnych deklaratywnych potoków Spark w Lakeflow. Zobacz Proces uaktualniania potoków deklaratywnych platformy Spark w usłudze Lakeflow.

Szczególnie dla użytkowników, którzy wdrażają potoki deklaratywne Lakeflow Spark z zewnętrznymi zależnościami, Databricks zaleca proaktywne testowanie tych potoków za pomocą preview kanałów. Zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego.

Proces uaktualniania potoków deklaratywnych usługi Lakeflow Spark

Usługa Databricks zarządza Databricks Runtime używanym przez zasoby obliczeniowe Lakeflow Spark Declarative Pipelines. Deklaratywne potoki Lakeflow Spark automatycznie aktualizują silnik uruchomieniowy w obszarach roboczych Azure Databricks i monitorują kondycję procesów po aktualizacji.

Jeśli usługa Lakeflow Spark Deklaratywne potoki wykryje, że potok nie może zostać uruchomiony z powodu uaktualnienia, wersja środowiska uruchomieniowego potoku zostanie przywrócona do poprzedniej wersji, która jest znana jako stabilna, a następujące kroki są wyzwalane automatycznie:

  • Środowisko uruchomieniowe Lakeflow Spark dla deklaratywnych potoków jest przypięte do poprzedniej znanej dobrej wersji.
  • Obsługa usługi Databricks jest powiadamiana o problemie.
    • Jeśli problem jest związany z regresją w środowisku uruchomieniowym, usługa Databricks rozwiązuje problem.
    • Jeśli problem jest spowodowany przez bibliotekę niestandardową lub pakiet używany przez pipeline, Databricks skontaktuje się z Tobą, aby rozwiązać ten problem.
  • Po rozwiązaniu problemu usługa Databricks ponownie inicjuje uaktualnienie.

Important

Deklaratywne potoki Lakeflow Spark przywracają tylko potoki działające w trybie produkcyjnym z ustawionym kanałem na wartość current.

Automate testing of your pipelines with the next runtime version (Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego)

Aby upewnić się, że zmiany w następnej wersji środowiska uruchomieniowego Lakeflow Spark Declarative Pipelines nie wpłyną na Twoje potoki, użyj funkcji kanałów Lakeflow Spark Declarative Pipelines.

  1. Utwórz potok przejściowy i ustaw kanał na wartość preview.
  2. W interfejsie użytkownika potoków deklaratywnych platformy Spark w usłudze Lakeflow utwórz harmonogram uruchamiania potoku co tydzień i włącz alerty w celu otrzymywania powiadomień e-mail o niepowodzeniach potoku. Databricks zaleca zaplanowanie cotygodniowego testowego działania potoków, zwłaszcza jeśli używasz niestandardowych zależności potoku .
  3. Jeśli otrzymasz powiadomienie o niepowodzeniu i nie możesz go rozwiązać, otwórz bilet pomocy technicznej w usłudze Databricks.

zależności potoku

Lakeflow Spark Deklaratywne Potoki obsługują zewnętrzne zależności w twoich potokach; na przykład, możesz zainstalować dowolny pakiet Python za pomocą polecenia %pip install. Potoki deklaratywne platformy Lakeflow obsługują również używanie skryptów inicjowania o zakresie globalnym i klastra. Jednak te zależności zewnętrzne, szczególnie skrypty inicjowania, zwiększają ryzyko problemów z uaktualnieniami środowiska uruchomieniowego. Aby ograniczyć te zagrożenia, zminimalizuj użycie skryptów inicjowania w potokach. Jeśli przetwarzanie wymaga skryptów inicjowania, zautomatyzuj testowanie potoków dla wczesnego wykrywania problemów; zobacz Automatyzowanie testowania potoków przy użyciu następnej wersji środowiska uruchomieniowego. Jeśli używasz skryptów init, usługa Databricks zaleca zwiększenie częstotliwości testowania.

  • Last updated on