Omówienie notesów i potoków usługi Azure Databricks

Ukończone

W usłudze Azure Databricks możesz używać notesów do uruchamiania kodu napisanego w języku Python, Scala, SQL i innych językach w celu pozyskiwania i przetwarzania danych. Notesy udostępniają interaktywny interfejs, w którym można uruchamiać poszczególne komórki kodu i używać języka Markdown do dołączania notatek i adnotacji.

W wielu rozwiązaniach inżynierii danych kod napisany i przetestowany interaktywnie można później włączyć do obciążenia zautomatyzowanego przetwarzania danych. Na platformie Azure takie obciążenia są często implementowane jako potoki w usłudze Azure Data Factory, w których co najmniej jedno działanie służy do organizowania serii zadań, które mogą być uruchamiane na żądanie, w zaplanowanych odstępach czasu lub w odpowiedzi na zdarzenie (takie jak nowe dane ładowane do folderu w usłudze Data Lake). Usługa Azure Data Factory obsługuje działanie notesu , które może służyć do automatyzowania nienadzorowanego wykonywania notesu w obszarze roboczym usługi Azure Databricks.

A digram showing an Azure Data Factory pipeline with an activity that calls a notebook in Azure Databricks.

Uwaga

To samo działanie notesu jest dostępne w potokach wbudowanych w usłudze Azure Synapse Analytics.