Informationen zu Azure Databricks-Notebooks und -Pipelines
In Azure Databricks können Sie Notebooks verwenden, um Code auszuführen, der in Python, Scala, SQL und anderen Programmiersprachen geschrieben wurde, um Daten zu erfassen und zu verarbeiten. Notebooks bieten eine interaktive Schnittstelle, mit der Sie einzelne Codezellen ausführen und Markdown verwenden können, um Notizen und Anmerkungen einzuschließen.
In vielen Datentechniklösungen kann Code, der interaktiv geschrieben und getestet wird, später in eine automatisierte Datenverarbeitungsworkload integriert werden. In Azure werden solche Workloads häufig als Pipelines in Azure Data Factory implementiert, in denen mindestens eine Aktivität verwendet wird, um eine Reihe von Vorgängen zu orchestrieren, die bei Bedarf, in geplanten Abständen oder als Reaktion auf ein Ereignis (z. B. neue Daten, die in einen Ordner in einem Data Lake geladen werden) ausgeführt werden können. Azure Data Factory unterstützt eine Notebook-Aktivität, die verwendet werden kann, um die unbeaufsichtigte Ausführung eines Notebooks in einem Azure Databricks-Arbeitsbereich zu automatisieren.
Hinweis
Die gleiche Notebook-Aktivität ist in Pipelines verfügbar, die in Azure Synapse Analytics integriert sind.