Opracowywanie kodu potoku w lokalnym środowisku projektowym

Możesz utworzyć kod źródłowy potoku Python w preferowanym zintegrowanym środowisku projektowym (IDE).

Nie można zweryfikować ani przeprowadzić aktualizacji w kodzie potoku, który został napisany w środowisku IDE. Należy wdrożyć pliki kodu źródłowego z powrotem do obszaru roboczego Azure Databricks i skonfigurować je jako część potoku.

Ten artykuł zawiera omówienie obsługi lokalnego programowania w środowisku IDE. Aby uzyskać bardziej interaktywny rozwój i testowanie, usługa Databricks zaleca korzystanie z Edytora Potoków Lakeflow. Zobacz Tworzenie i debugowanie potoków ETL za pomocą Edytora Potoków Lakeflow.

Konfigurowanie lokalnego środowiska IDE na potrzeby tworzenia potoków

Usługa Databricks udostępnia moduł Python na potrzeby programowania lokalnego rozproszonego za pośrednictwem interfejsu PyPI. Aby uzyskać instrukcje dotyczące instalacji i użycia, zobacz szkielet Python dla DLT.

Ten moduł zawiera interfejsy i docstringi dla interfejsu potokowego Pythona, zapewniając sprawdzanie składni, autouzupełnianie i sprawdzanie typu danych podczas pisania kodu w Twoim IDE.

Ten moduł zawiera interfejsy, ale nie implementacje funkcjonalne. Nie można użyć tej biblioteki do lokalnego tworzenia ani uruchamiania potoków.

Pakiety automatyzacji deklaratywnej umożliwiają pakowanie i wdrażanie kodu źródłowego oraz konfiguracji w docelowym obszarze roboczym oraz wyzwalanie uruchamiania aktualizacji w potoku skonfigurowanym w ten sposób. Zobacz Konwertowanie pipeline na projekt typu bundle.

Rozszerzenie usługi Databricks dla Visual Studio Code ma dodatkowe funkcje do pracy z potokami przy użyciu pakietów deklaratywnej automatyzacji. Zobacz Bundle Resource Explorer.

Synchronizuj kod potoku z IDE w obszarze roboczym

Poniższa tabela zawiera podsumowanie opcji synchronizacji kodu źródłowego potoku między lokalnym środowiskiem IDE a obszarem roboczym Azure Databricks:

Narzędzie lub wzorzec	Szczegóły
Pakiety automatyzacji deklaratywnej	Użyj pakietów automatyzacji deklaratywnej, aby wdrożyć zasoby pipelines o różnym stopniu złożoności, od pojedynczego pliku kodu źródłowego po konfiguracje dla wielu pipelines, zadań i plików kodu źródłowego. Zobacz Konwertowanie pipeline na projekt typu bundle.
Rozszerzenie usługi Databricks dla Visual Studio Code	Azure Databricks zapewnia integrację z Visual Studio Code, która obejmuje łatwą synchronizację między lokalnymi plikami IDE i obszarem roboczym. To rozszerzenie udostępnia również narzędzia do wdrażania zasobów potoków przy użyciu pakietów deklaratywnej automatyzacji. Zobacz rozszerzenie Databricks dla Visual Studio Code.
Pliki obszaru roboczego	Możesz użyć plików z obszaru roboczego Databricks, aby wgrać kod źródłowy dla potoku do obszaru roboczego Databricks, a następnie zaimportować ten kod do potoku. Zobacz Co to są pliki przestrzeni roboczej?.
Katalogi Git	Foldery Git umożliwiają synchronizowanie kodu między środowiskiem lokalnym a obszarem roboczym Azure Databricks przy użyciu repozytorium Git jako pośrednika. Zobacz foldery Azure Databricks Git.