Opracowywanie kodu potoku w lokalnym środowisku projektowym

Możesz utworzyć kod źródłowy potoku języka Python w preferowanym zintegrowanym środowisku programistycznym (IDE).

Nie można zweryfikować ani przeprowadzić aktualizacji w kodzie potoku, który został napisany w środowisku IDE. Pliki kodu źródłowego należy ponownie wdrożyć do obszaru roboczego Azure Databricks i skonfigurować je jako część potoku.

Ten artykuł zawiera omówienie obsługi lokalnego programowania w środowisku IDE. Aby uzyskać bardziej interaktywny rozwój i testowanie, usługa Databricks zaleca korzystanie z Edytora Potoków Lakeflow. Zobacz Tworzenie i debugowanie potoków ETL za pomocą Edytora Potoków Lakeflow.

Konfigurowanie lokalnego środowiska IDE na potrzeby tworzenia potoków

Usługa Databricks udostępnia moduł języka Python do lokalnego programowania rozproszonego za pośrednictwem interfejsu PyPI. Aby uzyskać instrukcje dotyczące instalacji i użycia, zobacz wycinkę języka Python dla biblioteki DLT.

Ten moduł zawiera interfejsy i odwołania do dokumentacji dla interfejsu języka Python potoku, zapewniając sprawdzanie składni, autouzupełnianie i sprawdzanie typu danych podczas pisania kodu w środowisku IDE.

Ten moduł zawiera interfejsy, ale nie implementacje funkcjonalne. Nie można użyć tej biblioteki do lokalnego tworzenia ani uruchamiania potoków.

Pakiety automatyzacji deklaratywnej umożliwiają pakowanie i wdrażanie kodu źródłowego oraz konfiguracji w docelowym obszarze roboczym oraz wyzwalanie uruchamiania aktualizacji w potoku skonfigurowanym w ten sposób. Zobacz Konwertowanie pipeline na projekt typu bundle.

Rozszerzenie usługi Databricks dla programu Visual Studio Code ma dodatkowe funkcje do pracy z potokami przy użyciu pakietów deklaratywnej automatyzacji. Zobacz Bundle Resource Explorer.

Synchronizuj kod potoku z IDE w obszarze roboczym

Poniższa tabela zawiera podsumowanie opcji synchronizowania kodu źródłowego potoku między lokalnym środowiskiem IDE i obszarem roboczym usługi Azure Databricks:

Narzędzie lub wzorzec	Szczegóły
Pakiety automatyzacji deklaratywnej	Użyj pakietów automatyzacji deklaratywnej, aby wdrożyć zasoby pipelines o różnym stopniu złożoności, od pojedynczego pliku kodu źródłowego po konfiguracje dla wielu pipelines, zadań i plików kodu źródłowego. Zobacz Konwertowanie potoku danych na projekt paczki.
Rozszerzenie usługi Databricks dla programu Visual Studio Code	Usługa Azure Databricks zapewnia integrację z programem Visual Studio Code, która obejmuje łatwą synchronizację między lokalnymi plikami IDE i obszarem roboczym. To rozszerzenie udostępnia również narzędzia do wdrażania zasobów potoków przy użyciu pakietów deklaratywnej automatyzacji. Zobacz Co to jest rozszerzenie usługi Databricks dla programu Visual Studio Code?.
Pliki obszaru roboczego	Możesz użyć plików z obszaru roboczego Databricks, aby wgrać kod źródłowy dla potoku do obszaru roboczego Databricks, a następnie zaimportować ten kod do potoku. Zobacz Co to są pliki przestrzeni roboczej?.
Katalogi Git	Foldery Git umożliwiają synchronizowanie kodu między środowiskiem lokalnym a obszarem roboczym usługi Azure Databricks przy użyciu repozytorium Git jako pośrednika. Zobacz Foldery git usługi Azure Databricks.