Udostępnij przez

Rozwój na platformie Databricks

Deweloperzy korzystający z Databricks obejmują naukowców zajmujących się danymi, inżynierów danych, analityków danych, inżynierów uczenia maszynowego oraz inżynierów DevOps i MLOps - wszyscy tworzą rozwiązania i integracje w celu rozszerzania i dostosowywania Databricks do ich konkretnych potrzeb. Oprócz wielu interfejsów API usługi Databricks i funkcji inżynierii danych dostępnych w obszarze roboczym istnieje również wiele narzędzi do nawiązywania połączenia z usługą Databricks i programowania lokalnego, które obsługują użytkowników deweloperów usługi Databricks.

Ten artykuł zawiera omówienie interfejsów API i narzędzi dostępnych dla użytkowników deweloperów usługi Databricks.

Rozpoczynanie kodowania w obszarze roboczym

Programowanie w obszarze roboczym to doskonały sposób szybkiego zapoznania się z interfejsami API usługi Databricks. Usługa Databricks obsługuje języki Python, SQL, Scala, R i inne funkcje skoncentrowane na deweloperach w ramach obszaru roboczego, w tym przydatne narzędzia i usługi.

Oto kilka sposobów uruchamiania:

  • Zapoznaj się z omówieniem i znajdź linki do samouczków dotyczących różnych scenariuszy Python, Scalai R. Aby zapoznać się z tabelą narzędzi obsługiwanych w różnych językach, zobacz omówienie języków .
  • Przejrzyj dokumentacja języka SQL, aby zapoznać się z głębią i zakresem możliwości.
  • Zapoznaj się z Samouczek: ładowanie i przekształcanie danych przy użyciu ramek danych platformy Apache Spark w języku Python, Scala lub R, aby uzyskać wprowadzenie do interfejsów API platformy Spark. Dodatkowe proste przykłady z PySpark znajdują się w podstawy PySpark.
  • Przejrzyj dostępną dokumentację referencyjną, w tym dokumentację interfejsu API REST , która udostępnia dobry obraz obiektów usługi Databricks, które można również tworzyć i modyfikować za pomocą innych narzędzi.
  • Zainstaluj zestaw SDK języka Python w notesie i napisz prostą funkcję.
  • Przenieś niektóre pliki przy użyciu poleceń Narzędzi Databricksfs, aby lepiej zapoznać się z narzędziami dbutils do manipulowania środowiskiem Databricks.

Tworzenie niestandardowych aplikacji i rozwiązań

Usługa Azure Databricks udostępnia narzędzia do tworzenia obszarów roboczych i lokalnych. W obszarze roboczym można tworzyć aplikacje przy użyciu interfejsu użytkownika, dane są łatwo dostępne w woluminach Unity Catalog i plikach obszaru roboczego, dostępne są funkcje dostępne wyłącznie w obszarze roboczym, takie jak Asystent Databricks do debugowania, inne funkcje, takie jak notatniki, są w pełni wyposażone, a kontrola wersji jest możliwa dzięki folderom Git.

Alternatywnie twórz niestandardowe rozwiązania przy użyciu środowiska IDE na komputerze lokalnym, aby korzystać z pełnych funkcji zaawansowanego środowiska deweloperskiego. Programowanie lokalne obsługuje szerszą gamę języków, co oznacza, że funkcje zależne od języka, takie jak debugowanie i struktury testowe, są dostępne do obsługi większych projektów oraz bezpośredni dostęp do kontroli źródła.

Aby uzyskać zalecenia dotyczące użycia narzędzi, zobacz Którego narzędzia dewelopera należy używać?.

Cecha Opis
Uwierzytelnianie i autoryzacja Skonfiguruj uwierzytelnianie i autoryzację dla narzędzi, skryptów i aplikacji do pracy z usługą Azure Databricks.
Databricks Apps Tworzenie bezpiecznych danych i niestandardowych aplikacji sztucznej inteligencji na platformie databricks, którą można udostępniać innym użytkownikom.
rozszerzenie usługi Databricks dla programu Visual Studio Code Połącz się ze zdalnymi obszarami roboczymi Azure Databricks za pomocą Visual Studio Code, aby łatwo skonfigurować połączenie z obszarem roboczym Databricks i skorzystać z interfejsu użytkownika do zarządzania zasobami Databricks.
wtyczka PyCharm Databricks Skonfiguruj połączenie ze zdalnym obszarem roboczym usługi Databricks i uruchom pliki w klastrach usługi Databricks z poziomu rozwiązania PyCharm. Ta wtyczka jest opracowywana i dostarczana przez firmę JetBrains we współpracy z usługą Databricks.
SDK Databricks Automatyzuj interakcje z usługą Databricks, korzystając z zestawu SDK, zamiast bezpośrednio wywoływać interfejsy API REST. Zestawy SDK są również dostępne w obszarze roboczym.

Nawiązywanie połączenia z usługą Databricks

Nawiązywanie połączenia z usługą Databricks jest niezbędnym składnikiem wielu integracji i rozwiązań, a usługa Databricks udostępnia duży wybór narzędzi do wyboru. Poniższa tabela zawiera narzędzia do łączenia środowiska projektowego i procesów z obszarem roboczym i zasobami usługi Azure Databricks.

Cecha Opis
Databricks Connect Nawiąż połączenie z usługą Azure Databricks przy użyciu popularnych zintegrowanych środowisk projektowych (IDE), takich jak PyCharm, IntelliJ IDEA, Eclipse, RStudio i JupyterLab.
rozszerzenie usługi Databricks dla programu Visual Studio Code Łatwa konfiguracja połączenia z obszarem roboczym usługi Databricks oraz interfejs użytkownika do zarządzania zasobami usługi Databricks.
Sterowniki i narzędzia SQL Połącz się z usługą Azure Databricks, aby uruchamiać polecenia i skrypty SQL, programowo korzystać z usługi Azure Databricks i integrować funkcje SQL usługi Azure Databricks z aplikacjami napisanymi w popularnych językach, takich jak Python, Go, JavaScript i TypeScript.

Napiwek

Możesz również połączyć wiele dodatkowych popularnych narzędzi innych firm z klastrami i magazynami SQL w celu uzyskania dostępu do danych w usłudze Azure Databricks. Zobacz partnerów technologicznych .

Zarządzanie infrastrukturą i zasobami

Deweloperzy i inżynierowie danych mogą wybrać spośród następujących narzędzi, aby zautomatyzować aprowizowanie infrastruktury i zasobów oraz zarządzanie nimi. Te narzędzia obsługują zarówno proste, jak i skomplikowane scenariusze pipeline CI/CD.

Aby uzyskać zalecenia dotyczące użycia narzędzi, zobacz Którego narzędzia dewelopera należy używać?.

Cecha Opis
CLI Databricks Uzyskaj dostęp do funkcji usługi Azure Databricks przy użyciu interfejsu wiersza polecenia usługi Databricks. Interfejs wiersza polecenia opakowuje interfejs API REST usługi Databricks, więc zamiast wysyłać wywołania interfejsu API REST bezpośrednio przy użyciu narzędzia curl lub Postman, możesz użyć interfejsu wiersza polecenia usługi Databricks do interakcji z usługą Databricks. Użyj CLI w lokalnym terminalu lub skorzystaj z terminalu sieciowego w obszarze roboczym.
Pakiety zasobów Databricks Definiuj i zarządzaj zasobami Databricks oraz potokiem CI/CD, używając najlepszych praktyk dotyczących tworzenia, testowania i wdrażania dla projektów danych i sztucznej inteligencji za pomocą Databricks Asset Bundles, które są funkcją interfejsu wiersza polecenia Databricks CLI.
dostawca Terraform dla Databricks i narzędzie Terraform CDKTF dla Databricks Aprowizuj infrastrukturę i zasoby usługi Azure Databricks przy użyciu narzędzia Terraform.
narzędzia CI/CD Zintegruj popularne systemy i struktury ciągłej integracji/ciągłego wdrażania, takie jak GitHub Actions, Jenkins, i Apache Airflow.

Współpraca i udostępnianie kodu

Wśród wielu innych funkcji współpracy w obszarze roboczym usługa Databricks obsługuje użytkowników deweloperów, którzy chcą współpracować i udostępniać kod w obszarze roboczym za pomocą następujących funkcji:

Cecha Opis
funkcje zdefiniowane przez użytkownika (UDF) Twórz funkcje zdefiniowane przez użytkownika do ponownego wykorzystania i udostępniania kodu.
foldery Git Skonfiguruj foldery Git, aby wprowadzać i kontrolować zmiany w plikach projektu Databricks.

Zaangażuj się w społeczność deweloperów usługi Databricks

Usługa Databricks ma aktywną społeczność deweloperów, która jest obsługiwana przez następujące programy i zasoby:

  • MVP Databricks: Ten program docenia członków społeczności, analityków danych, inżynierów danych, deweloperów i entuzjastów open source, którzy osiągają wyjątkowe wyniki w społeczności danych i AI. Aby uzyskać więcej informacji, zobacz MVP Databricks.
  • Training: Usługa Databricks udostępnia moduły szkoleniowe dla deweloperów platformy Apache Spark, inżynierów generowania sztucznej inteligencji, inżynierów danych i nie tylko.
  • Community: bogactwo wiedzy jest dostępne w społeczności Databricks oraz społeczności Apache Spark.
  • Last updated on