Compute

Środowisko obliczeniowe usługi Azure Databricks odnosi się do wyboru zasobów obliczeniowych dostępnych w obszarze roboczym usługi Azure Databricks. Użytkownicy potrzebują dostępu do obliczeń w celu uruchamiania obciążeń inżynierii danych, nauki o danych i analizy danych, takich jak produkcyjne potoki ETL, analiza przesyłania strumieniowego, analiza ad hoc i uczenie maszynowe.

Użytkownicy mogą łączyć się z istniejącymi obliczeniami lub tworzyć nowe zasoby obliczeniowe, jeśli mają odpowiednie uprawnienia.

Możesz wyświetlić zasoby obliczeniowe, do których masz dostęp, korzystając z sekcji Obliczenia w obszarze roboczym:

Typy obliczeń

Są to typy zasobów obliczeniowych dostępnych w usłudze Azure Databricks:

• Bezserwerowe obliczenia dla notesów (publiczna wersja zapoznawcza): na żądanie skalowalne zasoby obliczeniowe używane do wykonywania kodu SQL i Python w notesach.

• Bezserwerowe obliczenia dla przepływów pracy (publiczna wersja zapoznawcza): na żądanie skalowalne zasoby obliczeniowe używane do uruchamiania zadań usługi Databricks bez konfigurowania i wdrażania infrastruktury.

• Obliczenia typu all-purpose: Aprowidowane zasoby obliczeniowe używane do analizowania danych w notesach. Możesz utworzyć, zakończyć i ponownie uruchomić to środowisko obliczeniowe przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

• Obliczenia zadań: aprowizowane zasoby obliczeniowe używane do uruchamiania zautomatyzowanych zadań. Harmonogram zadań usługi Azure Databricks automatycznie tworzy obliczenia zadania za każdym razem, gdy zadanie jest skonfigurowane do uruchamiania na nowych obliczeniach. Obliczenia kończą się po zakończeniu zadania. Nie można ponownie uruchomić obliczeń zadania. Zobacz Use Azure Databricks compute with your jobs (Używanie obliczeń usługi Azure Databricks z zadaniami).

• Pule wystąpień: obliczenia z bezczynnymi, gotowymi do użycia wystąpieniami służącymi do skrócenia czasu uruchamiania i skalowania automatycznego. To środowisko obliczeniowe można utworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

• Bezserwerowe magazyny SQL: elastyczne obliczenia na żądanie używane do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

• Klasyczne magazyny SQL: służy do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

W artykułach w tej sekcji opisano sposób pracy z zasobami obliczeniowymi przy użyciu interfejsu użytkownika usługi Azure Databricks. Aby zapoznać się z innymi metodami, zobacz Co to jest interfejs wiersza polecenia usługi Databricks? i dokumentacja interfejsu API REST usługi Databricks.

Databricks Runtime

Środowisko Databricks Runtime to zestaw podstawowych składników uruchamianych na obliczeniach. Środowisko Databricks Runtime to konfigurowalne ustawienie we wszystkich zadaniach obliczeniowych, ale wybierane automatycznie w magazynach SQL.

Każda wersja środowiska Databricks Runtime zawiera aktualizacje, które zwiększają użyteczność, wydajność i bezpieczeństwo analizy danych big data. Środowisko Databricks Runtime w środowisku obliczeniowym dodaje wiele funkcji, w tym:

• Usługa Delta Lake, warstwa magazynu nowej generacji oparta na platformie Apache Spark, która zapewnia transakcje ACID, zoptymalizowane układy i indeksy oraz ulepszenia aparatu wykonywania dla tworzenia potoków danych. Zobacz Co to jest usługa Delta Lake?.
• Zainstalowane biblioteki Java, Scala, Python i R.
• Ubuntu i towarzyszące mu biblioteki systemowe.
• Biblioteki procesora GPU dla klastrów z obsługą procesora GPU.
• Usługi Azure Databricks, które integrują się z innymi składnikami platformy, takimi jak notesy, zadania i zarządzanie klastrami.

Aby uzyskać informacje o zawartości każdej wersji środowiska uruchomieniowego, zobacz informacje o wersji.

Przechowywanie wersji środowiska uruchomieniowego

Wersje środowiska Databricks Runtime są regularnie wydawane:

• Wersje wsparcia długoterminowego są reprezentowane przez kwalifikator LTS (na przykład 3,5 LTS). Dla każdej wersji głównej deklarujemy "kanoniczną" wersję funkcji, dla której zapewniamy trzy pełne lata pomocy technicznej. Aby uzyskać więcej informacji, zobacz Cykle życia pomocy technicznej usługi Databricks.
• Wersje główne są reprezentowane przez przyrost do numeru wersji, który poprzedza punkt dziesiętny (na przykład skok z 3,5 do 4,0). Są one zwalniane, gdy występują poważne zmiany, z których niektóre mogą nie być zgodne z poprzednimi wersjami.
• Wersje funkcji są reprezentowane przez przyrost do numeru wersji, który następuje po przecinku dziesiętnym (na przykład skok z 3.4 do 3.5). Każda główna wersja zawiera wiele wersji funkcji. Wersje funkcji są zawsze zgodne z poprzednimi wersjami w ramach wersji głównej.

Co to jest przetwarzanie bezserwerowe?

Obliczenia bezserwerowe zwiększają produktywność, wydajność kosztową i niezawodność w następujący sposób:

• Produktywność: zasoby w chmurze są zarządzane przez usługę Azure Databricks, zmniejszając nakład pracy związany z zarządzaniem i zapewniając błyskawiczne zasoby obliczeniowe w celu zwiększenia produktywności użytkowników.
• Wydajność: Obliczenia bezserwerowe oferują szybkie uruchamianie i skalowanie, minimalizując czas bezczynności i zapewniając, że płacisz tylko za używane zasoby obliczeniowe.
• Niezawodność: W przypadku bezserwerowych zasobów obliczeniowych, obsługi pojemności, zabezpieczeń, poprawek i uaktualnień są zarządzane automatycznie, co pozwala zmniejszyć obawy dotyczące zasad zabezpieczeń i niedoborów pojemności.

Co to są bezserwerowe magazyny SQL Warehouse?

Usługa Databricks SQL zapewnia optymalną cenę i wydajność bezserwerowych magazynów SQL. Najważniejsze zalety magazynów bezserwerowych w modelach pro i klasycznych obejmują:

• Natychmiastowe i elastyczne obliczenia: eliminuje oczekiwanie na zasoby infrastruktury i unika nadmiernej aprowizacji zasobów podczas skoków użycia. Inteligentne zarządzanie obciążeniami dynamicznie obsługuje skalowanie. Zobacz Typy usługi SQL Warehouse, aby uzyskać więcej informacji na temat inteligentnego zarządzania obciążeniami i innych funkcji bezserwerowych.
• Minimalne obciążenie związane z zarządzaniem: zarządzanie pojemnością, stosowanie poprawek, uaktualnienia i optymalizacja wydajności są obsługiwane przez usługę Azure Databricks, upraszczając operacje i prowadząc do przewidywalnych cen.
• Niższy całkowity koszt posiadania (TCO): Automatyczna aprowizacja i skalowanie zasobów w razie potrzeby pomaga uniknąć nadmiernej aprowizacji i skraca czas bezczynności, co zmniejsza koszt posiadania.