Zasoby obliczeniowe notesu

W tym artykule opisano opcje zasobów obliczeniowych notesu. Notatnik można uruchomić na zasobie obliczeniowym ogólnego przeznaczenia, w obliczeniach bezserwerowych lub, w przypadku poleceń SQL, użyć magazynu SQL, czyli rodzaju zasobu zoptymalizowanego do analityki SQL. Aby uzyskać więcej informacji na temat typów obliczeniowych, zobacz Compute.

Bezserwerowe obliczenia dla notesów

Przetwarzanie bezserwerowe umożliwia szybkie łączenie notesu z zasobami obliczeniowymi na żądanie.

Aby dołączyć do bezserwerowych zasobów obliczeniowych, kliknij menu rozwijane Connect w notesie i wybierz pozycję Bezserwerowe.

Aby uzyskać więcej informacji, zobacz Przetwarzanie bezserwerowe dla notesów .

Automatyczne przywracanie sesji dla notatników bezserwerowych

Bezczynne zakończenie funkcji bezserwerowych może prowadzić do utraty trwającej pracy, takich jak wartości zmiennych języka Python, w notatnikach. Aby zapobiec temu, włącz automatyczne przywracanie sesji dla notesów bezserwerowych.

1. Kliknij swoją nazwę użytkownika w prawym górnym rogu obszaru roboczego, a następnie kliknij pozycję Ustawienia na liście rozwijanej.
2. Na pasku bocznym Ustawienia wybierz pozycję Deweloper.
3. W obszarze Funkcje eksperymentalne włącz ustawienie Automatyczne przywracanie sesji dla notesów bezserwerowych .

Włączenie tego ustawienia umożliwia usłudze Databricks utworzenie migawki stanu pamięci notesu bezserwerowego przed zakończeniem bezczynności. Po powrocie do notatnika po rozłączeniu z powodu bezczynności, w górnej części strony zostanie wyświetlony baner. Kliknij przycisk Połącz ponownie, aby przywrócić stan roboczy.

Po ponownym połączeniu usługa Databricks przywraca całe środowisko robocze, w tym:

• Zmienne, funkcje i definicje klas w języku Python: część związana z językiem Python w Twoim notatniku jest zachowywana, więc nie trzeba ponownie importować ani deklarować.
• Ramki danych platformy Spark, widoki buforowane i tymczasowe: dane załadowane, przekształcone lub buforowane (w tym widoki tymczasowe) są zachowywane, dzięki czemu można uniknąć kosztownego ponownego ładowania lub ponownej kompilacji.
• Stan sesji platformy Spark: wszystkie ustawienia konfiguracji na poziomie platformy Spark, widoki tymczasowe, modyfikacje katalogu i funkcje zdefiniowane przez użytkownika (UDF) są zapisywane, więc nie trzeba ich resetować.

Ta funkcja ma ograniczenia i nie obsługuje przywracania następujących elementów:

• Stany platformy Spark starsze niż 4 dni
• Stany Spark większe niż 50 MB
• Dane związane ze skryptami SQL
• Uchwyty plików
• Blokady i inne prymitywy współbieżności
• Połączenia sieciowe

Dołącz notes do zasobu ogólnego przeznaczenia obliczeniowego

Aby dołączyć notatnik do zasobu obliczeniowego ogólnego przeznaczenia, potrzebujesz uprawnienia MOŻE DOŁĄCZYĆ DO na zasób obliczeniowy.

Ważne

Jeśli notes jest dołączony do zasobu obliczeniowego, każdy użytkownik z uprawnieniem MOŻE URUCHOMIĆ w notesie, ma niejawne uprawnienia dostępu do zasobu obliczeniowego.

Aby dołączyć notatnik do zasobu obliczeniowego, kliknij selektor obliczeń na pasku narzędzi notatnika i wybierz zasób z menu rozwijanego.

W menu przedstawiono wybór zasobów obliczeniowych ogólnego przeznaczenia i magazynów SQL, które były ostatnio używane lub są obecnie uruchomione.

Aby wybrać spośród wszystkich dostępnych zasobów obliczeniowych, kliknij pozycję Więcej.... Wybierz z dostępnych ogólnych zasobów obliczeniowych lub magazynów SQL.

Możesz również utworzyć nowy zasób obliczeniowy ogólnego przeznaczenia, wybierając pozycję Utwórz nowy zasób... z menu rozwijanego.

Ważne

Dołączony notes zawiera zdefiniowane następujące zmienne platformy Apache Spark.

Klasa	Nazwa zmiennej
SparkContext	sc
SQLContext/HiveContext	sqlContext
SparkSession (Spark 2.x)	spark

Nie twórz elementu SparkSession, SparkContextlub SQLContext. W ten sposób doprowadzi to do niespójnego zachowania.

Używanie notesu z usługą SQL Warehouse

Gdy notes jest dołączony do usługi SQL Warehouse, można uruchamiać komórki SQL i Markdown. Uruchomienie komórki w dowolnym innym języku (takim jak Python lub R) zgłasza błąd. Komórki SQL wykonane w SQL Warehouse pojawiają się w historii zapytań SQL Warehouse. Użytkownik, który uruchomił zapytanie, może wyświetlić profil zapytania z notesu, klikając upłynął czas u dołu danych wyjściowych.

Notesy dołączone do usługi SQL Warehouse obsługują sesje usługi SQL Warehouse, które umożliwiają definiowanie zmiennych, tworzenie widoków tymczasowych i utrwalanie stanu w wielu uruchomieniach zapytań. Umożliwia to iteracyjne kompilowanie logiki SQL bez konieczności uruchamiania wszystkich instrukcji jednocześnie. Zobacz Co to są sesje usługi SQL Warehouse?.

Uruchamianie notesu wymaga usługi SQL Warehouse pro lub bezserwerowej. Musisz mieć dostęp do obszaru roboczego i usługi SQL Warehouse.

Aby dołączyć notes do usługi SQL Warehouse , wykonaj następujące czynności:

1. Kliknij selektor obliczeniowy na pasku narzędzi notesu. W menu rozwijanym są wyświetlane zasoby obliczeniowe, które są aktualnie uruchomione lub które były ostatnio używane. Magazyny SQL są oznaczone jako .

2. Z menu wybierz usługę SQL Warehouse.

   Aby wyświetlić wszystkie dostępne magazyny SQL, wybierz pozycję Więcej... z menu rozwijanego. Zostanie wyświetlone okno dialogowe z zasobami obliczeniowymi dostępnymi dla notesu. Wybierz pozycję SQL Warehouse, wybierz magazyn, którego chcesz użyć, a następnie kliknij przycisk Dołącz.

   

Możesz również wybrać usługę SQL Warehouse jako zasób obliczeniowy notesu SQL podczas tworzenia przepływu pracy lub zaplanowanego zadania.

Ograniczenia usługi SQL Warehouse

Aby uzyskać więcej informacji, zobacz Znane ograniczenia dotyczące notesów usługi Databricks.