Zasoby obliczeniowe laptopa

Artykuł opisuje opcje zasobów obliczeniowych notatnika. Notatnik można uruchomić na zasobie obliczeniowym ogólnego przeznaczenia, w obliczeniach bezserwerowych lub, w przypadku poleceń SQL, użyć magazynu SQL, czyli rodzaju zasobu zoptymalizowanego do analityki SQL. Aby uzyskać więcej informacji na temat typów obliczeniowych, zobacz Compute.

Domyślne obliczenia

W obszarach roboczych z włączoną obsługą Katalogu Unity nowe notesy domyślnie używają zasobów obliczeniowych w trybie bezserwerowym. Jeśli nie wybierzesz ręcznie zasobu obliczeniowego i uruchomisz komórkę, notes automatycznie łączy się z bezserwerowymi obliczeniami.

Automatyczne dołączanie obliczeń

W ustawieniach dewelopera możesz skonfigurować notesy tak, aby automatycznie dołączały się do zasobu obliczeniowego i uruchamiały sesję podczas interakcji z edytorem:

1. Kliknij ikonę użytkownika w lewym górnym rogu.

2. Kliknij przycisk Ustawienia.

3. Kliknij pozycję Deweloper, aby przejść do ustawień dewelopera.

4. Przełącz opcję Automatycznie utwórz sesję w interakcji edytora , aby automatycznie uruchomić sesję obliczeniową w interakcji edytora. Usługa Databricks będzie domyślnie używać zasobu obliczeniowego na podstawie preferencji (bezserwerowych lub SQL Warehouse) i ostatniego użytego zasobu obliczeniowego.

   OR

   Przełącz to ustawienie, jeśli nie chcesz, aby notes automatycznie łączył się z zasobem obliczeniowym i uruchamiał go.

Funkcje pomocy dotyczącej kodu, w tym autouzupełnianie, formatowanie kodu i debuger, wymagają dołączania notesu do aktywnej sesji obliczeniowej. Jeśli notebook nie uruchomił sesji obliczeniowej, funkcje wspomagania kodu są nieaktywne.

Bezserwerowe obliczenia dla notebooków

Przetwarzanie bezserwerowe umożliwia szybkie łączenie notebooka z zasobami obliczeniowymi na żądanie.

Aby dołączyć do bezserwerowych zasobów obliczeniowych, kliknij menu rozwijane obliczeń w notesie i wybierz pozycję Bezserwerowe.

Aby uzyskać więcej informacji, zobacz Przetwarzanie bezserwerowe dla notatników.

Automatyczne przywracanie sesji dla notatników bezserwerowych

Bezczynne zakończenie funkcji bezserwerowych może prowadzić do utraty trwającej pracy, takich jak wartości zmiennych języka Python, w notatnikach. Aby zapobiec temu, włącz automatyczne przywracanie sesji dla notesów bezserwerowych.

1. Kliknij swoją nazwę użytkownika w prawym górnym rogu obszaru roboczego, a następnie kliknij pozycję Ustawienia na liście rozwijanej.
2. Na pasku bocznym Ustawienia wybierz pozycję Deweloper.
3. W obszarze Funkcje eksperymentalne włącz ustawienie Automatyczne przywracanie sesji dla notesów bezserwerowych .

Włączenie tego ustawienia pozwala usłudze Databricks utworzyć migawkę stanu pamięci notesu bezserwerowego przed jego zamknięciem w stanie bezczynności. Po powrocie do notatnika po rozłączeniu z powodu bezczynności, w górnej części strony zostanie wyświetlony baner. Kliknij przycisk Połącz ponownie, aby przywrócić stan roboczy.

Po ponownym połączeniu usługa Databricks przywraca całe środowisko robocze, w tym:

• Zmienne języka Python, funkcje i definicje klas: stan języka Python jest serializowany w procesie przy użyciu pakietu pickle/cloudpickle i przywrócony do nowego środowiska REPL, dzięki czemu nie trzeba ponownie importować ani ponownie deklarować.
• Ramki danych platformy Spark, widoki buforowane i tymczasowe: dane załadowane, przekształcone lub buforowane (w tym widoki tymczasowe) są zachowywane, dzięki czemu można uniknąć kosztownego ponownego ładowania lub ponownej kompilacji.
• Stan sesji platformy Spark: ustawienia konfiguracji na poziomie platformy Spark, widoki tymczasowe, modyfikacje katalogu i funkcje zdefiniowane przez użytkownika (UDF) są przywracane za pośrednictwem migracji sesji programu Spark Connect, więc nie trzeba ich resetować.

Jeśli środowisko zmieniło się w sposób, który uczyni deserializację niebezpieczną, na przykład z powodu niekompatybilnych wersji języka Python lub pakietów, migawka zostanie unieważniona, a notebook uruchomi się na nowo w nowej sesji.

Magazyn danych migawek

Dane migawek są przechowywane w domyślnym magazynie obszaru roboczego. Sam notes przechowuje tylko metadane, w tym wskaźnik z identyfikatorem notesu, sygnaturą czasową i informacjami o sesji. Ładunek danych nie jest przechowywany w notesie. Ścieżki obiektów blob są szyfrowane przed zapisaniem w atrybutach notesu, a ścieżki migawek są wykluczane podczas eksportu i importu notesu, aby zapobiec przywracaniu stanu do innej przestrzeni roboczej.

Migawki stosują domyślne ustawienia TTL magazynu w chmurze (około jednego miesiąca) i wygasają automatycznie. Usunięcie notesu powoduje również usunięcie jego migawek. Twoje konto w chmurze wiąże się z kosztami magazynowania w ramach standardowego użycia magazynu obszaru roboczego. Funkcja używa serializacji procesów w Pythonie zamiast tworzenia punktów kontrolnych na poziomie kontenera, co pozwala na tworzenie mniejszych i szybszych migawek.

Zabezpieczenia i kontrola dostępu

Przywracanie migawki uwzględnia uprawnienia notatnika. Przywracanie stanu wymaga uprawnienia URUCHOM w notesie. Zaszyfrowane metadane uniemożliwiają użytkownikom bezpośrednie pobieranie zrzutów pamięci blobów, a kontrole uprawnień są egzekwowane podczas przywracania.

Ograniczenia

Ta funkcja ma ograniczenia i nie obsługuje przywracania następujących elementów:

• Stany platformy Spark starsze niż 4 dni
• Stany Spark większe niż 50 MB
• Dane związane ze skryptami SQL
• Uchwyty plików
• Blokady i inne prymitywy współbieżności
• Połączenia sieciowe

Dołącz notes do zasobu ogólnego przeznaczenia obliczeniowego

Aby dołączyć notatnik do zasobu obliczeniowego ogólnego przeznaczenia, potrzebujesz uprawnienia MOŻE DOŁĄCZYĆ DO na zasób obliczeniowy.

Ważne

Jeśli notes jest dołączony do zasobu obliczeniowego, każdy użytkownik z uprawnieniem MOŻE URUCHOMIĆ w notesie, ma niejawne uprawnienia dostępu do zasobu obliczeniowego.

Aby dołączyć notatnik do zasobu obliczeniowego, kliknij selektor obliczeń na pasku narzędzi notatnika i wybierz zasób z menu rozwijanego.

W menu przedstawiono wybór zasobów obliczeniowych ogólnego przeznaczenia i magazynów SQL, które były ostatnio używane lub są obecnie uruchomione.

Aby wybrać spośród wszystkich dostępnych zasobów obliczeniowych, kliknij pozycję Więcej.... Wybierz z dostępnych ogólnych zasobów obliczeniowych lub magazynów SQL.

Możesz również utworzyć nowy zasób obliczeniowy ogólnego przeznaczenia, wybierając pozycję Utwórz nowy zasób... z menu rozwijanego.

Ważne

Dołączony notes zawiera zdefiniowane następujące zmienne platformy Apache Spark.

Klasa	Nazwa zmiennej
SparkContext	sc
SQLContext/HiveContext	sqlContext
SparkSession (Spark 2.x)	spark

Nie twórz elementu SparkSession, SparkContextlub SQLContext. W ten sposób doprowadzi to do niespójnego zachowania.

Użyj notesu z usługą SQL Warehouse

Gdy notebook jest połączony z usługą SQL Warehouse, można uruchamiać komórki SQL i Markdown. Uruchomienie komórki w dowolnym innym języku (takim jak Python lub R) zgłasza błąd. Komórki SQL wykonane w SQL Warehouse pojawiają się w historii zapytań SQL Warehouse. Użytkownik, który uruchomił zapytanie, może wyświetlić profil zapytania z notebooka, klikając czas, który upłynął u dołu wyników.

Notesy dołączone do usługi SQL Warehouse obsługują sesje usługi SQL Warehouse, które umożliwiają definiowanie zmiennych, tworzenie widoków tymczasowych i utrwalanie stanu w wielu uruchomieniach zapytań. Umożliwia to iteracyjne kompilowanie logiki SQL bez konieczności uruchamiania wszystkich instrukcji jednocześnie. Zobacz Co to są sesje usługi SQL Warehouse?.

Uruchomienie notebooka wymaga wersji Pro lub bezserwerowej usługi SQL Warehouse. Musisz mieć dostęp do obszaru roboczego i usługi SQL Warehouse.

Aby dołączyć notatnik do SQL Warehouse, wykonaj następujące czynności:

1. Kliknij selektor obliczeniowy na pasku narzędzi notesu. W menu rozwijanym są wyświetlane zasoby obliczeniowe, które są aktualnie uruchomione lub które były ostatnio używane. Magazyny SQL są oznaczone etykietą .

2. Z menu wybierz usługę SQL Warehouse.

   Aby wyświetlić wszystkie dostępne magazyny SQL, wybierz pozycję Więcej... z menu rozwijanego. Zostanie wyświetlone okno dialogowe z zasobami obliczeniowymi dostępnymi dla notesu. Wybierz pozycję SQL Warehouse, wybierz magazyn, którego chcesz użyć, a następnie kliknij przycisk Dołącz.

   

Możesz również wybrać SQL warehouse jako zasób obliczeniowy notatnika SQL przy tworzeniu przepływu pracy lub zaplanowanego zadania.

Ograniczenia usługi SQL Warehouse

Aby uzyskać więcej informacji, zobacz Znane ograniczenia zeszytów Databricks.