Konfigurowanie lokalizacji przechowywania wyników notesu

  • Artykuł

Wymagania dotyczące prywatności organizacji mogą wymagać przechowywania wszystkich interakcyjnych notesów w głównym wystąpieniu usługi Azure Storage konta w chmurze, a nie domyślnej lokalizacji płaszczyzny sterowania zarządzanej przez usługę Databricks, w której są przechowywane niektóre wyniki poleceń notesu.

Dane wyjściowe polecenia notesu są przechowywane inaczej w zależności od sposobu uruchamiania notesu.

Domyślnie po interakcyjnym uruchomieniu notesu kliknij pozycję Uruchom w notesie:

  • Jeśli wyniki są małe, są przechowywane na płaszczyźnie sterowania usługi Azure Databricks wraz z zawartością i metadanymi poleceń notesu.
  • Większe wyniki są przechowywane w głównym wystąpieniu usługi Azure Storage obszaru roboczego w ramach subskrypcji platformy Azure. Usługa Azure Databricks automatycznie tworzy główne wystąpienie usługi Azure Storage. Usługa Azure Databricks używa tego obszaru magazynu na potrzeby danych systemowych obszaru roboczego i katalogu głównego systemu plików DBFS obszaru roboczego. Wyniki notesu są przechowywane w magazynie danych systemu obszarów roboczych, który nie jest dostępny dla użytkowników.
  • Obrazy kreślące i inne obiekty binarne są zawsze przechowywane oddzielnie w obszarze FileStore katalogu głównego systemu plików DBFS.

Po uruchomieniu notesu jako zadania, planując go lub klikając pozycję Uruchom teraz na stronie Zadania, wszystkie wyniki są przechowywane w głównym wystąpieniu usługi Azure Storage obszaru roboczego na koncie.

Obszar roboczy można skonfigurować tak, aby przechowywał wszystkie interaktywne wyniki notesu na koncie w chmurze, niezależnie od rozmiaru wyniku.

Konfigurowanie lokalizacji przechowywania wyników interaktywnego notesu

Obszar roboczy można skonfigurować tak, aby przechowywał wszystkie interaktywne wyniki notesu w ramach subskrypcji platformy Azure, a nie płaszczyzny sterowania. Tę funkcję można włączyć przy użyciu strony ustawień administratora lub interfejsu API REST. Ta konfiguracja nie ma wpływu na notesy uruchamiane jako zadania, których wyniki są już przechowywane w subskrypcji platformy Azure domyślnie.

Należy pamiętać o następujących kwestiach:

  • Zmiany w tej konfiguracji są skuteczne tylko dla nowych wyników. Istniejące wyniki notesu nie są przenoszone.
  • Niektóre metadane dotyczące wyników, takie jak nazwy kolumn wykresu, nadal są przechowywane na płaszczyźnie sterowania.
  • Zwiększone koszty magazynowania mogą być naliczane u dostawcy usług w chmurze.
  • Zwiększone opóźnienie sieci i operacji we/wy może wystąpić podczas odczytywania i zapisywania wyników.

Przechowywanie wszystkich wyników notesu na koncie przy użyciu strony ustawień administratora

Jako administrator obszaru roboczego:

  1. Przejdź do strony ustawień.
  2. Kliknij przycisk zabezpieczeń kartę.
  3. Kliknij przełącznik Zapisz notes interaktywny w przełączniku konto klienta.

Przechowywanie wszystkich wyników notesu na koncie przy użyciu interfejsu API REST

Aby skonfigurować obszar roboczy do przechowywania wszystkich wyników notesu w subskrypcji platformy Azure przy użyciu interfejsu API REST:

  • Musisz być administratorem obszaru roboczego.
  • Potrzebny jest osobisty token dostępu. W poniższych instrukcjach przyjęto założenie, że skonfigurowano .netrc plik z osobistym tokenem dostępu, dzięki czemu można użyć -n opcji w curl poleceniach. Aby uzyskać szczegółowe informacje, zapoznaj się z powyższym artykułem.

Aby uzyskać bieżące ustawienie, wywołaj GET /workspace-conf punkt końcowy i ustaw wartość keys :storeInteractiveNotebookResultsInCustomerAccount

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Aby umożliwić obszarowi roboczemu przechowywanie wyników notesu interaktywnego w ramach subskrypcji platformy Azure, wywołaj PATCH /workspace-conf punkt końcowy i ustaw go storeInteractiveNotebookResultsInCustomerAccount na true w treści żądania:

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Aby wyłączyć funkcję, ustaw tę samą flagę na false:

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'