Udostępnij za pośrednictwem

Włączanie połączeń zaplecza i frontonu usługi Azure Private Link

  • Artykuł

W tym artykule przedstawiono podsumowanie użycia usługi Azure Private Link w celu umożliwienia prywatnej łączności między użytkownikami a obszarami roboczymi usługi Databricks, a także między klastrami na klasycznej płaszczyźnie obliczeniowej a podstawowymi usługami na płaszczyźnie sterowania w infrastrukturze obszaru roboczego usługi Databricks.

Aby zmienić dostęp sieciowy dla bezserwerowych magazynów SQL, zobacz Konfigurowanie łączności prywatnej z bezserwerowych obliczeń.

Omówienie

Usługa Private Link zapewnia łączność prywatną z sieci wirtualnych platformy Azure i sieci lokalnych do usług platformy Azure bez ujawniania ruchu do sieci publicznej. Usługa Azure Databricks obsługuje następujące typy połączeń usługi Private Link:

  • Usługa Private Link frontonu, znana również jako użytkownik w obszarze roboczym: połączenie frontonu Usługi Private Link umożliwia użytkownikom łączenie się z aplikacją internetową usługi Azure Databricks, interfejsem API REST i interfejsem API usługi Databricks Connect za pośrednictwem punktu końcowego interfejsu sieci wirtualnej. Połączenie frontonu jest również używane przez integracje JDBC/ODBC i Power BI. Ruch sieciowy dla połączenia usługi Private Link frontonu między tranzytową siecią wirtualną a płaszczyzną sterowania usługi Azure Databricks obszaru roboczego przechodzi przez sieć szkieletową firmy Microsoft.
  • Usługa Private Link zaplecza, znana również jako płaszczyzna obliczeniowa do płaszczyzny sterowania: klastry środowiska Databricks Runtime w sieci wirtualnej zarządzanej przez klienta (płaszczyzna obliczeniowa) łączą się z podstawowymi usługami obszaru roboczego usługi Azure Databricks (płaszczyzną sterowania) na koncie chmury usługi Azure Databricks. Umożliwia to łączność prywatną z klastrów do bezpiecznego punktu końcowego przekaźnika łączności klastra i punktu końcowego interfejsu API REST.
  • Prywatny punkt końcowy uwierzytelniania przeglądarki: aby obsługiwać prywatne połączenia frontonu z aplikacją internetową usługi Azure Databricks dla klientów, którzy nie mają publicznej łączności z Internetem, należy dodać prywatny punkt końcowy uwierzytelniania przeglądarki, aby obsługiwać wywołania zwrotne logowania jednokrotnego (SSO) do aplikacji internetowej usługi Azure Databricks z poziomu identyfikatora Entra firmy Microsoft. Jeśli zezwalasz na połączenia z sieci do publicznego Internetu, zaleca się dodanie prywatnego punktu końcowego uwierzytelniania przeglądarki, ale nie jest to wymagane. Prywatny punkt końcowy uwierzytelniania przeglądarki to prywatne połączenie z typem browser_authenticationzasobu podrzędnego.

Jeśli zaimplementujesz usługę Private Link dla połączeń frontonu i zaplecza, opcjonalnie możesz zastosować łączność prywatną dla obszaru roboczego, co oznacza, że usługa Azure Databricks odrzuca wszystkie połączenia w sieci publicznej. Jeśli odrzucisz wdrożenie zarówno typów połączeń frontonu, jak i zaplecza, nie można wymusić tego wymagania.

Przykładowe zestawy danych wykazu aparatu Unity i zestawy danych usługi Azure Databricks nie są dostępne po skonfigurowaniu usługi Private Link zaplecza. Zobacz Przykładowe zestawy danych.

Większość tego artykułu dotyczy tworzenia nowego obszaru roboczego, ale możesz włączyć lub wyłączyć usługę Private Link w istniejącym obszarze roboczym. Zobacz Włączanie lub wyłączanie usługi Azure Private Link w istniejącym obszarze roboczym.

Terminologia

W poniższej tabeli opisano ważną terminologię.

Terminologia opis
Link prywatny platformy Azure Technologia platformy Azure, która zapewnia łączność prywatną z sieci wirtualnych platformy Azure i sieci lokalnych do usług platformy Azure bez ujawniania ruchu do sieci publicznej.
Usługa Azure Private Link Usługa, która może być miejscem docelowym połączenia usługi Private Link. Każde wystąpienie płaszczyzny sterowania usługi Azure Databricks publikuje usługę Azure Private Link.
Prywatny punkt końcowy platformy Azure Prywatny punkt końcowy platformy Azure umożliwia połączenie prywatne między siecią wirtualną a usługą Private Link. W przypadku łączności frontonu i zaplecza obiektem docelowym prywatnego punktu końcowego platformy Azure jest płaszczyzna sterowania usługi Azure Databricks.

Aby uzyskać ogólne informacje na temat prywatnych punktów końcowych, zobacz artykuł Firmy Microsoft Co to jest prywatny punkt końcowy?.

Wybieranie wdrożenia standardowego lub uproszczonego

Istnieją dwa typy wdrożeń usługi Private Link obsługiwane przez usługę Azure Databricks i należy wybrać jedno:

  • Wdrożenie standardowe (zalecane): W celu zwiększenia bezpieczeństwa usługa Databricks zaleca użycie oddzielnego prywatnego punktu końcowego dla połączenia frontonu z oddzielnej sieci wirtualnej tranzytowej. Możesz zaimplementować zarówno połączenia frontonu, jak i zaplecza usługi Private Link lub tylko połączenie zaplecza. Użyj oddzielnej sieci wirtualnej, aby hermetyzować dostęp użytkowników, niezależnie od sieci wirtualnej używanej dla zasobów obliczeniowych w klasycznej płaszczyźnie obliczeniowej. Utwórz oddzielne punkty końcowe usługi Private Link na potrzeby dostępu zaplecza i frontonu. Postępuj zgodnie z instrukcjami w artykule Włączanie usługi Azure Private Link jako standardowego wdrożenia.
  • Uproszczone wdrażanie: Niektóre organizacje nie mogą używać standardowego wdrożenia z różnych powodów zasad sieciowych, takich jak brak zezwolenia na więcej niż jeden prywatny punkt końcowy lub zniechęcanie oddzielnych sieci wirtualnych tranzytowych. Możesz też użyć uproszczonego wdrożenia usługi Private Link. Żadna oddzielna sieć wirtualna nie oddziela dostępu użytkowników od sieci wirtualnej używanej dla zasobów obliczeniowych w klasycznej płaszczyźnie obliczeniowej. Zamiast tego podsieć tranzytowa w sieci wirtualnej płaszczyzny obliczeniowej jest używana do uzyskiwania dostępu użytkowników. Istnieje tylko jeden punkt końcowy usługi Private Link. Zazwyczaj skonfigurowano łączność frontonu i zaplecza. Opcjonalnie można skonfigurować tylko połączenie zaplecza. Nie można wybrać używania tylko połączeń frontonu w tym typie wdrożenia. Postępuj zgodnie z instrukcjami w artykule Włączanie usługi Azure Private Link jako uproszczonego wdrożenia.

Wymagania

Subskrypcja platformy Azure

Obszar roboczy usługi Azure Databricks musi znajdować się w planie Premium.

Architektura sieci obszaru roboczego usługi Azure Databricks

  • Obszar roboczy usługi Azure Databricks musi używać iniekcji sieci wirtualnej, aby dodać dowolne połączenie usługi Private Link (nawet połączenie tylko z frontonem).
  • Jeśli zaimplementujesz połączenie usługi Private Link zaplecza, obszar roboczy usługi Azure Databricks musi używać bezpiecznej łączności klastra (SCC / Bez publicznego adresu IP / NPIP).
  • Potrzebna jest sieć wirtualna spełniająca wymagania iniekcji sieci wirtualnej.
    • Należy zdefiniować dwie podsieci (określane w interfejsie użytkownika jako podsieć publiczna i podsieć prywatną). Zakresy adresów IP sieci wirtualnej i podsieci używane w usłudze Azure Databricks definiują maksymalną liczbę węzłów klastra, których można używać jednocześnie.
    • Aby zaimplementować usługę Private Link frontonu, usługę Private Link zaplecza lub obie te elementy, sieć wirtualna obszaru roboczego wymaga trzeciej podsieci zawierającej punkt końcowy usługi Private Link i jego zakres adresów IP nie może nakładać się na zakres innych podsieci obszaru roboczego. Ten artykuł odnosi się do tej trzeciej podsieci jako podsieci prywatnego punktu końcowego. Przykłady i zrzuty ekranu zakładają nazwę private-linkpodsieci . Może to być tak mały, jak zakres /27CIDR. Nie należy definiować żadnych reguł sieciowej grupy zabezpieczeń dla podsieci zawierającej prywatne punkty końcowe.
    • Jeśli używasz interfejsu użytkownika do tworzenia obiektów, musisz ręcznie utworzyć sieć i podsieci przed utworzeniem obszaru roboczego usługi Azure Databricks. Jeśli chcesz użyć szablonu, szablon zapewniany przez usługę Azure Databricks tworzy sieć wirtualną i odpowiednie podsieci, w tym dwie zwykłe podsieci oraz inne dla prywatnych punktów końcowych.
  • Jeśli w prywatnym punkcie końcowym są włączone zasady sieciowe grupy zabezpieczeń, należy zezwolić na porty 443, 6666, 3306 i 8443-8451 dla reguł zabezpieczeń dla ruchu przychodzącego w sieciowej grupie zabezpieczeń w podsieci, w której wdrożono prywatny punkt końcowy.
  • Aby nawiązać połączenie między siecią a witryną Azure Portal i jej usługami, może być konieczne dodanie adresów URL witryny Azure Portal do listy dozwolonych. Zobacz Zezwalanie na adresy URL witryny Azure Portal na serwerze zapory lub serwerze proxy

Architektura sieci połączeń frontonu

Aby tylko usługa Private Link frontonu miała dostęp do obszaru roboczego z sieci lokalnej, należy dodać prywatną łączność z tej sieci do sieci platformy Azure. Dodaj tę łączność przed skonfigurowaniem usługi Private Link. Szczegóły różnią się w zależności od tego, czy wybrano standardowe wdrożenie usługi Private Link, czy uproszczone wdrożenie.

  • W przypadku wdrożenia standardowego należy utworzyć istniejącą sieć wirtualną tranzytową lub użyć istniejącej, czasami nazywanej siecią wirtualną bastionu lub siecią wirtualną piasty. Ta sieć wirtualna musi być osiągalna z lokalnego środowiska użytkownika przy użyciu usługi ExpressRoute lub połączenia bramy sieci VPN. W przypadku usługi Private Link frontonu usługa Databricks zaleca utworzenie oddzielnej sieci wirtualnej na potrzeby łączności z płaszczyzną sterowania, a nie udostępnianie sieci wirtualnej obszaru roboczego. Należy pamiętać, że tranzytowa sieć wirtualna i jej podsieć mogą znajdować się w tym samym regionie, strefie i grupie zasobów co sieć wirtualna obszaru roboczego i jej podsieci, ale nie muszą być zgodne. Utwórz grupę zasobów dla oddzielnej sieci wirtualnej tranzytowej i użyj innej prywatnej strefy DNS dla tego prywatnego punktu końcowego. Jeśli używasz dwóch oddzielnych prywatnych punktów końcowych, nie można udostępnić strefy DNS.
  • W przypadku uproszczonego wdrożenia utworzysz podsieć tranzytową w sieci wirtualnej obszaru roboczego. W tym wdrożeniu podsieć tranzytowa nie ma oddzielnego prywatnego punktu końcowego. Podsieć tranzytowa w sieci wirtualnej obszaru roboczego używa pojedynczego prywatnego punktu końcowego dla połączeń zaplecza i frontonu.

Uprawnienia użytkownika platformy Azure

Jako użytkownik platformy Azure musisz mieć uprawnienia do odczytu/zapisu wystarczające do:

  • Aprowizuj nowy obszar roboczy usługi Azure Databricks.
  • Utwórz punkty końcowe usługi Azure Private Link w sieci wirtualnej obszaru roboczego, a także (w przypadku użycia frontonu) tranzytową sieć wirtualną.

Jeśli użytkownik, który utworzył prywatny punkt końcowy dla tranzytowej sieci wirtualnej, nie ma uprawnień właściciela/współautora dla obszaru roboczego, oddzielny użytkownik z uprawnieniami właściciela/współautora dla obszaru roboczego musi ręcznie zatwierdzić żądanie utworzenia prywatnego punktu końcowego.

W istniejącym obszarze roboczym można włączyć usługę Private Link. Uaktualnienie wymaga, aby obszar roboczy używał iniekcji sieci wirtualnej, bezpiecznej łączności z klastrem i warstwy cenowej Premium. Podczas aktualizacji możesz zaktualizować bezpieczną łączność z klastrem oraz warstwę cenową Premium.

Możesz użyć szablonu usługi ARM lub azurerm dostawcy programu Terraform w wersji 3.41.0 lub nowszej. Za pomocą witryny Azure Portal można zastosować szablon niestandardowy i zmodyfikować parametr w interfejsie użytkownika. Jednak w wystąpieniu obszaru roboczego usługi Azure Databricks nie ma obsługi interfejsu użytkownika witryny Azure Portal.

Jeśli coś pójdzie nie tak z uaktualnieniem i można powtórzyć krok aktualizacji obszaru roboczego, ale zamiast tego ustawić pola, aby wyłączyć usługę Private Link.

Mimo że w tej sekcji włączono usługę Private Link w istniejącym obszarze roboczym, można ją wyłączyć w istniejącym obszarze roboczym przy użyciu tego samego wywołania aktualizacji obszaru roboczego za pomocą szablonu usługi ARM lub aktualizacji programu Terraform. Aby uzyskać szczegółowe informacje, zobacz krok 4. Stosowanie aktualizacji obszaru roboczego.

Krok 1. Przeczytaj wymagania i dokumentację na tej stronie

Przed podjęciem próby uaktualnienia do usługi Private Link należy zapoznać się z ważnymi pojęciami i wymaganiami, które należy przeczytać:

  1. Przeczytaj ten artykuł, w tym pojęcia i wymagania przed kontynuowaniem.
  2. Określ, czy chcesz użyć wdrożenia standardowego , czy uproszczonego wdrożenia.
  3. Na stronie wdrożenia standardowego lub uproszczonego wdrożenia (niezależnie od używanego podejścia) dokładnie przejrzyj stronę, w tym różne scenariusze. Znajdź scenariusz zgodny z twoim przypadkiem użycia. Zanotuj wartości, których chcesz użyć dla elementów publicNetworkAccess i requiredNsgRules. Aby uzyskać zalecaną konfigurację zarówno usługi Private Link frontonu, jak i zaplecza z zablokowaną łącznością frontonu, użyj ustawień publicNetworkAccess=Disabled i requiredNsgRules=NoAzureDatabricksRules

Krok 2. Zatrzymywanie wszystkich zasobów obliczeniowych

Przed podjęciem próby uaktualnienia należy zatrzymać wszystkie zasoby obliczeniowe, takie jak klastry, pule lub klasyczne magazyny SQL. Nie można uruchomić żadnych zasobów obliczeniowych obszaru roboczego lub próba uaktualnienia nie powiedzie się. Usługa Databricks zaleca zaplanowanie czasu uaktualnienia na czas pracy.

Ważne

Nie należy próbować uruchamiać żadnych zasobów obliczeniowych podczas aktualizacji. Jeśli usługa Azure Databricks ustali, że zasoby obliczeniowe zostały uruchomione (lub nadal są uruchamiane), usługa Azure Databricks kończy je po aktualizacji.

Krok 3. Tworzenie podsieci i prywatnych punktów końcowych

  1. Dodaj podsieć do sieci wirtualnej obszaru roboczego dla prywatnych punktów końcowych zaplecza.

  2. Otwórz artykuł dotyczący wdrożenia standardowego lub uproszczonego wdrożenia (niezależnie od używanego podejścia).

    Postępuj zgodnie z instrukcjami na tej stronie, aby utworzyć prywatne punkty końcowe zgodne z typem wdrożenia.

  3. Przed przeprowadzeniem aktualizacji obszaru roboczego utwórz wszystkie prywatne punkty końcowe na potrzeby obsługi zaplecza.

  4. Aby uzyskać dostęp do interfejsu użytkownika, utwórz prywatny punkt końcowy z podźródle databricks_ui_api , aby obsługiwać logowanie jednokrotne z tranzytowej sieci wirtualnej. Jeśli masz więcej niż jedną sieć wirtualną tranzytową, która uzyskuje dostęp do obszaru roboczego na potrzeby dostępu frontonu, utwórz wiele prywatnych punktów końcowych za pomocą podźródła databricks_ui_api.

Krok 4. Stosowanie aktualizacji obszaru roboczego

Zamiast tworzyć nowy obszar roboczy, należy zastosować aktualizację obszaru roboczego.

Należy zaktualizować publicNetworkAccess parametry i requiredNsgRules do wartości wybranych w poprzednim kroku.

Użyj jednej z następujących metod:

Stosowanie zaktualizowanego szablonu usługi ARM przy użyciu witryny Azure Portal

Uwaga

Jeśli zarządzana grupa zasobów ma niestandardową nazwę, należy odpowiednio zmodyfikować szablon. Aby uzyskać więcej informacji, skontaktuj się z zespołem konta usługi Azure Databricks.

  1. Skopiuj następujący kod JSON szablonu uaktualnienia usługi ARM:

    {
   "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
   "contentVersion": "1.0.0.0",
   "parameters": {
       "location": {
           "defaultValue": "[resourceGroup().location]",
           "type": "String",
           "metadata": {
               "description": "Location for all resources."
           }
       },
       "workspaceName": {
           "type": "String",
           "metadata": {
               "description": "The name of the Azure Databricks workspace to create."
           }
       },
       "apiVersion": {
           "defaultValue": "2023-02-01",
           "allowedValues": [
            "2018-04-01",
               "2020-02-15",
               "2022-04-01-preview",
               "2023-02-01"
           ],
           "type": "String",
           "metadata": {
               "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
           }
       },
       "publicNetworkAccess": {
           "defaultValue": "Enabled",
           "allowedValues": [
               "Enabled",
               "Disabled"
           ],
           "type": "String",
           "metadata": {
               "description": "Whether the workspace allows access from the public Internet"
           }
       },
       "requiredNsgRules": {
           "defaultValue": "AllRules",
           "allowedValues": [
               "AllRules",
               "NoAzureDatabricksRules"
           ],
           "type": "String",
           "metadata": {
               "description": "The security rules that are applied to the security group of the Vnet"
           }
       },
       "enableNoPublicIp": {
           "defaultValue": true,
           "type": "Bool"
       },
       "pricingTier": {
           "defaultValue": "premium",
           "allowedValues": [
               "premium",
               "standard",
               "trial"
           ],
           "type": "String",
           "metadata": {
               "description": "The pricing tier of workspace."
           }
       },
       "privateSubnetName": {
           "defaultValue": "private-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the private subnet."
           }
       },
       "publicSubnetName": {
           "defaultValue": "public-subnet",
           "type": "String",
           "metadata": {
               "description": "The name of the public subnet."
           }
       },
       "vnetId": {
           "type": "String",
           "metadata": {
               "description": "The virtual network Resource ID."
           }
       }
   },
   "variables": {
       "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
       "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
    },
    "resources": [
       {
           "type": "Microsoft.Databricks/workspaces",
           "apiVersion": "[parameters('apiVersion')]",
           "name": "[parameters('workspaceName')]",
           "location": "[parameters('location')]",
           "sku": {
               "name": "[parameters('pricingTier')]"
           },
           "properties": {
               "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
               "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
               "requiredNsgRules": "[parameters('requiredNsgRules')]",
               "parameters": {
                   "enableNoPublicIp": {
                       "value": "[parameters('enableNoPublicIp')]"
                   },
                   "customVirtualNetworkId": {
                       "value": "[parameters('vnetId')]"
                   },
                   "customPublicSubnetName": {
                       "value": "[parameters('publicSubnetName')]"
                   },
                   "customPrivateSubnetName": {
                       "value": "[parameters('privateSubnetName')]"
                   }
               }
           }
       }
   ]
}

    1. Przejdź do strony niestandardowego wdrażania w witrynie Azure Portal.

    2. Kliknij pozycję Utwórz własny szablon w edytorze.

    3. Wklej kod JSON skopiowanego szablonu.

    4. Kliknij przycisk Zapisz.

    5. Aby włączyć usługę Private Link, ustaw publicNetworkAccess parametry i requiredNsgRules zgodnie z twoim przypadkiem użycia.

      Aby wyłączyć usługę Private Link, ustaw publicNetworkAccess true wartość i ustaw wartość requiredNsgRules AllRules.

    6. W przypadku innych pól użyj tych samych parametrów, które były używane do tworzenia obszaru roboczego, takiego jak subskrypcja, region, nazwa obszaru roboczego, nazwy podsieci, identyfikator zasobu istniejącej sieci wirtualnej.

      Ważne

      Nazwa grupy zasobów, nazwa obszaru roboczego i nazwy podsieci muszą być identyczne z istniejącym obszarem roboczym, aby to polecenie zaktualizowało istniejący obszar roboczy zamiast tworzyć nowy obszar roboczy.

    7. Kliknij pozycję Przejrzyj i utwórz.

    8. Jeśli nie ma problemów z walidacją, kliknij przycisk Utwórz.

    Ukończenie aktualizacji sieci może potrwać ponad 15 minut.

Stosowanie aktualizacji przy użyciu narzędzia Terraform

W przypadku obszarów roboczych utworzonych za pomocą narzędzia Terraform możesz zaktualizować obszar roboczy, aby korzystał z usługi Private Link.

Ważne

Musisz użyć terraform-provider-azurerm wersji 3.41.0 lub nowszej, więc w razie potrzeby uaktualnij wersję dostawcy programu Terraform. Wcześniejsze wersje próbują odtworzyć obszar roboczy, jeśli zmienisz dowolne z tych ustawień.

Ogólne kroki to:

  1. Zmień następujące ustawienia obszaru roboczego:

    • public_network_access_enabled: ustaw wartość true (włączone) lub false (wyłączone)
    • network_security_group_rules_required: ustaw wartość na AllRules lub NoAzureDatabricksRules.

    Ukończenie aktualizacji sieci może potrwać ponad 15 minut.

  2. Utwórz prywatne punkty końcowe.

Aby uzyskać szczegółowy przewodnik dotyczący włączania usługi Private Link i tworzenia prywatnych punktów końcowych:

Ukończenie aktualizacji sieci może potrwać ponad 15 minut.

Krok 5. Testowanie uwierzytelniania za pomocą logowania jednokrotnego użytkownika i łączności zaplecza

Postępuj zgodnie ze stroną wdrożenia głównego, aby uzyskać szczegółowe informacje na temat wykonywania następujących czynności:

  • Przetestuj uwierzytelnianie jednokrotne użytkownika w obszarze roboczym.
  • Przetestuj połączenie usługi Private Link zaplecza (wymagane dla połączenia zaplecza)

Krok 6. Weryfikowanie aktualizacji

  1. Przejdź do wystąpienia usługi Azure Databricks Service w witrynie Azure Portal.
  2. W obszarze Nawigacji po lewej stronie w obszarze Ustawienia kliknij pozycję Sieć.
  3. Upewnij się, że wartość Zezwalaj na dostęp do sieci publicznej jest zgodna z ustawioną wartością.
  4. Upewnij się, że wartość reguł wymaganej sieciowej grupy zabezpieczeń jest zgodna z ustawioną wartością.

Odzyskiwanie po awarii

Jeśli aktualizacja obszaru roboczego nie powiedzie się, obszar roboczy może być oznaczony jako stan Niepowodzenie , co oznacza, że obszar roboczy nie może wykonać operacji obliczeniowych. Aby przywrócić stan aktywnego obszaru roboczego, przejrzyj instrukcje w komunikacie o stanie operacji aktualizacji. Po rozwiązaniu wszelkich problemów wykonaj ponownie aktualizację w obszarze roboczym, który zakończył się niepowodzeniem. Powtórz kroki do momentu pomyślnego ukończenia aktualizacji. Jeśli masz pytania, skontaktuj się z zespołem konta usługi Azure Databricks.