Wprowadzenie: konfiguracja bezpłatnej wersji próbnej &
Jeśli dopiero zaczynasz korzystać z usługi Azure Databricks, możesz zacząć. Dowiedz się, jak skonfigurować bezpłatną wersję próbną i konto w chmurze. Aby uzyskać więcej informacji o zasobach szkoleniowych online, zobacz Uzyskiwanie bezpłatnych szkoleń usługi Databricks.
Tworzenie obszaru roboczego usługi Azure Databricks
Usługa Databricks zaleca wdrożenie pierwszego obszaru roboczego usługi Azure Databricks przy użyciu Azure Portal. Usługę Azure Databricks można również wdrożyć przy użyciu jednej z następujących opcji:
- Wdrażanie usługi Azure Databricks przy użyciu interfejsu wiersza polecenia platformy Azure
- Wdrażanie usługi Azure Databricks przy użyciu programu PowerShell
- Wdrażanie usługi Azure Databricks przy użyciu szablonu usługi ARM
- Wdrażanie usługi Azure Databricks za pomocą rozwiązania Bicep
Uwaga
Podczas tworzenia obszaru roboczego usługi Azure Databricks możesz wybrać warstwę cenową Wersja próbna (premium — 14 dni bezpłatnych jednostek DBU), aby przyznać obszarowi roboczemu dostęp do bezpłatnych jednostek DBU usługi Azure Databricks w warstwie Premium przez 14 dni.
Zanim rozpoczniesz
- Musisz mieć subskrypcję platformy Azure , która nie jest subskrypcją bezpłatnej wersji próbnej. Jeśli masz bezpłatne konto, wykonaj następujące czynności:
- Przejdź do swojego profilu i zmień subskrypcję na płatność zgodnie z rzeczywistym użyciem. Zobacz Bezpłatne konto platformy Azure.
- Usuń limit wydatków.
- Zażądaj zwiększenia limitu przydziału dla procesorów wirtualnych w Twoim regionie.
- Zaloguj się do Azure portal.
- Musisz być współautorem lub właścicielem platformy Azure albo dostawca zasobów Microsoft.ManagedIdentity musi być zarejestrowany w subskrypcji. Aby uzyskać instrukcje, postępuj zgodnie z instrukcjami , aby zarejestrować dostawcę zasobów.
Tworzenie obszaru roboczego usługi Azure Databricks za pomocą portalu
W Azure Portal wybierz pozycję Utwórz zasób>Analytics> w usłudzeAzure Databricks.
W obszarze Usługa Azure Databricks podaj wartości umożliwiające utworzenie obszaru roboczego usługi Databricks.
Właściwość Opis Nazwa obszaru roboczego Podaj nazwę obszaru roboczego usługi Databricks. Subskrypcja Z listy rozwijanej wybierz subskrypcję platformy Azure. Grupa zasobów Określ, czy chcesz utworzyć nową grupę zasobów, czy użyć istniejącej grupy. Grupa zasobów to kontener zawierający powiązane zasoby dla rozwiązania platformy Azure. Aby uzyskać więcej informacji, zobacz Omówienie usługi Azure Resource Manager. Lokalizacja Wybierz pozycję Zachodnie stany USA 2. Inne dostępne regiony podano na stronie dostępności usług platformy Azure według regionów. Warstwa cenowa Wybierz wersję standardową, Premium lub wersję próbną. Aby uzyskać więcej informacji o tych warstwach, zobacz stronę usługi Databricks. Wybierz pozycję Przejrzyj i utwórz, a następnie pozycję Utwórz. Tworzenie obszaru roboczego trwa kilka minut. Podczas tworzenia obszaru roboczego można wyświetlić stan wdrożenia w obszarze Powiadomienia. Po zakończeniu tego procesu konto użytkownika zostanie automatycznie dodane jako administrator w obszarze roboczym.
Uwaga
W przypadku niepowodzenia wdrożenia obszaru roboczego obszar roboczy jest nadal tworzony w stanie niepowodzenia. Usuń obszar roboczy, który zakończył się niepowodzeniem i utwórz nowy obszar roboczy, który usuwa błędy wdrażania. Po usunięciu obszaru roboczego, która zakończyła się niepowodzeniem, zarządzana grupa zasobów i wszystkie pomyślnie wdrożone zasoby również zostaną usunięte.
Wdrażanie usługi Azure Databricks przy użyciu interfejsu wiersza polecenia platformy Azure
Krok 1. Logowanie
Zaloguj się przy użyciu polecenia az login , jeśli używasz lokalnej instalacji interfejsu wiersza polecenia.
az login
Wykonaj kroki wyświetlane w terminalu, aby ukończyć proces uwierzytelniania.
Krok 2. Instalowanie rozszerzenia interfejsu wiersza polecenia platformy Azure
Aby pracować z odwołaniami do rozszerzenia dla interfejsu wiersza polecenia platformy Azure, należy najpierw zainstalować rozszerzenie. Rozszerzenia interfejsu wiersza polecenia platformy Azure dają dostęp do poleceń eksperymentalnych i w wersji wstępnej, które nie zostały jeszcze dostarczone jako część podstawowego interfejsu wiersza polecenia. Aby dowiedzieć się więcej na temat rozszerzeń, w tym aktualizacji i odinstalowywania, zobacz Używanie rozszerzeń z interfejsem wiersza polecenia platformy Azure.
Zainstaluj rozszerzenie dla usługi Databricks , uruchamiając następujące polecenie:
az extension add --name databricks
Krok 3. Tworzenie grupy zasobów
Usługa Azure Databricks, podobnie jak wszystkie zasoby platformy Azure, musi zostać wdrożona w grupie zasobów. Grupy zasobów umożliwiają organizowanie powiązanych zasobów platformy Azure i zarządzanie nimi.
Na potrzeby tego przewodnika Szybki start utwórz grupę zasobów o nazwie _ databricks-quickstart _ w lokalizacji westus2 za pomocą następującego polecenia az group create :
az group create --name databricks-quickstart --location westus2
Krok 4. Tworzenie obszaru roboczego usługi Azure Databricks
Użyj polecenia az databricks workspace create an Azure Databricks workspace (Tworzenie obszaru roboczego usługi Azure Databricks ).
az databricks workspace create
--resource-group databricks-quickstart \
--name mydatabricksws \
--location westus \
--sku standard
Wdrażanie usługi Azure Databricks przy użyciu programu PowerShell
Uwaga
Jeśli zdecydujesz się używać programu PowerShell lokalnie, ten artykuł wymaga zainstalowania modułu Az programu PowerShell i nawiązania połączenia z kontem platformy Azure przy użyciu polecenia cmdlet Connect-AzAccount . Aby uzyskać więcej informacji na temat instalowania modułu Az programu PowerShell, zobacz Instalowanie Azure PowerShell.
Ważne
Chociaż moduł Az.Databricks programu PowerShell jest w wersji zapoznawczej, należy zainstalować go oddzielnie od modułu Az programu PowerShell przy użyciu następującego polecenia: Install-Module -Name Az.Databricks -AllowPrerelease
. Gdy moduł Az.Databricks programu PowerShell jest ogólnie dostępny, staje się częścią przyszłych wydań modułu Az programu PowerShell i jest dostępny natywnie z poziomu usługi Azure Cloud Shell.
Uwaga
Jeśli chcesz utworzyć obszar roboczy usługi Azure Databricks w chmurze komercyjnej Platformy Azure, która przechowuje certyfikaty zgodności dla instytucji rządowych USA, takie jak FedRAMP High, skontaktuj się z przedstawicielem firmy Microsoft lub usługi Databricks, aby uzyskać dostęp do tego środowiska.
Jeśli używasz usługi Azure Databricks po raz pierwszy, musisz zarejestrować dostawcę zasobów Microsoft.Databricks .
Register-AzResourceProvider -ProviderNamespace Microsoft.Databricks
Używanie usługi Azure Cloud Shell
Na platforma Azure hostowane jest Azure Cloud Shell, interaktywne środowisko powłoki, z którego można korzystać w przeglądarce. Do pracy z usługami platformy Azure można używać programu Bash lub PowerShell w środowisku Cloud Shell. Aby uruchomić kod z tego artykułu bez konieczności instalowania narzędzi w środowisku lokalnym, można użyć wstępnie zainstalowanych poleceń środowiska Cloud Shell.
Aby uruchomić środowisko Azure Cloud Shell:
- Wybierz pozycję Wypróbuj w prawym górnym rogu bloku kodu. Wybranie pozycji Wypróbuj nie powoduje automatycznego skopiowania kodu do Cloud Shell.
- Przejdź do witryny https://shell.azure.com lub wybierz przycisk Uruchom Cloud Shell, aby otworzyć środowisko Cloud Shell w przeglądarce.
- Wybierz przycisk Cloud Shell na pasku menu w prawym górnym rogu witryny Azure Portal.
Aby uruchomić kod z tego artykułu w środowisku Azure Cloud Shell:
- Uruchom usługę Cloud Shell.
- Wybierz przycisk Kopiuj w bloku kodu, aby skopiować kod.
- Wklej kod w sesji Cloud Shell, naciskając klawisze Ctrl+Shift+V w systemach Windows i Linux lub klawisze Cmd+Shift+V w systemie macOS.
- Naciśnij klawisz Enter, aby uruchomić kod.
Jeśli masz wiele subskrypcji platformy Azure, wybierz odpowiednią subskrypcję, w której mają być naliczane opłaty za zasoby. Wybierz określony identyfikator subskrypcji przy użyciu polecenia cmdlet Set-AzContext .
Set-AzContext -SubscriptionId 00000000-0000-0000-0000-000000000000
Tworzenie grupy zasobów
Utwórz grupę zasobów platformy Azure przy użyciu polecenia cmdlet New-AzResourceGroup . Grupa zasobów to logiczny kontener przeznaczony do wdrażania zasobów platformy Azure i zarządzania nimi w formie grupy.
Poniższy przykład tworzy grupę zasobów o nazwie myresourcegroup w regionie Zachodnie stany USA 2 .
New-AzResourceGroup -Name myresourcegroup -Location westus2
Tworzenie obszaru roboczego usługi Azure Databricks
W tej sekcji utworzysz obszar roboczy usługi Azure Databricks przy użyciu programu PowerShell.
New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard
Podaj następujące wartości:
Właściwość | Opis |
---|---|
Nazwa | Podaj nazwę obszaru roboczego usługi Databricks. |
ResourceGroupName | Określ nazwę istniejącej grupy zasobów |
Lokalizacja | Wybierz pozycję Zachodnie stany USA 2. Aby uzyskać informacje o innych dostępnych regionach, zobacz Usługi platformy Azure dostępne według regionów |
ManagedResourceGroupName | Określ, czy chcesz utworzyć nową zarządzaną grupę zasobów, czy użyć istniejącej. |
SKU | Wybierz wersję standardową, Premium lub wersję próbną. Aby uzyskać więcej informacji na temat tych warstw, zobacz Cennik usługi Databricks |
Tworzenie obszaru roboczego trwa kilka minut. Po zakończeniu tego procesu konto użytkownika zostanie automatycznie dodane jako administrator w obszarze roboczym.
Uwaga
W przypadku niepowodzenia wdrożenia obszaru roboczego obszar roboczy jest nadal tworzony w stanie niepowodzenia. Usuń obszar roboczy, który zakończył się niepowodzeniem i utwórz nowy obszar roboczy, który usuwa błędy wdrażania. Po usunięciu obszaru roboczego, która zakończyła się niepowodzeniem, zarządzana grupa zasobów i wszystkie pomyślnie wdrożone zasoby również zostaną usunięte.
Określanie stanu aprowizacji obszaru roboczego usługi Databricks
Aby określić, czy obszar roboczy usługi Databricks został zainicjowany pomyślnie, możesz użyć Get-AzDatabricksWorkspace
polecenia cmdlet .
Get-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup |
Select-Object -Property Name, SkuName, Location, ProvisioningState
Name SkuName Location ProvisioningState
---- ------- -------- -----------------
mydatabricksws standard westus2 Succeeded
Wdrażanie usługi Azure Databricks przy użyciu szablonu usługi ARM
Szablon usługi ARM to plik w formacie JavaScript Object Notation (JSON) definiujący infrastrukturę i konfigurację projektu. Szablon używa składni deklaratywnej, która pozwala określić, co zamierzasz wdrożyć, bez konieczności pisania w tym celu sekwencji poleceń programistycznych.
Jeśli środowisko spełnia wymagania wstępne i znasz szablony usługi ARM, wybierz przycisk Wdróż na platformie Azure . Szablon zostanie otwarty w witrynie Azure Portal.
Przegląd szablonu
Szablon używany w tym przewodniku Szybki start jest jednym z szablonów szybkiego startu platformy Azure.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"metadata": {
"_generator": {
"name": "bicep",
"version": "0.5.6.12127",
"templateHash": "14509124136721506545"
}
},
"parameters": {
"disablePublicIp": {
"type": "bool",
"defaultValue": false,
"metadata": {
"description": "Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not"
}
},
"workspaceName": {
"type": "string",
"metadata": {
"description": "The name of the Azure Databricks workspace to create."
}
},
"pricingTier": {
"type": "string",
"defaultValue": "premium",
"allowedValues": [
"standard",
"premium"
],
"metadata": {
"description": "The pricing tier of workspace."
}
},
"location": {
"type": "string",
"defaultValue": "[resourceGroup().location]",
"metadata": {
"description": "Location for all resources."
}
}
},
"variables": {
"managedResourceGroupName": "[format('databricks-rg-{0}-{1}', parameters('workspaceName'), uniqueString(parameters('workspaceName'), resourceGroup().id))]"
},
"resources": [
{
"type": "Microsoft.Databricks/workspaces",
"apiVersion": "2018-04-01",
"name": "[parameters('workspaceName')]",
"location": "[parameters('location')]",
"sku": {
"name": "[parameters('pricingTier')]"
},
"properties": {
"managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]",
"parameters": {
"enableNoPublicIp": {
"value": "[parameters('disablePublicIp')]"
}
}
}
}
],
"outputs": {
"workspace": {
"type": "object",
"value": "[reference(resourceId('Microsoft.Databricks/workspaces', parameters('workspaceName')))]"
}
}
}
Zasób platformy Azure zdefiniowany w szablonie to Microsoft.Databricks/workspaces: tworzenie obszaru roboczego usługi Azure Databricks.
Wdrożenie szablonu
W tej sekcji utworzysz obszar roboczy usługi Azure Databricks przy użyciu szablonu usługi ARM.
Użyj podanego linku, aby zalogować się do platformy Azure i otworzyć szablon.
Podaj następujące wymagane wartości do utworzenia obszaru roboczego usługi Azure Databricks:
Właściwość Opis Subskrypcja Z listy rozwijanej wybierz subskrypcję platformy Azure. Grupa zasobów Określ, czy chcesz utworzyć nową grupę zasobów, czy użyć istniejącej grupy. Grupa zasobów to kontener zawierający powiązane zasoby dla rozwiązania platformy Azure. Aby uzyskać więcej informacji, zobacz Omówienie usługi Azure Resource Manager. Lokalizacja Wybierz pozycję East US 2 (Wschodnie stany USA 2). Inne dostępne regiony podano na stronie dostępności usług platformy Azure według regionów. Nazwa obszaru roboczego Podaj nazwę obszaru roboczego usługi Databricks. Warstwa cenowa Wybierz warstwę Standardowa lub Premium. Aby uzyskać więcej informacji o tych warstwach, zobacz stronę usługi Databricks. Wybierz pozycję Przeglądanie + tworzenie, a następnie pozycję Utwórz.
Tworzenie obszaru roboczego trwa kilka minut. W przypadku niepowodzenia wdrożenia obszaru roboczego obszar roboczy jest nadal tworzony w stanie niepowodzenia. Usuń obszar roboczy, który zakończył się niepowodzeniem i utwórz nowy obszar roboczy, który usuwa błędy wdrażania. Po usunięciu obszaru roboczego, która zakończyła się niepowodzeniem, zarządzana grupa zasobów i wszystkie pomyślnie wdrożone zasoby również zostaną usunięte.
Przeglądanie wdrożonych zasobów
Możesz użyć Azure Portal, aby sprawdzić obszar roboczy usługi Azure Databricks lub użyć następującego interfejsu wiersza polecenia platformy Azure lub skryptu Azure PowerShell, aby wyświetlić listę zasobów.
Interfejs wiersza polecenia platformy Azure
echo "Enter your Azure Databricks workspace name:" &&
read databricksWorkspaceName &&
echo "Enter the resource group where the Azure Databricks workspace exists:" &&
read resourcegroupName &&
az databricks workspace show -g $resourcegroupName -n $databricksWorkspaceName
Azure PowerShell
$resourceGroupName = Read-Host -Prompt "Enter the resource group name where your Azure Databricks workspace exists"
(Get-AzResource -ResourceType "Microsoft.Databricks/workspaces" -ResourceGroupName $resourceGroupName).Name
Write-Host "Press [ENTER] to continue..."
Wdrażanie usługi Azure Databricks za pomocą rozwiązania Bicep
Bicep to język specyficzny dla domeny (DSL), który używa składni deklaratywnej do wdrażania zasobów platformy Azure. Zapewnia zwięzłą składnię, niezawodne bezpieczeństwo typów i obsługę ponownego użycia kodu. Bicep oferuje najlepsze środowisko tworzenia dla rozwiązań infrastruktury jako kodu na platformie Azure.
Przejrzyj plik Bicep
Plik Bicep używany w tym przewodniku Szybki start pochodzi z szablonów szybkiego startu platformy Azure.
@description('Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not')
param disablePublicIp bool = false
@description('The name of the Azure Databricks workspace to create.')
param workspaceName string
@description('The pricing tier of workspace.')
@allowed([
'standard'
'premium'
])
param pricingTier string = 'premium'
@description('Location for all resources.')
param location string = resourceGroup().location
var managedResourceGroupName = 'databricks-rg-${workspaceName}-${uniqueString(workspaceName, resourceGroup().id)}'
resource ws 'Microsoft.Databricks/workspaces@2018-04-01' = {
name: workspaceName
location: location
sku: {
name: pricingTier
}
properties: {
managedResourceGroupId: managedResourceGroup.id
parameters: {
enableNoPublicIp: {
value: disablePublicIp
}
}
}
}
resource managedResourceGroup 'Microsoft.Resources/resourceGroups@2021-04-01' existing = {
scope: subscription()
name: managedResourceGroupName
}
output workspace object = ws.properties
Zasób platformy Azure zdefiniowany w pliku Bicep to Microsoft.Databricks/workspaces: tworzenie obszaru roboczego usługi Azure Databricks.
Wdrażanie pliku Bicep
- Zapisz plik Bicep jako main.bicep na komputerze lokalnym.
- Wdróż plik Bicep przy użyciu interfejsu wiersza polecenia platformy Azure lub Azure PowerShell.
Interfejs wiersza polecenia
az group create --name exampleRG --location eastus
az deployment group create --resource-group exampleRG --template-file main.bicep --parameters workspaceName=<workspace-name>
PowerShell
New-AzResourceGroup -Name exampleRG -Location eastus
New-AzResourceGroupDeployment -ResourceGroupName exampleRG -TemplateFile ./main.bicep -workspaceName "<workspace-name>"
Uwaga
Zastąp <workspace-name>
ciąg nazwą obszaru roboczego usługi Azure Databricks, który chcesz utworzyć.
Po zakończeniu wdrażania powinien zostać wyświetlony komunikat informujący o pomyślnym wdrożeniu.
Przeglądanie wdrożonych zasobów
Użyj Azure Portal, interfejsu wiersza polecenia platformy Azure lub Azure PowerShell, aby wyświetlić listę wdrożonych zasobów w grupie zasobów.
Interfejs wiersza polecenia
az resource list --resource-group exampleRG
PowerShell
Get-AzResource -ResourceGroupName exampleRG
Konfigurowanie uprawnień obszaru roboczego i danych
Usługa Azure Databricks ogranicza niektóre działania administratorom obszaru roboczego, aby zapewnić klientom możliwość bezpiecznego konfigurowania dostępu do danych i kodu. Aby użytkownicy mogli z nich korzystać, niektóre funkcje usługi Azure Databricks muszą być włączone przez administratora obszaru roboczego. Aby zapoznać się z typowymi zadaniami, zobacz Wprowadzenie do administrowania usługą Azure Databricks.
Jeśli jesteś w obszarze roboczym obsługującym wykaz aparatu Unity, możesz skorzystać z wielu dodatkowych funkcji w celu zapewnienia bezpieczeństwa i ładu. Zobacz Samouczek: zadania administratora magazynu metadanych wykazu aparatu Unity dla usługi Databricks SQL.
Administratorzy muszą skonfigurować usługę Databricks SQL przed wykonaniem większości typowych zadań. Zobacz Administracja dołączanie do usługi Databricks SQL i Konfigurowanie użytkownika w celu wykonywania zapytań dotyczących tabeli.
Uwaga
Podczas tworzenia obszaru roboczego usługi Azure Databricks otrzymujesz uprawnienia administratora.