Memulai: Penyiapan uji coba & gratis

  • Artikel
  • 10 menit untuk membaca

Jika Anda baru menggunakan Azure Databricks, Anda telah menemukan tempat untuk memulai. Pelajari cara menyiapkan coba gratis dan akun cloud. Untuk informasi tentang sumber daya pelatihan online lainnya, lihat Mendapatkan pelatihan Databricks gratis.

Membuat ruang kerja Azure Databricks

Databricks menyarankan Anda menyebarkan ruang kerja Azure Databricks pertama Anda menggunakan portal Azure. Anda juga dapat menyebarkan Azure Databricks dengan salah satu opsi berikut:

Catatan

Saat membuat ruang kerja Azure Databricks, Anda dapat memilih tingkat harga Uji Coba (Premium - DBU Gratis 14 Hari) untuk memberikan akses ruang kerja ke DBU Azure Databricks Premium gratis selama 14 hari.

Sebelum Anda mulai

Menggunakan portal untuk membuat ruang kerja Azure Databricks

  1. Di portal Microsoft Azure, pilih Buat sumber dayaAnalyticsAzure Databricks.

  2. Di bawah Layanan Azure Databricks, berikan nilai untuk membuat ruang kerja Databricks.

    Properti Deskripsi
    Nama ruang kerja Memberi nama untuk ruang kerja Databricks Anda
    Langganan Dari menu dropdown, pilih langganan Azure Anda.
    Grup sumber daya Tentukan apakah Anda ingin membuat grup sumber daya baru atau menggunakan grup sumber daya yang sudah ada. Grup sumber daya adalah penampung yang menampung sumber daya terkait untuk sebuah solusi Azure. Untuk informasi selengkapnya, lihat Ringkasan Azure Resource Group.
    Lokasi Pilih Barat US 2. Untuk wilayah lain yang tersedia, lihat Layanan Azure yang tersedia menurut wilayah.
    Tingkat Harga Pilih antara Standar, Premium, atau Uji Coba. Untuk mengetahui informasi selengkapnya tentang tingkatan ini, lihat halaman harga Databricks.

  3. Pilih Tinjau + Buat, lalu pilih Buat. Pembuatan ruang kerja membutuhkan waktu beberapa menit. Selama pembuatan ruang kerja, Anda dapat melihat status penyebaran di Notifikasi. Setelah proses ini selesai, akun pengguna Anda otomatis ditambahkan sebagai pengguna admin di ruang kerja.

Catatan

Jika penyebaran ruang kerja gagal, ruang kerja masih dibuat dalam status gagal. Hapus ruang kerja yang gagal dan buat ruang kerja baru yang mengatasi kesalahan penyebaran. Saat Anda menghapus ruang kerja yang gagal, grup sumber daya terkelola dan sumber daya yang berhasil disebarkan juga akan dihapus.

Menyebarkan Azure Databricks dengan Azure CLI

Langkah 1: Masuk

Masuk menggunakan perintah az login jika Anda menggunakan penginstalan lokal CLI.

az login

Ikuti langkah-langkah yang ditampilkan di terminal untuk menyelesaikan proses autentikasi.

Langkah 2: Instal ekstensi Azure CLI

Saat menggunakan referensi ekstensi untuk Azure CLI, Anda harus menginstal ekstensi terlebih dahulu. Ekstensi Azure CLI memberi Anda akses ke perintah eksperimental dan pra-rilis yang belum dikirim sebagai bagian dari CLI inti. Untuk mempelajari selengkapnya tentang ekstensi, termasuk memperbarui dan menghapus instalasi, lihat Menggunakan ekstensi dengan Azure CLI.

Instal ekstensi untuk databricks dengan menjalankan perintah berikut:

az extension add --name databricks

Langkah 3: Membuat grup sumber daya

Azure Databricks, seperti semua sumber daya Azure, harus disebarkan ke dalam grup sumber daya. Grup sumber daya memungkinkan Anda untuk mengatur dan mengelola sumber daya Azure terkait.

Untuk mulai cepat ini, buat grup sumber daya bernama _ databricks-quickstart _ di lokasi westus2 dengan perintah az group create berikut:

az group create --name databricks-quickstart --location westus2

Langkah 4: Membuat ruang kerja Azure Databricks

Gunakan az databricks workspace create untuk membuat ruang kerja Azure Databricks.

az databricks workspace create
    --resource-group databricks-quickstart \
    --name mydatabricksws  \
    --location westus  \
    --sku standard

Menyebarkan Azure Databricks dengan PowerShell

Catatan

Jika Anda memilih untuk menggunakan PowerShell secara lokal, artikel ini mewajibkan Anda memasang modul Az PowerShell dan menyambungkan ke akun Azure Anda menggunakan cmdlet Sambungkan-AzAccount. Untuk informasi selengkapnya tentang pemasangan modul Az PowerShell, lihat Menginstal Azure PowerShell.

Penting

Meskipun modul Az.Databricks PowerShell masih dalam pratinjau, Anda harus menginstalnya secara terpisah dari modul Az PowerShell menggunakan perintah berikut: Install-Module -Name Az.Databricks -AllowPrerelease. Setelah modul Az.Databricks PowerShell tersedia secara umum, modul ini akan menjadi bagian dari rilis modul Az PowerShell yang akan datang dan tersedia secara asli di dalam Azure Cloud Shell.

Catatan

Jika Anda ingin membuat ruang kerja Azure Databricks di Azure Commercial Cloud yang memegang sertifikasi kepatuhan Pemerintah AS seperti FedRAMP High, silakan hubungi perwakilan Microsoft atau Databricks Anda guna mendapatkan akses ke pengalaman ini.

Jika ini pertama kalinya Anda menggunakan Azure Databricks, Anda harus mendaftarkan penyedia sumber Microsoft.Databricks.

  Register-AzResourceProvider -ProviderNamespace Microsoft.Databricks

Menggunakan Azure Cloud Shell

Azure meng-hosting Azure Cloud Shell, lingkungan shell interaktif yang dapat Anda gunakan melalui browser. Anda dapat menggunakan Bash atau PowerShell dengan Cloud Shell untuk bekerja dengan layanan Azure. Anda dapat menggunakan perintah Cloud Shell yang telah diinstal sebelumnya untuk menjalankan kode dalam artikel ini tanpa harus menginstal apa pun di lingkungan lokal Anda.

Untuk memulai Azure Cloud Shell:

  • Pilih Coba di sudut kanan atas blok kode. Memilih Coba Tidak secara otomatis menyalin kode ke Cloud Shell.
  • Buka https://shell.azure.com, atau pilih tombol Luncurkan Cloud Shell untuk membuka Cloud Shell di browser Anda.
  • Pilih tombol Cloud Shell pada bilah menu di kanan atas di portal Microsoft Azure.

Untuk menjalankan kode dalam artikel ini di Azure Cloud Shell:

  • Mulai Cloud Shell.
  • Pilih tombol Salin pada blok kode untuk menyalin kode.
  • Tempelkan kode ke sesi Cloud Shell dengan memilih CtrlShiftV di Windows dan Linux atau dengan memilih CmdShiftV di macOS.
  • Pilih Enter untuk menjalankan kode.

Jika Anda memiliki beberapa langganan Azure, pilih langganan yang sesuai di mana sumber daya harus ditagih. Pilih ID langganan tertentu menggunakan cmdlet Set-AzContext.

Set-AzContext -SubscriptionId 00000000-0000-0000-0000-000000000000

Membuat grup sumber daya

Membuat grup sumber daya untuk Azure menggunakan cmdlet New-AzResourceGroup. Grup sumber daya adalah kontainer logis yang dipasang dan dikelola sebagai grup sumber daya Azure.

Contoh berikut membuat grup sumber daya bernama myResourceGroup di wilayah US Barat 2.

New-AzResourceGroup -Name myresourcegroup -Location westus2

Membuat ruang kerja Azure Databricks

Di bagian ini, Anda membuat ruang kerja Azure Databricks menggunakan PowerShell.

New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard

Berikan nilai berikut ini:

Properti Deskripsi
Nama Memberi nama untuk ruang kerja Databricks Anda
ResourceGroupName Menentukan nama grup sumber daya yang ada
Lokasi Pilih Barat US 2. Untuk wilayah lain yang tersedia, lihat Layanan Azure yang tersedia menurut wilayah
ManagedResourceGroupName Tentukan apakah Anda ingin membuat grup sumber daya terkelola baru atau menggunakan yang sudah ada.
SKU Pilih antara Standar, Premium, atau Uji Coba. Untuk mengetahui informasi selengkapnya tentang tingkatan ini, lihat harga Databricks

Pembuatan ruang kerja membutuhkan waktu beberapa menit. Setelah proses ini selesai, akun pengguna Anda otomatis ditambahkan sebagai pengguna admin di ruang kerja.

Catatan

Jika penyebaran ruang kerja gagal, ruang kerja masih dibuat dalam status gagal. Hapus ruang kerja yang gagal dan buat ruang kerja baru yang mengatasi kesalahan penyebaran. Saat Anda menghapus ruang kerja yang gagal, grup sumber daya terkelola dan sumber daya yang berhasil disebarkan juga akan dihapus.

Menentukan status provisi ruang kerja Databricks

Untuk menentukan apakah ruang kerja Databricks berhasil disediakan, Anda dapat menggunakan cmdlet Get-AzDatabricksWorkspace.

Get-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup |
  Select-Object -Property Name, SkuName, Location, ProvisioningState

Name            SkuName   Location  ProvisioningState
----            -------   --------  -----------------
mydatabricksws  standard  westus2   Succeeded

Menyebarkan Azure Databricks dengan templat ARM

Template ARM adalah file JavaScript Object Notation (JSON) yang menentukan infrastruktur dan konfigurasi untuk proyek Anda. Template menggunakan sintaksis deklaratif, yang memungkinkan Anda menyatakan apa yang ingin Anda sebarkan tanpa harus menulis urutan perintah pemrograman untuk membuatnya.

Jika lingkungan Anda memenuhi prasyarat dan Anda terbiasa menggunakan templat ARM, pilih tombol Sebarkan ke Azure . Templat tersebut akan terbuka di portal Microsoft Azure.

Meninjau templat

Templat yang digunakan di mulai cepat ini berasal dari Templat Mulai Cepat Azure.

{
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "metadata": {
    "_generator": {
      "name": "bicep",
      "version": "0.5.6.12127",
      "templateHash": "14509124136721506545"
    }
  },
  "parameters": {
    "disablePublicIp": {
      "type": "bool",
      "defaultValue": false,
      "metadata": {
        "description": "Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not"
      }
    },
    "workspaceName": {
      "type": "string",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "pricingTier": {
      "type": "string",
      "defaultValue": "premium",
      "allowedValues": [
        "standard",
        "premium"
      ],
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "location": {
      "type": "string",
      "defaultValue": "[resourceGroup().location]",
      "metadata": {
        "description": "Location for all resources."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[format('databricks-rg-{0}-{1}', parameters('workspaceName'), uniqueString(parameters('workspaceName'), resourceGroup().id))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "2018-04-01",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('disablePublicIp')]"
          }
        }
      }
    }
  ],
  "outputs": {
    "workspace": {
      "type": "object",
      "value": "[reference(resourceId('Microsoft.Databricks/workspaces', parameters('workspaceName')))]"
    }
  }
}

Sumber daya Azure yang ditentukan dalam templat adalah Microsoft.Databricks/workspaces: membuat ruang kerja Azure Databricks.

Menyebarkan templat

Di bagian ini, Anda membuat ruang kerja Azure Databricks menggunakan templat ARM.

  • Gunakan tautan yang disediakan untuk masuk ke Azure dan membuka templat.

  • Berikan nilai yang diperlukan berikut untuk membuat ruang kerja Azure Databricks Anda:

    Properti Deskripsi
    Langganan Dari menu dropdown, pilih langganan Azure Anda.
    Grup sumber daya Tentukan apakah Anda ingin membuat grup sumber daya baru atau menggunakan grup sumber daya yang sudah ada. Grup sumber daya adalah penampung yang menampung sumber daya terkait untuk sebuah solusi Azure. Untuk informasi selengkapnya, lihat Ringkasan Azure Resource Group.
    Lokasi Pilih US Timur 2. Untuk wilayah lain yang tersedia, lihat Layanan Azure yang tersedia menurut wilayah.
    Nama ruang kerja Memberi nama untuk ruang kerja Databricks Anda
    Tingkat Harga Pilih antara Standar atau Premium. Untuk mengetahui informasi selengkapnya tentang tingkatan ini, lihat halaman harga Databricks.

  • Pilih Tinjau ulang + Buat, lalu pilih Buat.

  • Pembuatan ruang kerja membutuhkan waktu beberapa menit. Jika penyebaran ruang kerja gagal, ruang kerja masih dibuat dalam status gagal. Hapus ruang kerja yang gagal dan buat ruang kerja baru yang mengatasi kesalahan penyebaran. Saat Anda menghapus ruang kerja yang gagal, grup sumber daya terkelola dan sumber daya yang berhasil disebarkan juga akan dihapus.

Meninjau sumber daya yang disebarkan

Anda dapat menggunakan portal Azure untuk memeriksa ruang kerja Azure Databricks atau menggunakan Azure CLI atau skrip Azure PowerShell berikut untuk mencantumkan sumber daya.

Azure CLI

echo "Enter your Azure Databricks workspace name:" &&
read databricksWorkspaceName &&
echo "Enter the resource group where the Azure Databricks workspace exists:" &&
read resourcegroupName &&
az databricks workspace show -g $resourcegroupName -n $databricksWorkspaceName

Azure PowerShell

$resourceGroupName = Read-Host -Prompt "Enter the resource group name where your Azure Databricks workspace exists"
(Get-AzResource -ResourceType "Microsoft.Databricks/workspaces" -ResourceGroupName $resourceGroupName).Name
 Write-Host "Press [ENTER] to continue..."

Menyebarkan Azure Databricks dengan Bicep

Bicep adalah bahasa pemrogram khusus domain (DSL) yang menggunakan sintaks deklaratif untuk menyebarkan sumber daya Azure. Bicep menyediakan sintaks ringkas, keamanan jenis yang andal, dan dukungan untuk penggunaan kembali kode. Bicep menawarkan pengalaman penulisan terbaik untuk solusi infrastructure-as-code di Azure.

Tinjau file Bicep

File Bicep yang digunakan dalam mulai cepat berasal dari Templat Mulai Cepat Azure.

@description('Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not')
param disablePublicIp bool = false

@description('The name of the Azure Databricks workspace to create.')
param workspaceName string

@description('The pricing tier of workspace.')
@allowed([
  'standard'
  'premium'
])
param pricingTier string = 'premium'

@description('Location for all resources.')
param location string = resourceGroup().location

var managedResourceGroupName = 'databricks-rg-${workspaceName}-${uniqueString(workspaceName, resourceGroup().id)}'

resource ws 'Microsoft.Databricks/workspaces@2018-04-01' = {
  name: workspaceName
  location: location
  sku: {
    name: pricingTier
  }
  properties: {
    managedResourceGroupId: managedResourceGroup.id
    parameters: {
      enableNoPublicIp: {
        value: disablePublicIp
      }
    }
  }
}

resource managedResourceGroup 'Microsoft.Resources/resourceGroups@2021-04-01' existing = {
  scope: subscription()
  name: managedResourceGroupName
}

output workspace object = ws.properties

Sumber daya Azure yang ditentukan dalam file Bicep adalah Microsoft.Databricks/workspaces: buat ruang kerja Azure Databricks.

Menerapkan file Bicep

  • Simpan file Bicep sebagai main.bicep ke komputer lokal Anda.
  • Sebarkan file Bicep menggunakan Azure CLI atau Azure PowerShell.

CLI

az group create --name exampleRG --location eastus
az deployment group create --resource-group exampleRG --template-file main.bicep --parameters workspaceName=<workspace-name>

PowerShell

New-AzResourceGroup -Name exampleRG -Location eastus
New-AzResourceGroupDeployment -ResourceGroupName exampleRG -TemplateFile ./main.bicep -workspaceName "<workspace-name>"

Catatan

Ganti <workspace-name> dengan nama ruang kerja Azure Databricks yang ingin Anda buat.

Setelah penyebaran selesai, Anda akan melihat pesan yang menunjukkan penyebaran berhasil.

Meninjau sumber daya yang disebarkan

Gunakan portal Microsoft Azure, Azure CLI, atau Azure PowerShell untuk mencantumkan sumber daya yang disebarkan dalam grup sumber daya.

CLI

az resource list --resource-group exampleRG

PowerShell

Get-AzResource -ResourceGroupName exampleRG

Mengonfigurasi izin ruang kerja dan data

Azure Databricks membatasi aktivitas tertentu kepada administrator ruang kerja untuk memastikan bahwa pelanggan dapat mengonfigurasi akses ke data dan kode dengan aman. Beberapa fitur Azure Databricks harus diaktifkan oleh administrator ruang kerja sebelum pengguna dapat menggunakannya. Untuk tugas umum, lihat Mulai menggunakan administrasi Azure Databricks.

Jika Anda berada di ruang kerja yang mendukung Unity Catalog, Anda dapat memanfaatkan sejumlah fitur tambahan untuk keamanan dan tata kelola. Lihat Tutorial: Tugas admin metastore Unity Catalog untuk Databricks SQL.

Administrator perlu mengonfigurasi Databricks SQL sebelum tugas yang paling umum dapat diselesaikan. Lihat Admin onboarding untuk Databricks SQL dan Menyiapkan pengguna untuk mengkueri tabel.

Catatan

Saat Anda membuat ruang kerja Azure Databricks, Anda diberikan hak istimewa administrator.