Başlarken: Ücretsiz deneme & kurulumu
Azure Databricks'i kullanmaya yeni başladıysanız başlangıç için bir yer bulmuşsunuz demektir. Ücretsiz deneme ve bulut hesabı ayarlamayı öğrenin. Daha fazla çevrimiçi eğitim kaynağı hakkında daha fazla bilgi için bkz. Ücretsiz Databricks eğitimi alma.
Azure Databricks çalışma alanı oluşturma
Databricks, Azure portal kullanarak ilk Azure Databricks çalışma alanınızı dağıtmanızı önerir. Azure Databricks'i aşağıdaki seçeneklerden biriyle de dağıtabilirsiniz:
- Azure CLI ile Azure Databricks'i dağıtma
- PowerShell ile Azure Databricks'i dağıtma
- ARM şablonuyla Azure Databricks'i dağıtma
- Azure Databricks'i Bicep ile dağıtma
Not
Azure Databricks çalışma alanınızı oluşturduğunuzda, çalışma alanına 14 gün boyunca ücretsiz Premium Azure Databricks DBU erişimi vermek için Deneme (Premium - 14 Günlük Ücretsiz DBU) fiyatlandırma katmanını seçebilirsiniz.
Başlamadan önce
- Ücretsiz Deneme Aboneliği olmayan bir Azure aboneliğiniz olmalıdır. Ücretsiz bir hesabınız varsa aşağıdaki adımları tamamlayın:
- Profilinize gidin ve aboneliğinizi kullandıkça öde olarak değiştirin. Bkz. Ücretsiz Azure hesabı.
- Harcama limitini kaldırın.
- Bölgenizdeki vCPU'lar için kota artışı isteyin.
- Azure Portal’ında oturum açın.
- Azure Katkıda Bulunanı veya Sahibi olmanız veya Microsoft.ManagedIdentity kaynak sağlayıcısının aboneliğinize kayıtlı olması gerekir. Yönergeler için Kaynak sağlayıcısını kaydetme bölümünü izleyin.
Azure Databricks çalışma alanı oluşturmak için portalı kullanma
Azure portal Kaynak> oluşturAnalytics>Azure Databricks'i seçin.
Azure Databricks Hizmeti bölümünde, Databricks çalışma alanı oluşturmak için değerler sağlayın.
Özellik Açıklama Çalışma alanı adı Databricks çalışma alanınız için bir ad sağlayın Abonelik Açılan listeden Azure aboneliğinizi seçin. Kaynak grubu Yeni bir kaynak grubu oluşturmayı veya mevcut bir kaynak grubunu kullanmayı seçin. Kaynak grubu, bir Azure çözümüne ilişkin kaynakları tutan bir kapsayıcıdır. Daha fazla bilgi için bkz. Azure Kaynak Grubuna genel bakış. Konum Batı ABD 2'yi seçin. Kullanılabilir diğer bölgeler için bkz. Bölgeye göre kullanılabilir Azure hizmetleri. Fiyatlandırma Katmanı Standart, Premium veya Deneme arasında seçim yapın. Bu katmanlar hakkında daha fazla bilgi için bkz. Databricks fiyatlandırma sayfası. Gözden Geçir + Oluştur'u ve ardından Oluştur'u seçin. Çalışma alanının oluşturulması birkaç dakika sürer. Çalışma alanı oluşturma sırasında Dağıtım durumunu Bildirimler'de görüntüleyebilirsiniz. Bu işlem tamamlandıktan sonra, kullanıcı hesabınız otomatik olarak çalışma alanına yönetici kullanıcı olarak eklenir.
Not
Çalışma alanı dağıtımı başarısız olduğunda, çalışma alanı yine de başarısız durumda oluşturulur. Başarısız olan çalışma alanını silin ve dağıtım hatalarını çözen yeni bir çalışma alanı oluşturun. Başarısız olan çalışma alanını sildiğinizde, yönetilen kaynak grubu ve başarıyla dağıtılan tüm kaynaklar da silinir.
Azure CLI ile Azure Databricks'i dağıtma
1. Adım: Oturum açma
CLI'nın yerel yüklemesini kullanıyorsanız az login komutunu kullanarak oturum açın.
az login
Terminalinizde görüntülenen adımları uygulayarak kimlik doğrulama işlemini tamamlayın.
2. Adım: Azure CLI uzantısını yükleme
Azure CLI için uzantı başvurularıyla çalışırken önce uzantıyı yüklemeniz gerekir. Azure CLI uzantıları, henüz temel CLI’nın parçası olarak gönderilmeyen deneysel ve ön sürüm komutlarına erişmenize olanak sağlar. Güncelleştirme ve kaldırma da dahil olmak üzere uzantılar hakkında daha fazla bilgi edinmek için bkz. Azure CLI ile uzantıları kullanma.
Aşağıdaki komutu çalıştırarak databricks uzantısını yükleyin:
az extension add --name databricks
3. Adım: Kaynak grubu oluşturma
Tüm Azure kaynakları gibi Azure Databricks de bir kaynak grubuna dağıtılmalıdır. Kaynak grupları, ilgili Azure kaynaklarını düzenlemenizi ve yönetmenizi sağlar.
Bu hızlı başlangıç için aşağıdaki az group create komutuyla westus2 konumunda _ databricks-quickstart _ adlı bir kaynak grubu oluşturun:
az group create --name databricks-quickstart --location westus2
4. Adım: Azure Databricks çalışma alanı oluşturma
az databricks workspace create an Azure Databricks çalışma alanını kullanın.
az databricks workspace create
--resource-group databricks-quickstart \
--name mydatabricksws \
--location westus \
--sku standard
PowerShell ile Azure Databricks'i dağıtma
Not
PowerShell'i yerel olarak kullanmayı seçerseniz, bu makalede Az PowerShell modülünü yüklemeniz ve Connect-AzAccount cmdlet'ini kullanarak Azure hesabınıza bağlanmanız gerekir. Az PowerShell modülünü yükleme hakkında daha fazla bilgi için bkz. yükleme Azure PowerShell.
Önemli
Az.Databricks PowerShell modülü önizleme aşamasındayken, aşağıdaki komutu kullanarak az PowerShell modülünden ayrı olarak yüklemeniz gerekir: Install-Module -Name Az.Databricks -AllowPrerelease
. Az.Databricks PowerShell modülü genel kullanıma sunulduktan sonra, gelecekteki Az PowerShell modülü sürümlerinin bir parçası olur ve Azure Cloud Shell içinden yerel olarak kullanılabilir.
Not
Azure Ticari Bulut'ta FedRAMP High gibi ABD Kamu uyumluluk sertifikalarını barındıran bir Azure Databricks çalışma alanı oluşturmak istiyorsanız, bu deneyime erişmek için lütfen Microsoft veya Databricks temsilcinize ulaşın.
Azure Databricks'i ilk kez kullanıyorsanız Microsoft.Databricks kaynak sağlayıcısını kaydetmeniz gerekir.
Register-AzResourceProvider -ProviderNamespace Microsoft.Databricks
Azure Cloud Shell kullanma
Azure, tarayıcınız aracılığıyla kullanabileceğiniz etkileşimli bir kabuk ortamı olan Azure Cloud Shell’i barındırır. Azure hizmetleriyle çalışmak için Cloud Shell ile Bash veya PowerShell kullanabilirsiniz. Bu makaledeki kodu, yerel ortamınıza herhangi bir şey yüklemeye gerek kalmadan çalıştırmak için Cloud Shell’in önceden yüklenmiş komutlarını kullanabilirsiniz.
Azure Cloud Shell’i başlatmak için:
- Kod bloğunun sağ üst köşesindeki Deneyin’i seçin. Deneyin seçildiğinde kod otomatik olarak Cloud Shell kopyalanmaz.
- Cloud Shell’i tarayıcınızda açmak için https://shell.azure.com bölümüne gidin veya Cloud Shell’i Başlat düğmesini seçin.
- Azure portalın sağ üst köşesindeki menü çubuğunda yer alan Cloud Shell düğmesini seçin.
Azure Cloud Shell’de bu makaledeki kodu çalıştırmak için:
- Cloud Shell’i başlatın.
- Kodu kopyalamak için kod bloğunda Kopyala düğmesini seçin.
- Windows ve Linux sisteminde Ctrl+Shift+V tuşlarını kullanarak veya macOS’de Cmd+Shift+V tuşlarını kullanarak kodu Cloud Shell oturumuna yapıştırın.
- Kodu çalıştırmak için Enter tuşuna basın.
Birden çok Azure aboneliğiniz varsa, kaynakların faturalanması gereken uygun aboneliği seçin. Set-AzContext cmdlet'ini kullanarak belirli bir abonelik kimliğini seçin.
Set-AzContext -SubscriptionId 00000000-0000-0000-0000-000000000000
Kaynak grubu oluşturma
New-AzResourceGroup cmdlet'ini kullanarak bir Azure kaynak grubu oluşturun. Kaynak grubu, Azure kaynaklarının grup olarak dağıtıldığı ve yönetildiği bir mantıksal kapsayıcıdır.
Aşağıdaki örnek, Batı ABD 2 bölgesinde myresourcegroup adlı bir kaynak grubu oluşturur.
New-AzResourceGroup -Name myresourcegroup -Location westus2
Azure Databricks çalışma alanı oluşturma
Bu bölümde PowerShell kullanarak bir Azure Databricks çalışma alanı oluşturacaksınız.
New-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup -Location westus2 -ManagedResourceGroupName databricks-group -Sku standard
Aşağıdaki değerleri sağlayın:
Özellik | Açıklama |
---|---|
Name | Databricks çalışma alanınız için bir ad sağlayın |
ResourceGroupName | Var olan bir kaynak grubu adını belirtin |
Konum | Batı ABD 2'yi seçin. Diğer kullanılabilir bölgeler için bkz. Bölgeye göre kullanılabilir Azure hizmetleri |
ManagedResourceGroupName | Yeni bir yönetilen kaynak grubu oluşturmak mı yoksa var olan bir kaynak grubunu kullanmak mı istediğinizi belirtin. |
Sku | Standart, Premium veya Deneme arasında seçim yapın. Bu katmanlar hakkında daha fazla bilgi için bkz . Databricks fiyatlandırması |
Çalışma alanının oluşturulması birkaç dakika sürer. Bu işlem tamamlandıktan sonra, kullanıcı hesabınız otomatik olarak çalışma alanına yönetici kullanıcı olarak eklenir.
Not
Çalışma alanı dağıtımı başarısız olduğunda, çalışma alanı yine de başarısız durumda oluşturulur. Başarısız olan çalışma alanını silin ve dağıtım hatalarını çözen yeni bir çalışma alanı oluşturun. Başarısız olan çalışma alanını sildiğinizde, yönetilen kaynak grubu ve başarıyla dağıtılan tüm kaynaklar da silinir.
Databricks çalışma alanının sağlama durumunu belirleme
Databricks çalışma alanının başarıyla sağlandığını belirlemek için cmdlet'ini Get-AzDatabricksWorkspace
kullanabilirsiniz.
Get-AzDatabricksWorkspace -Name mydatabricksws -ResourceGroupName myresourcegroup |
Select-Object -Property Name, SkuName, Location, ProvisioningState
Name SkuName Location ProvisioningState
---- ------- -------- -----------------
mydatabricksws standard westus2 Succeeded
ARM şablonuyla Azure Databricks'i dağıtma
ARM şablonu projenizin altyapısını ve yapılandırmasını tanımlayan bir JavaScript Nesne Gösterimi (JSON) dosyasıdır. Şablon, dağıtmak istediğiniz öğeyi oluşturmaya yönelik programlama komutları dizisini yazmak zorunda kalmadan bu öğeyi belirtmenize imkan tanıyan bildirim temelli söz dizimini kullanır.
Ortamınız önkoşulları karşılıyorsa ve ARM şablonlarını kullanmayı biliyorsanız Azure'a Dağıt düğmesini seçin. Şablon Azure portalda açılır.
Şablonu gözden geçirme
Bu hızlı başlangıçta kullanılan şablon Azure Hızlı Başlangıç Şablonlarından alınmıştır.
{
"$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
"contentVersion": "1.0.0.0",
"metadata": {
"_generator": {
"name": "bicep",
"version": "0.5.6.12127",
"templateHash": "14509124136721506545"
}
},
"parameters": {
"disablePublicIp": {
"type": "bool",
"defaultValue": false,
"metadata": {
"description": "Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not"
}
},
"workspaceName": {
"type": "string",
"metadata": {
"description": "The name of the Azure Databricks workspace to create."
}
},
"pricingTier": {
"type": "string",
"defaultValue": "premium",
"allowedValues": [
"standard",
"premium"
],
"metadata": {
"description": "The pricing tier of workspace."
}
},
"location": {
"type": "string",
"defaultValue": "[resourceGroup().location]",
"metadata": {
"description": "Location for all resources."
}
}
},
"variables": {
"managedResourceGroupName": "[format('databricks-rg-{0}-{1}', parameters('workspaceName'), uniqueString(parameters('workspaceName'), resourceGroup().id))]"
},
"resources": [
{
"type": "Microsoft.Databricks/workspaces",
"apiVersion": "2018-04-01",
"name": "[parameters('workspaceName')]",
"location": "[parameters('location')]",
"sku": {
"name": "[parameters('pricingTier')]"
},
"properties": {
"managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]",
"parameters": {
"enableNoPublicIp": {
"value": "[parameters('disablePublicIp')]"
}
}
}
}
],
"outputs": {
"workspace": {
"type": "object",
"value": "[reference(resourceId('Microsoft.Databricks/workspaces', parameters('workspaceName')))]"
}
}
}
Şablonda tanımlanan Azure kaynağı Microsoft.Databricks/workspaces'tir: Azure Databricks çalışma alanı oluşturun.
Şablonu dağıtma
Bu bölümde, ARM şablonu kullanarak bir Azure Databricks çalışma alanı oluşturacaksınız.
Sağlanan bağlantıyı kullanarak Azure'da oturum açın ve bir şablon açın.
Azure Databricks çalışma alanınızı oluşturmak için aşağıdaki gerekli değerleri sağlayın:
Özellik Açıklama Abonelik Açılan listeden Azure aboneliğinizi seçin. Kaynak grubu Yeni bir kaynak grubu oluşturmayı veya mevcut bir kaynak grubunu kullanmayı seçin. Kaynak grubu, bir Azure çözümüne ilişkin kaynakları tutan bir kapsayıcıdır. Daha fazla bilgi için bkz. Azure Kaynak Grubuna genel bakış. Konum Doğu ABD 2’yi seçin. Kullanılabilir diğer bölgeler için bkz. Bölgeye göre kullanılabilir Azure hizmetleri. Çalışma alanı adı Databricks çalışma alanınız için bir ad sağlayın Fiyatlandırma Katmanı Standart veya Premium arasında seçim yapın. Bu katmanlar hakkında daha fazla bilgi için bkz. Databricks fiyatlandırma sayfası. Gözden Geçir ve Oluştur’u ve sonra Oluştur’u seçin.
Çalışma alanının oluşturulması birkaç dakika sürer. Çalışma alanı dağıtımı başarısız olduğunda, çalışma alanı yine de başarısız durumda oluşturulur. Başarısız olan çalışma alanını silin ve dağıtım hatalarını çözen yeni bir çalışma alanı oluşturun. Başarısız olan çalışma alanını sildiğinizde, yönetilen kaynak grubu ve başarıyla dağıtılan tüm kaynaklar da silinir.
Dağıtılan kaynakları gözden geçirme
Azure Databricks çalışma alanını denetlemek için Azure portal kullanabilir veya kaynağı listelemek için aşağıdaki Azure CLI veya Azure PowerShell betiğini kullanabilirsiniz.
Azure CLI
echo "Enter your Azure Databricks workspace name:" &&
read databricksWorkspaceName &&
echo "Enter the resource group where the Azure Databricks workspace exists:" &&
read resourcegroupName &&
az databricks workspace show -g $resourcegroupName -n $databricksWorkspaceName
Azure PowerShell
$resourceGroupName = Read-Host -Prompt "Enter the resource group name where your Azure Databricks workspace exists"
(Get-AzResource -ResourceType "Microsoft.Databricks/workspaces" -ResourceGroupName $resourceGroupName).Name
Write-Host "Press [ENTER] to continue..."
Azure Databricks'i Bicep ile dağıtma
Bicep , Azure kaynaklarını dağıtmak için bildirim temelli söz dizimi kullanan etki alanına özgü bir dildir (DSL). Kısa söz dizimi, güvenilir tür güvenliği ve kod yeniden kullanımı desteği sağlar. Bicep, Azure'daki kod olarak altyapı çözümleriniz için en iyi yazma deneyimini sunar.
Bicep dosyasını gözden geçirme
Bu hızlı başlangıçta kullanılan Bicep dosyası Azure Hızlı Başlangıç Şablonları'ndan alınmıştı.
@description('Specifies whether to deploy Azure Databricks workspace with Secure Cluster Connectivity (No Public IP) enabled or not')
param disablePublicIp bool = false
@description('The name of the Azure Databricks workspace to create.')
param workspaceName string
@description('The pricing tier of workspace.')
@allowed([
'standard'
'premium'
])
param pricingTier string = 'premium'
@description('Location for all resources.')
param location string = resourceGroup().location
var managedResourceGroupName = 'databricks-rg-${workspaceName}-${uniqueString(workspaceName, resourceGroup().id)}'
resource ws 'Microsoft.Databricks/workspaces@2018-04-01' = {
name: workspaceName
location: location
sku: {
name: pricingTier
}
properties: {
managedResourceGroupId: managedResourceGroup.id
parameters: {
enableNoPublicIp: {
value: disablePublicIp
}
}
}
}
resource managedResourceGroup 'Microsoft.Resources/resourceGroups@2021-04-01' existing = {
scope: subscription()
name: managedResourceGroupName
}
output workspace object = ws.properties
Bicep dosyasında tanımlanan Azure kaynağı Microsoft.Databricks/workspaces'tir: Bir Azure Databricks çalışma alanı oluşturun.
Bicep dosyasını dağıtma
- Bicep dosyasını main.bicep olarak yerel bilgisayarınıza kaydedin.
- Azure CLI veya Azure PowerShell kullanarak Bicep dosyasını dağıtın.
CLI
az group create --name exampleRG --location eastus
az deployment group create --resource-group exampleRG --template-file main.bicep --parameters workspaceName=<workspace-name>
PowerShell
New-AzResourceGroup -Name exampleRG -Location eastus
New-AzResourceGroupDeployment -ResourceGroupName exampleRG -TemplateFile ./main.bicep -workspaceName "<workspace-name>"
Not
değerini oluşturmak istediğiniz Azure Databricks çalışma alanının adıyla değiştirin <workspace-name>
.
Dağıtım tamamlandığında, dağıtımın başarılı olduğunu belirten bir ileti görmeniz gerekir.
Dağıtılan kaynakları gözden geçirme
Kaynak grubundaki dağıtılan kaynakları listelemek için Azure portal, Azure CLI veya Azure PowerShell kullanın.
CLI
az resource list --resource-group exampleRG
PowerShell
Get-AzResource -ResourceGroupName exampleRG
Çalışma alanı ve veri izinlerini yapılandırma
Azure Databricks, müşterilerin verilere ve kodlara erişimi güvenli bir şekilde yapılandırabildiğinden emin olmak için belirli etkinlikleri çalışma alanı yöneticileriyle kısıtlar. Kullanıcıların kullanabilmesi için bazı Azure Databricks özelliklerinin çalışma alanı yöneticisi tarafından etkinleştirilmesi gerekir. Yaygın görevler için bkz. Azure Databricks yönetimini kullanmaya başlama.
Unity Kataloğu'nun etkinleştirildiği bir çalışma alanındaysanız güvenlik ve idare için bir dizi ek özellik kullanabilirsiniz. Bkz . Öğretici: Databricks SQL için Unity Kataloğu meta veri deposu yönetici görevleri.
Yöneticilerin en yaygın görevlerin tamamılabilmesi için Databricks SQL'i yapılandırmaları gerekir. Bkz. Databricks SQL için Yönetici ekleme ve Tabloyu sorgulamak için kullanıcı ayarlama.
Not
Azure Databricks çalışma alanı oluşturduğunuzda size yönetici ayrıcalıkları verilir.