Diagnostikloggning i Azure Databricks

  • Artikel
  • 15 minuter för att läsa

Azure Databricks tillhandahåller omfattande diagnostikloggar från slutpunkt till slutpunkt för aktiviteter som utförs av Azure Databricks-användare, så att ditt företag kan övervaka detaljerade användningsmönster för Azure Databricks.

En lista över var och en av dessa typer av händelser och tillhörande tjänster finns i Händelser. Vissa av händelserna genereras endast i granskningsloggar om utförliga granskningsloggar är aktiverade för arbetsytan.

Konfigurera utförliga granskningsloggar

Förutom standardhändelserna kan du konfigurera en arbetsyta för att generera ytterligare händelser genom att aktivera utförliga granskningsloggar.

Ytterligare åtgärder för notebook-filer

Ytterligare åtgärder i granskningsloggkategori:notebook

  • Åtgärdsnamn runCommandsom genereras när Azure Databricks kör ett kommando i en notebook-fil. Ett kommando motsvarar en cell i en notebook-fil.

    Parametrar för begäran:

    • notebookId: Notebook-ID
    • executionTime: Varaktigheten för kommandot i sekunder. Det här är ett decimalvärde som 13.789.
    • status: Status för kommandot. Möjliga värden är finished (kommandot har slutförts), skipped (kommandot hoppades över), cancelled (kommandot avbröts) eller failed (kommandot misslyckades).

  • commandId: Det unika ID:t för det här kommandot.

  • commandText: Kommandots text. För flerradskommandon avgränsas raderna med nya radtecken.

Ytterligare Databricks SQL-åtgärder

Ytterligare åtgärder i granskningsloggkategori:databrickssql

  • Åtgärdsnamn commandSubmit, som körs när ett kommando skickas till Databricks SQL.

    Parametrar för begäran:

    • commandText: Användarspecificerad SQL-instruktion eller -kommando.
    • warehouseId: ID för SQL-lagret.
    • commandId: ID för kommandot.

  • Åtgärdsnamn commandFinish, som körs när ett kommando slutförs eller ett kommando avbryts.

    Parametrar för begäran:

    • warehouseId: ID för SQL-lagret.
    • commandId: ID för kommandot.

    response Mer information om kommandoresultatet finns i fältet:

    • statusCode – HTTP-svarskoden. Det här är fel 400 om det är ett allmänt fel.

    • errorMessage -Felmeddelande.

      Anteckning

      I vissa fall för vissa långvariga kommandon kanske fältet errorMessage inte fylls i vid fel.

    • result: Det här fältet är tomt.

Aktivera eller inaktivera utförliga granskningsloggar

  1. Som administratör går du till Azure Databricks-administratörskonsolen.
  2. Klicka på Arbetsyteinställningar.
  3. Bredvid Utförliga granskningsloggar aktiverar eller inaktiverar du funktionen.

När du aktiverar eller inaktiverar utförlig loggning genereras en granskningsbar händelse i kategorin workspace med åtgärden workspaceConfKeys. Parametern workspaceConfKeys för begäran är enableVerboseAuditLogs. Parametern workspaceConfValues för begäran är true (funktionsaktiverad) eller false (funktionen är inaktiverad).

Konfigurera leverans av diagnostikloggar

Anteckning

Diagnostikloggar kräver Premium-planen.

  1. Logga in på Azure Portal som ägare eller deltagare för Azure Databricks-arbetsytan och klicka på din Azure Databricks Service-resurs.

  2. I avsnittet Övervakning i sidopanelen klickar du på fliken Diagnostikinställningar .

  3. Klicka på Slå på diagnostik.

    Aktivera diagnostik i Azure Databricks

  4. På sidan Diagnostikinställningar anger du följande konfiguration:

    Namn

    Ange ett namn för loggarna som ska skapas.

    Arkivera till ett lagringskonto

    Om du vill använda det här alternativet behöver du ett befintligt lagringskonto att ansluta till. Information om hur du skapar ett nytt lagringskonto i portalen finns i Skapa ett lagringskonto och följ anvisningarna för att skapa ett Azure Resource Manager konto för generell användning. Gå sedan tillbaka till den här sidan i portalen för att välja ditt lagringskonto. Det kan ta några minuter innan nyligen skapade lagringskonton visas i den nedrullningsbara menyn. Information om ytterligare kostnader som uppstår vid skrivning till ett lagringskonto finns i Prissättning för Azure Storage.

    Strömma till en händelsehubb

    Om du vill använda det här alternativet behöver du en befintlig Azure Event Hubs namnrymd och händelsehubb att ansluta till. Information om hur du skapar ett Event Hubs-namnområde finns i Skapa ett Event Hubs-namnområde och en händelsehubb med hjälp av Azure Portal. Gå sedan tillbaka till den här sidan i portalen för att välja Event Hubs-namnområdet och principnamnet. Information om ytterligare kostnader som uppstår vid skrivning till en händelsehubb finns i Azure Event Hubs prissättning.

    Skicka till Log Analytics

    Om du vill använda det här alternativet använder du antingen en befintlig Log Analytics-arbetsyta eller skapar en ny genom att följa stegen för att skapa en ny arbetsyta i portalen. Information om ytterligare kostnader som uppstår vid sändning av loggar till Log Analytics finns i Prissättning för Azure Monitor.

    Diagnostikinställningar för Azure Databricks

  5. Välj de tjänster som du vill ha diagnostikloggar för och ange kvarhållningsprinciper.

    Kvarhållning gäller endast för lagringskonton. Om du inte vill tillämpa en kvarhållningsprincip och vill behålla data för alltid anger du Kvarhållning (dagar) till 0.

  6. Välj Spara.

  7. Om du får felmeddelandet "Det gick inte att uppdatera diagnostiken för . Prenumerationen är inte registrerad för att använda microsoft.insights", följer du anvisningarna i Felsöka Azure Diagnostics för att registrera kontot och försök sedan igen.

  8. Om du vill ändra hur diagnostikloggarna sparas någon gång i framtiden går du tillbaka till den här sidan för att ändra inställningarna för diagnostikloggen för ditt konto.

Aktivera loggning med PowerShell

  1. Starta en Azure PowerShell-session och logga in på ditt Azure-konto med följande kommando:

     Connect-AzAccount

    Om du inte redan har Installerat Azure Powershell använder du följande kommandon för att installera Azure PowerShell och importera Azure RM-modulen.

     Install-Module -Name Az -AllowClobber
 Import-Module AzureRM

  2. Ange användarnamnet och lösenordet för ditt Azure-konto i popup-fönstret i webbläsaren. Azure PowerShell hämtar alla prenumerationer som är associerade med det här kontot och använder som standard den första.

    Om du har fler än en prenumeration kan du behöva ange den specifika prenumeration som användes för att skapa ditt Azure-nyckelvalv. Om du vill se prenumerationerna för ditt konto skriver du följande kommando:

    Get-AzSubscription

    Ange den prenumeration som är associerad med det Azure Databricks-konto som du loggar genom att skriva följande kommando:

    Set-AzContext -SubscriptionId <subscription ID>

  3. Ange Log Analytics-resursnamnet till en variabel med namnet logAnalytics, där ResourceName är namnet på Log Analytics-arbetsytan.

    $logAnalytics = Get-AzResource -ResourceGroupName <resource group name> -ResourceName <resource name> -ResourceType "Microsoft.OperationalInsights/workspaces"

  4. Ange resursnamnet för Azure Databricks-tjänsten till en variabel med namnet databricks, där ResourceName är namnet på Azure Databricks-tjänsten.

    $databricks = Get-AzResource -ResourceGroupName <your resource group name> -ResourceName <your Azure Databricks service name> -ResourceType "Microsoft.Databricks/workspaces"

  5. Om du vill aktivera loggning för Azure Databricks använder du cmdleten Set-AzDiagnosticSetting med variabler för det nya lagringskontot, Azure Databricks-tjänsten och kategorin för att aktivera loggning. Kör följande kommando och ange -Enabled flaggan till $true:

    Set-AzDiagnosticSetting -ResourceId $databricks.ResourceId -WorkspaceId $logAnalytics.ResourceId -Enabled $true -name "<diagnostic setting name>" -Category <comma separated list>

Aktivera loggning med hjälp av Azure CLI

  1. Öppna PowerShell.

  2. Använd följande kommando för att ansluta till ditt Azure-konto:

    az login

  3. Kör följande diagnostikinställningskommando:

    az monitor diagnostic-settings create --name <diagnostic name>
--resource-group <log analytics workspace resource group>
--workspace <log analytics name or object ID>
--resource <target resource object ID>
--logs '[
{
 \"category\": <category name>,
  \"enabled\": true
}
]'

REST-API

Använd LogSettings-API:et .

Förfrågan

PUT https://management.azure.com/{resourceUri}/providers/microsoft.insights/diagnosticSettings/{name}?api-version=2017-05-01-preview

Begärandetext

{
    "properties": {
    "workspaceId": "<log analytics resourceId>",
    "logs": [
      {
        "category": "<category name>",
        "enabled": true,
        "retentionPolicy": {
          "enabled": false,
          "days": 0
        }
      }
    ]
  }
}

Leverans av diagnostiklogg

När loggning har aktiverats för ditt konto börjar Azure Databricks automatiskt skicka diagnostikloggar till din leveransplats. Loggar är tillgängliga inom 15 minuter efter aktiveringen. Granskningsbara händelser i Azure Databricks visas vanligtvis i diagnostikloggar inom 15 minuter i Azures kommersiella regioner.

Anteckning

SSH-inloggningsloggar levereras med långa svarstider.

Schema för diagnostikloggar

Schemat för diagnostikloggposter är följande:

Fält Beskrivning
operationversion Schemaversionen av diagnostikloggformatet.
time UTC-tidsstämpel för åtgärden.
properties.sourceIPAddress IP-adressen för källbegäran.
properties.userAgent Webbläsaren eller API-klienten som används för att göra begäran.
properties.sessionId Sessions-ID för åtgärden.
identities Information om användaren som gör begäranden:

* email: Användarens e-postadress.
category Tjänsten som loggade begäran.
operationName Åtgärden, till exempel inloggning, utloggning, läsning eller skrivning. Formaterad som Microsoft.Databricks/<category>/<actionName>, till exempel Microsoft.Databricks/jobs/create.
properties.requestId Unikt begärande-ID.
properties.requestParams Parameternyckel/värde-par som används i händelsen.

properties.response Svar på begäran:

* errorMessage: Felmeddelandet om det uppstod ett fel.
* result: Resultatet av begäran.
* statusCode: HTTP-statuskod som anger om begäran lyckas eller inte.
properties.logId Den unika identifieraren för loggmeddelandena.

Händelser

category Egenskaperna (Azure Databricks-tjänsten) och operationName identifierar en händelse i en loggpost. Azure Databricks tillhandahåller diagnostikloggar för följande kategorier (tjänster):

accounts Händelser som rör konton, användare, grupper och IP-åtkomstlistor.
clusters Händelser som rör kluster.
dbfs Händelser relaterade till DBFS.
deltaPipelines Händelser relaterade till Delta Live Table-pipelines.
featureStore Händelser relaterade till Databricks-funktionsarkivet.
genie Händelser som rör åtkomst till arbetsytor av supportpersonal.
gitCredentials Händelser som rör Git-autentiseringsuppgifter för Databricks-lagringsplatser. reposSe även .
globalInitScripts Händelser relaterade till globala init-skript.
instancePools Händelser som rör pooler.
jobs Händelser som rör jobb.
mlflowAcledArtifact Händelser relaterade till ML Flow-artefakter med ACL:er.
mlflowExperiment Händelser som rör ML Flow-experiment.
modelRegistry Händelser relaterade till modellregistret.
notebook Händelser relaterade till notebook-filer.
repos Händelser relaterade till Databricks Repos. gitCredentialsSe även .
secrets Händelser som rör hemligheter.
ssh Händelser relaterade till SSH-åtkomst, som är inaktiverade som standard.
unityCatalog Händelser relaterade till Unity Catalog, som är inaktiverade som standard.
webTerminal Händelser relaterade till webbterminal.
workspace Händelser som rör arbetsytor.

Om åtgärderna tar lång tid loggas begäran och svaret separat, men begärande- och svarsparet har samma properties.requestId.

Med undantag för monteringsrelaterade åtgärder omfattar inte Azure Databricks-diagnostikloggar DBFS-relaterade åtgärder.

Automatiserade åtgärder utförs av användaren System-User. När Azure Databricks till exempel ändrar storlek på ett kluster via funktionen för automatisk skalning eller startar ett jobb på grund av jobbschemaläggning.

I följande tabell visas tillgängliga åtgärder för varje kategori. Åtgärds- och kategorihjälpen utgör fältet operationName för varje loggpost. Fältet är formaterat som Microsoft.Databricks/<category>/<actionName>, till exempel Microsoft.Databricks/jobs/create.

Kategori Åtgärdsnamn Begärandeparametrar
accounts IpAccessDenied path, userId
aadBrowserLogin user
aadTokenLogin user
activateUser warehouse, targetUserId, targetUserName
add warehouse, targetUserId, targetUserName
addPrincipalToGroup warehouse, targetGroupId, targetGroupName, targetUserId, targetUserName
changeDatabricksSqlAcl aclPermissionSet, resourceId, shardName, targetUserId
changeDatabricksWorkspaceAcl aclPermissionSet, resourceId, shardName, targetUserId
changeDbTokenAcl aclPermissionSet, resourceId, shardName, targetUserId
createGroup warehouse, targetGroupId, targetGroupName
createIpAccessList ipAccessListId, userId
deactivateUser warehouse, targetUserId, targetUserName
delete warehouse, targetUserId, targetUserName
deleteIpAccessList ipAccessListId, userId
disableClusterAcls warehouse
disableTableAcls warehouse
disableWorkspaceAcls warehouse
enableClusterAcls warehouse
enableTableAcls warehouse
enableWorkspaceAcls warehouse
garbageCollectDbToken tokenClientId, tokenCreationTime, tokenExpirationTime, tokenFirstAccessed, userId
generateDbToken tokenCreatedBy, tokenExpirationTime, userId
ipAccessListQuotaExceeded userId
jwtLogin user
login user
logout user
privateLinkValidationFailed userId
reachMaxQuotaDbToken userId
removeAdmin warehouse, targetUserId, targetUserName
removeGroup warehouse, targetGroupId, targetGroupName
removePrincipalFromGroup warehouse, targetGroupId, targetGroupName, targetUserId, targetUserName
revokeDbToken userId
setAdmin warehouse, targetUserId, targetUserName
tokenLogin tokenId, user
updateIpAccessList ipAccessListId, userId
updateUser warehouse, targetUserId, targetUserName
databrickssql addDashboardWidget dashboardId, widgetId
cancelQueryExecution queryExecutionId
changeWarehouseAcls aclPermissionSet, resourceId, shardName, targetUserId
changePermissions granteeAndPermission, objectId, objectType
cloneDashboard dashboardId
commandSubmit (endast för utförliga granskningsloggar) ["orgId", "sourceIpAddress", "timestamp", "userAgent","userIdentity", "shardName" (se information)]
commandFinish (endast för utförliga granskningsloggar) ["orgId", "sourceIpAddress", "timestamp", "userAgent","userIdentity", "shardName" (se information)]
createAlertDestination alertDestinationId, alertDestinationType
createDashboard dashboardId
createDataPreviewDashboard dashboardId
createWarehouse auto_resume, auto_stop_mins, channel, cluster_size, conf_pairs, custom_cluster_confs, enable_databricks_compute, enable_photon, enable_serverless_compute, instance_profile_arn, max_num_clusters, min_num_clusters, name, size, spot_instance_policy, tags, test_overrides
createQuery queryId
createQueryDraft queryId
createQuerySnippet querySnippetId
createRefreshSchedule alertId, dashboardId, refreshScheduleId
createSampleDashboard sampleDashboardId
createSubscription dashboardId, refreshScheduleId, subscriptionId
createVisualization queryId, visualizationId
deleteAlert alertId
deleteAlertDestination alertDestinationId
deleteDashboard dashboardId
deleteDashboardWidget widgetId
deleteWarehouse id
deleteExternalDatasource dataSourceId
deleteQuery queryId
deleteQueryDraft queryId
deleteQuerySnippet querySnippetId
deleteRefreshSchedule alertId, dashboardId, refreshScheduleId
deleteSubscription subscriptionId
deleteVisualization visualizationId
downloadQueryResult fileType, queryId, queryResultId
editWarehouse auto_stop_mins, channel, cluster_size, confs, enable_photon, enable_serverless_compute, id, instance_profile_arn, max_num_clusters, min_num_clusters, name, spot_instance_policy, tags
executeAdhocQuery dataSourceId
executeSavedQuery queryId
executeWidgetQuery widgetId
favoriteDashboard dashboardId
favoriteQuery queryId
forkQuery originalQueryId, queryId
listQueries filter_by, include_metrics, max_results, page_token
moveDashboardToTrash dashboardId
moveQueryToTrash queryId
muteAlert alertId
publishBatch statuses
publishDashboardSnapshot dashboardId, hookId, subscriptionId
restoreDashboard dashboardId
restoreQuery queryId
setWarehouseConfig data_access_config, enable_serverless_compute, instance_profile_arn, security_policy, serverless_agreement, sql_configuration_parameters, try_create_databricks_managed_starter_warehouse
snapshotDashboard dashboardId
startWarehouse id
stopWarehouse id
subscribeAlert alertId, destinationId
transferObjectOwnership newOwner, objectId, objectType
unfavoriteDashboard dashboardId
unfavoriteQuery queryId
unmuteAlert alertId
unsubscribeAlert alertId, subscriberId
updateAlert alertId, queryId
updateAlertDestination alertDestinationId
updateDashboard dashboardId
updateDashboardWidget widgetId
updateOrganizationSetting has_configured_data_access, has_explored_sql_warehouses, has_granted_permissions
updateQuery queryId
updateQueryDraft queryId
updateQuerySnippet querySnippetId
updateRefreshSchedule alertId, dashboardId, refreshScheduleId
updateVisualization visualizationId
clusters changeClusterAcl aclPermissionSet, resourceId, shardName, targetUserId
changeClusterPolicyAcl aclPermissionSet, resourceId, shardName, targetUserId
create acl_path_prefix, apply_policy_default_values, autoscale, autotermination_minutes, azure_attributes, billing_info, cluster_creator, cluster_event_notification_info, cluster_log_conf, cluster_name, cluster_source, custom_tags, data_security_mode, disk_spec, docker_image, driver_instance_pool_id, driver_instance_source, driver_node_type_id, enable_elastic_disk, enable_jobs_autostart, enable_local_disk_encryption, idempotency_token, init_scripts, instance_pool_id, instance_source, no_driver_daemon, node_type_id, num_workers, organization_id, policy_id, single_user_name, spark_conf, spark_env_vars, spark_version, ssh_public_keys, start_cluster, user_id, validate_cluster_name_uniqueness
createResult clusterId, clusterName, clusterOwnerUserId, clusterState, clusterWorkers
delete cluster_id, termination_reason
deleteResult clusterId, clusterName, clusterOwnerUserId, clusterState, clusterWorkers
edit apply_policy_default_values, autoscale, autotermination_minutes, azure_attributes, cluster_id, cluster_log_conf, cluster_name, cluster_source, custom_tags, data_security_mode, disk_spec, docker_image, driver_instance_pool_id, driver_instance_source, driver_node_type_id, enable_elastic_disk, enable_local_disk_encryption, init_scripts, instance_pool_id, instance_source, no_driver_daemon, node_type_id, num_workers, policy_id, single_user_name, spark_conf, spark_env_vars, spark_version, ssh_public_keys, validate_cluster_name_uniqueness, workload_type
permanentDelete cluster_id
resize autoscale, avoid_containers, cause, cluster_id, next_attempt_time_ms, num_workers
resizeResult clusterId, clusterName, clusterOwnerUserId, clusterState, clusterWorkers
restart cluster_id
restartResult clusterId, clusterName, clusterOwnerUserId, clusterState, clusterWorkers
start cluster_id
startResult clusterId, clusterName, clusterOwnerUserId, clusterState, clusterWorkers
dbfs addBlock data_length, handle
close handle
create bufferSize, overwrite, path
delete path, recursive
getSessionCredentials mountPoint
mkdirs path
mount mountPoint, owner
move destination_path, dst, source_path, src
put overwrite, path
unmount mountPoint
updateMount mountPoint, owner
deltaPipelines create allow_duplicate_names, clusters, configuration, continuous, development, dry_runid, libraries, , namestorage, target, channel, , edition, photon, dbr_version (internt, använd inte), email_notifications (internt, använd inte), filters (inaktuellt),
delete pipeline_id
edit allow_duplicate_names, clusters, configuration, continuous, dbr_version (internt, använd inte), development, email_notifications (internt, använd inte), expected_last_modified, , filters (inaktuell), id, , libraries, name, pipeline_id, storage, targetchannel, , editionphoton
startUpdate cause, full_refresh, job_task, pipeline_id
stop pipeline_id
featureStore addConsumer features, job_run, notebook
addDataSources feature_table, paths, tables
addProducer feature_table, job_run, notebook
changeFeatureTableAcl aclPermissionSet, resourceId, shardName, targetUserId
createFeatureTable description, name, partition_keys, primary_keys, timestamp_keys
createFeatures feature_table, features
deleteFeatureTable name
deleteTags feature_table_id, keys
getConsumers feature_table
getFeatureTable name
getFeatureTablesById ids
getFeatures feature_table, max_results
getModelServingMetadata feature_table_features
getOnlineStore cloud, feature_table, online_table, store_type
getTags feature_table_id
publishFeatureTable cloud, feature_table, host, online_table, port, read_secret_prefix, store_type, write_secret_prefix
searchFeatureTables max_results, page_token, text
setTags feature_table_id, tags
updateFeatureTable description, name
genie databricksAccess approver, authType, duration, isCriticalUser, reason, user
gitCredentials getGitCredential id
listGitCredentials inget
deleteGitCredential id
updateGitCredential id, git_provider, git_username
createGitCredential git_provider, git_username]
globalInitScripts batch-reorder script_ids
create enabled, name, position, script-SHA256
delete script_id
update enabled, name, position, script-SHA256, script_id
instancePools changeInstancePoolAcl aclPermissionSet, resourceId, shardName, targetUserId
create azure_attributes, custom_tags, disk_spec, enable_elastic_disk, idle_instance_autotermination_minutes, instance_pool_name, max_capacity, min_idle_instances, node_type_id, preloaded_docker_images, preloaded_spark_versions
delete instance_pool_id
edit azure_attributes, custom_tags, disk_spec, enable_elastic_disk, idle_instance_autotermination_minutes, instance_pool_id, instance_pool_name, max_capacity, min_idle_instances, node_type_id, preloaded_spark_versions
jobs cancel run_id
cancelAllRuns job_id
changeJobAcl aclPermissionSet, resourceId, shardName, targetUserId
create access_control_list, dbt_task, email_notifications, existing_cluster_id, format, git_source, is_from_dlt, job_clusters, job_type, libraries, max_concurrent_runs, max_retries, min_retry_interval_millis, name, new_cluster, notebook_task, pipeline_task, python_wheel_task, retry_on_timeout, schedule, shell_command_task, spark_jar_task, spark_python_task, spark_submit_task, tasks, timeout_seconds
delete job_id
deleteRun run_id
repairRun latest_repair_id, rerun_tasks, run_id
reset is_from_dlt, job_id, new_settings
resetJobAcl grants, job_id
runFailed clusterId, idInJob, jobClusterType, jobId, jobTaskType, jobTerminalState, jobTriggerType, orgId, runId
runNow jar_params, job_id, notebook_params, python_params, spark_submit_params, workflow_context
runStart clusterId, idInJob, jobClusterType, jobId, jobTaskType, jobTerminalState, jobTriggerType, orgId, runId
runSucceeded clusterId, idInJob, jobClusterType, jobId, jobTaskType, jobTerminalState, jobTriggerType, orgId, runId
setTaskValue key, run_id
submitRun access_control_list, existing_cluster_id, idempotency_token, job_cluster_key, job_clusters, libraries, new_cluster, notebook_task, run_name, shell_command_task, spark_jar_task, spark_python_task, spark_submit_task, tasks, timeout_seconds, workflow_context
update fields_to_remove, job_id, new_settings
mlflowAcledArtifact readArtifact artifactLocation, experimentId, runId
writeArtifact artifactLocation, experimentId, runId
mlflowExperiment deleteMlflowExperiment experimentId, experimentName, path
moveMlflowExperiment experimentId, newPath, oldPath
renameMlflowExperimentEvent experimentId, newName, oldName, parentPath
restoreMlflowExperiment experimentId, experimentName, path
modelRegistry approveTransitionRequest archive_existing_versions, comment, name, stage, version
changeRegisteredModelAcl aclPermissionSet, resourceId, shardName, targetUserId
createComment comment, name, version
createModelVersion description, name, run_id, run_link, source, tags
createRegisteredModel description, name, tags
createRegistryWebhook description, events, http_url_spec, job_spec, model_name, status
createTransitionRequest comment, name, stage, version
deleteModelVersion name, version
deleteModelVersionTag key, name, version
deleteRegisteredModel name
deleteRegisteredModelTag key, name
deleteRegistryWebhook id
deleteTransitionRequest comment, creator, name, stage, version
finishCreateModelVersionAsync name, version
generateBatchInferenceNotebook input_data, name, output_path, stage, version
getModelVersionDownloadUri name, version
getModelVersionSignedDownloadUri name, path, version
listModelArtifacts name, path, version
listRegistryWebhooks max_results, model_name
rejectTransitionRequest comment, name, stage, version
renameRegisteredModel name, new_name
setEmailSubscriptionStatus model_name, subscription_type
setModelVersionTag key, name, value, version
setRegisteredModelTag key, name, value
setUserLevelEmailSubscriptionStatus subscription_type
testRegistryWebhook id
transitionModelVersionStage archive_existing_versions, comment, name, stage, version
updateRegistryWebhook description, events, http_url_spec, id, status
notebook attachNotebook clusterId, notebookId, path
cloneNotebook notebookId, path
createNotebook notebookId, path
deleteFolder path
deleteNotebook notebookId, notebookName, path
detachNotebook clusterId, notebookId, path
downloadLargeResults notebookFullPath, notebookId
downloadPreviewResults notebookFullPath, notebookId
importNotebook path, workspaceExportFormat
moveNotebook newPath, notebookId, oldPath
renameNotebook newName, notebookId, oldName, parentPath
restoreFolder path
restoreNotebook notebookId, notebookName, path
runCommand (endast för utförliga granskningsloggar) notebookId, executionTime, status, commandId, commandText (se information)
takeNotebookSnapshot path
repos checkoutBranch branch, id
commitAndPush checkSensitiveToken, files, id, message
createRepo git_provider, git_url, path, provider, url
deleteRepo id
discard file_paths, id
getRepo id
listRepos next_page_token, path_prefix
pull id
updateRepo branch, git_provider, git_url, id, path, tag, workspace_filesystem_enabled
secrets createScope backend_azure_keyvault, initial_manage_principal, is_databricks_managed, scope, scope_backend_type
deleteAcl principal, scope
deleteScope scope
deleteSecret key, scope
getAcl principal, scope
getSecret key, scope
listAcls scope
listSecrets scope
putAcl permission, principal, scope
putSecret key, scope, string_value
sqlPermissions changeSecurableOwner principal, securable
createSecurable securable
denyPermission permission
grantPermission permission
removeAllPermissions securable
renameSecurable after, before
requestPermissions denied, permitted, requests, truncated
revokePermission permission
showPermissions principal, securable
ssh login containerId, instanceId, port, publicKey, userName
logout containerId, instanceId, userName
unityCatalog createCatalog comment, metastore_id, name, workspace_id
createDataAccessConfiguration metastore_id, name, workspace_id
createExternalLocation comment, credential_name, metastore_id, name, url, workspace_id
createMetastore metastore_id, name, storage_root, workspace_id
createMetastoreAssignment default_catalog_name, metastore_id, workspace_id
createRecipient comment, metastore_id, name, workspace_id
createSchema catalog_name, comment, metastore_id, name, workspace_id
createShare comment, metastore_id, name, workspace_id
createStagingTable catalog_name, metastore_id, name, schema_name, workspace_id
createStorageCredential azure_service_principal, comment, metastore_id, name, workspace_id
createTable catalog_name, columns, data_source_format, metastore_id, name, schema_name, storage_location, table_type, view_definition, workspace_id
deleteRecipient metastore_id, name, workspace_id
deleteSchema full_name_arg, metastore_id, workspace_id
deleteShare metastore_id, name, workspace_id
deleteTable full_name_arg, metastore_id, workspace_id
deltaSharingGetTableMetadata metastore_id, name, recipient_name, schema, share, user_agent, workspace_id
deltaSharingListAllTables metastore_id, options, recipient_name, share, user_agent, workspace_id
deltaSharingListSchemas metastore_id, options, recipient_name, share, user_agent, workspace_id
deltaSharingListShares metastore_id, options, recipient_name, user_agent, workspace_id
deltaSharingListTables metastore_id, options, recipient_name, schema, share, user_agent, workspace_id
deltaSharingQueriedTable metastore_id, recipient_name
deltaSharingQueryTable limitHint, metastore_id, name, recipient_name, schema, share, user_agent, workspace_id
generateTemporaryPathCredential credential_id, credential_type, ensure_url_exists, metastore_id, operation, url, workspace_id
generateTemporaryTableCredential credential_id, credential_type, is_permissions_enforcing_client, metastore_id, operation, table_full_name, table_id, workspace_id
getActivationUrlInfo metastore_id, recipient_name, workspace_id
getCatalog metastore_id, name_arg, workspace_id
getDataAccessConfiguration id, metastore_id, workspace_id
getExternalLocation metastore_id, name_arg, workspace_id
getMetastore id, metastore_id, workspace_id
getMetastoreSummary metastore_id, workspace_id
getPermissions metastore_id, principal, securable_full_name, securable_type, workspace_id
getRecipient metastore_id, name, workspace_id
getRecipientSharePermissions metastore_id, name, workspace_id
getSchema full_name_arg, metastore_id, workspace_id
getShare include_shared_data, metastore_id, name, workspace_id
getSharePermissions metastore_id, name, workspace_id
getStorageCredential metastore_id, name_arg, workspace_id
getTable full_name_arg, metastore_id, workspace_id
listCatalogs metastore_id, workspace_id
listDataAccessConfigurations metastore_id, workspace_id
listExternalLocations credential_name, metastore_id, url, workspace_id
listMetastores workspace_id
listRecipients metastore_id, workspace_id
listSchemas catalog_name, metastore_id, workspace_id
listShares metastore_id, workspace_id
listStorageCredentials metastore_id, workspace_id
listTableSummaries catalog_name, metastore_id, schema_name_pattern, table_name_pattern, workspace_id
listTables catalog_name, metastore_id, schema_name, workspace_id
metadataAndPermissionsSnapshot metastore_id, securables, workspace_id
metadataSnapshot metastore_id, securables, workspace_id
privilegedGetAllPermissions metastore_id, securables, workspace_id
privilegedGetTable full_name_arg, metastore_id, workspace_id
retrieveRecipientToken metastore_id, recipient_name, workspace_id
updateMetastore default_data_access_config_id, delta_sharing_enabled, delta_sharing_recipient_token_lifetime_in_seconds, id, metastore_id, name, owner, storage_root_credential_id, workspace_id
updateMetastoreAssignment default_catalog_name, metastore_id, workspace_id
updatePermissions changes, metastore_id, securable_full_name, securable_type, workspace_id
updateSchema full_name_arg, metastore_id, owner, workspace_id
updateShare metastore_id, name, updates, workspace_id
updateSharePermissions changes, metastore_id, name, workspace_id
updateTables columns, data_source_format, full_name_arg, metastore_id, storage_location, table_type, workspace_id
webTerminal startSession socketGUID, clusterId, serverPort, ProxyTargetURI
closeSession socketGUID, clusterId, serverPort, ProxyTargetURI
workspace changeWorkspaceAcl aclPermissionSet, resourceId, shardName, targetUserId
fileCreate path
fileDelete path
purgeClusterLogs logFilePath
purgeRevisionHistoryBefore property, propertyValue, treestoreId
purgeWorkspaceNodes treestoreId
workspaceConfEdit (inställningsändringar på arbetsytenivå) workspaceConfKeys (till exempel använder utförliga granskningsloggar värdet enableVerboseAuditLogs), workspaceConfValues (till exempel för utförliga granskningsloggar är true detta eller false)
workspaceExport notebookFullPath, workspaceExportDirectDownload, workspaceExportFormat

Exempelloggutdata

Följande JSON-exempel är ett exempel på Azure Databricks-loggutdata:

{
    "TenantId": "<your-tenant-id>",
    "SourceSystem": "|Databricks|",
    "TimeGenerated": "2019-05-01T00:18:58Z",
    "ResourceId": "/SUBSCRIPTIONS/SUBSCRIPTION_ID/RESOURCEGROUPS/RESOURCE_GROUP/PROVIDERS/MICROSOFT.DATABRICKS/WORKSPACES/PAID-VNET-ADB-PORTAL",
    "OperationName": "Microsoft.Databricks/jobs/create",
    "OperationVersion": "1.0.0",
    "Category": "jobs",
    "Identity": {
        "email": "mail@contoso.com",
        "subjectName": null
    },
    "SourceIPAddress": "131.0.0.0",
    "LogId": "201b6d83-396a-4f3c-9dee-65c971ddeb2b",
    "ServiceName": "jobs",
    "UserAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36",
    "SessionId": "webapp-cons-webapp-01exaj6u94682b1an89u7g166c",
    "ActionName": "create",
    "RequestId": "ServiceMain-206b2474f0620002",
    "Response": {
        "statusCode": 200,
        "result": "{\"job_id\":1}"
    },
    "RequestParams": {
        "name": "Untitled",
        "new_cluster": "{\"node_type_id\":\"Standard_DS3_v2\",\"spark_version\":\"5.2.x-scala2.11\",\"num_workers\":8,\"spark_conf\":{\"spark.databricks.delta.preview.enabled\":\"true\"},\"cluster_creator\":\"JOB_LAUNCHER\",\"spark_env_vars\":{\"PYSPARK_PYTHON\":\"/databricks/python3/bin/python3\"},\"enable_elastic_disk\":true}"
    },
    "Type": "DatabricksJobs"
}

Analysera diagnostikloggar

Om du valde alternativet Skicka till Log Analytics när du aktiverade diagnostikloggning vidarebefordras vanligtvis diagnostikdata från containern till Azure Monitor-loggar inom 15 minuter.

Innan du visar loggarna kontrollerar du om Log Analytics-arbetsytan har uppgraderats för att använda det nya Kusto-frågespråket. Kontrollera genom att öppna Azure Portal och välja Log Analytics längst till vänster. Välj sedan din Log Analytics-arbetsyta. Om du får ett meddelande om att uppgradera kan du läsa Uppgradera din Azure Log Analytics-arbetsyta till en ny loggsökning.

Om du vill visa dina diagnostikdata i Azure Monitor-loggar öppnar du sidan Loggsökning på den vänstra menyn eller på sidans hanteringsområde. Ange sedan frågan i sökrutan Logg .

Azure Log Analytics

Frågor

Här följer några ytterligare frågor som du kan ange i sökrutan Logg. Dessa frågor skrivs i Kusto-frågespråk.

  • Så här frågar du alla användare som har åtkomst till Azure Databricks-arbetsytan och deras plats:

    DatabricksAccounts
| where ActionName contains "login"
| extend d=parse_json(Identity)
| project UserEmail=d.email, SourceIPAddress

  • Så här kontrollerar du vilka Spark-versioner som används:

    DatabricksClusters
| where ActionName == "create"
| extend d=parse_json(RequestParams)
| extend SparkVersion= d.spark_version
| summarize Count=count() by tostring(SparkVersion)